大数据开发 本地debug 二种方式对比

张映 发表于 2019-12-30

分类目录: hadoop/spark/scala

标签:,

大数据开发的debug,根一般开发的debug是有所不同的,下面会说一下本地debug的方法。关于远程的debug,请参考:idea 2步配置 远程调试spark

1,把开发机变成大数据的一个节点

优点:开发流,由二步变成了一步,开发速度快,效率比较高。数据更多,更真实。

缺点:必须有大数据的测试环境,开发人员越多,节点会越多,测试环境,又是开发环境,对大数据测试服务器的稳定性来说,不是什么好事情

2,在本地开发debug,然后在测试环境远程debug

优点:大部分的工作,在本地开发,开发速度较快。本地开发过程中,对测试环境没有影响。

缺点:数据不全,可能会导致bug上升。



转载请注明
作者:海底苍鹰
地址:http://blog.51yip.com/hadoop/2332.html