关于spark debug的文件,算上这篇,已有4篇了,总结一下:
1,spark本地开发,元数据库,数据存储都在开发机。请参考:scala spark sql 本地调试
2,spark连接远程hive,单namenode。请参考:spark 连接远程hive调试的3种方法
3,spark远程调试。请参考:idea 2步配置 远程调试spark
关于spark debug的文件,算上这篇,已有4篇了,总结一下:
1,spark本地开发,元数据库,数据存储都在开发机。请参考:scala spark sql 本地调试
2,spark连接远程hive,单namenode。请参考:spark 连接远程hive调试的3种方法
3,spark远程调试。请参考:idea 2步配置 远程调试spark
对于习惯了sql的开发同学来说,写sql肯定比较用map,filter内在算法因子要顺手的多。
jetbrains产的开发工具,在使用方面感觉差不多。debug的配置也是比较相似的。
spark-submit提交包是在服务器上,本地开发环境没有spark-submit。如果想要本地debug远程的spark,用idea很简单就可以实现。
前面写过一次,用vscode调试nodejs,但是vscode升级等问题,有可能会导致debug失效。如果用chrome devtool来调试nodejs,就可以避免这些问题。
vscode是比较不错的JS开发工具。nodemon可以实现修改JS代码后的自动重启server,不需要手动在去重启server。