张映 发表于 2020-01-03

分类目录: hadoop/spark/scala

关于spark debug的文件,算上这篇,已有4篇了,总结一下:

1,spark本地开发,元数据库,数据存储都在开发机。请参考:scala spark sql 本地调试

2,spark连接远程hive,单namenode。请参考:spark 连接远程hive调试的3种方法

3,spark远程调试。请参考:idea 2步配置 远程调试spark

阅读全文>>

张映 发表于 2020-01-02

分类目录: hadoop/spark/scala

在看本文前,请先阅读一下:scala spark sql 本地调试

本地spark连接远程hive,这样就可以不用自己造数据,或者从远程copy数据了。

阅读全文>>

张映 发表于 2020-01-02

分类目录: hadoop/spark/scala

对于习惯了sql的开发同学来说,写sql肯定比较用map,filter内在算法因子要顺手的多。

阅读全文>>

张映 发表于 2019-05-22

分类目录: 技术其他

jetbrains产的开发工具,在使用方面感觉差不多。debug的配置也是比较相似的。

阅读全文>>

张映 发表于 2019-03-12

分类目录: hadoop/spark/scala

spark-submit提交包是在服务器上,本地开发环境没有spark-submit。如果想要本地debug远程的spark,用idea很简单就可以实现。

阅读全文>>

张映 发表于 2018-12-20

分类目录: nodejs/vue/js/jquery

前面写过一次,用vscode调试nodejs,但是vscode升级等问题,有可能会导致debug失效。如果用chrome devtool来调试nodejs,就可以避免这些问题。

阅读全文>>

张映 发表于 2018-09-14

分类目录: nodejs/vue/js/jquery

console.log多了比较烦,用debug就比较清晰了。

可以快速履清代码运行的先后顺序,验证自己的想法是否正确,可以清楚的了解到变量的内容,不用在console.log了。

阅读全文>>

张映 发表于 2018-09-12

分类目录: nodejs/vue/js/jquery

vscode是比较不错的JS开发工具。nodemon可以实现修改JS代码后的自动重启server,不需要手动在去重启server。

阅读全文>>