idea 2步配置 远程调试spark

张映 发表于 2019-03-12

分类目录: hadoop/spark/scala

标签:, , ,

spark-submit提交包是在服务器上,本地开发环境没有spark-submit。如果想要本地debug远程的spark,用idea很简单就可以实现。

1,idea配置

idea debug spark 配置

idea debug spark 配置

idea debug spark 配置

idea debug spark 配置

上图中的-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=19001,并不能直接编辑

我用的idea是2018.3.1版。

2,服务端启动spark程序,并debug

2.1,启动spark任务

# spark-submit --class com.spark_sql.xxxx.run --master yarn --driver-java-options \
"-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=19001" sparkApp3-1.0-SNAPSHOT.jar 有

有一点要注意:--driver-java-options,一定要放在jar包前面。不然调试的端口起不来。

spark-submit提交任务

spark-submit提交任务

Listening for transport dt_socket at address: 19001,会停在这儿等待idea debug

2.2,idea启动debug

idea启动debug

idea启动debug

3.3,打断点,测试

idea debug 打断点

idea debug 打断点



转载请注明
作者:海底苍鹰
地址:http://blog.51yip.com/hadoop/2091.html