idea 2步配置 远程调试spark

spark-submit提交包是在服务器上，本地开发环境没有spark-submit。如果想要本地debug远程的spark，用idea很简单就可以实现。

1，idea配置

idea debug spark 配置

idea debug spark 配置

上图中的-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=19001，并不能直接编辑

我用的idea是2018.3.1版。

2，服务端启动spark程序，并debug

2.1，启动spark任务

# spark-submit --class com.spark_sql.xxxx.run --master yarn --driver-java-options \
"-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=19001" sparkApp3-1.0-SNAPSHOT.jar 有

有一点要注意：--driver-java-options，一定要放在jar包前面。不然调试的端口起不来。

spark-submit提交任务

Listening for transport dt_socket at address: 19001，会停在这儿等待idea debug

2.2，idea启动debug

idea启动debug

3.3，打断点，测试

idea debug 打断点