关于spark debug的文件，算上这篇，已有4篇了，总结一下：
1，spark本地开发，元数据库，数据存储都在开发机。请参考：scala spark sql 本地调试
2，spark连接远程hive，单namenode。请参考：spark 连接远程hive调试的3种方法
3，spark远程调试。请参考：idea 2步配置 远程调试spark
namenode 做了ha后，本地是无法识别，dfs.nameservices，这会导致以下错误：
Caused by: java.lang.IllegalArgumentException: java.net.UnknownHostException: bigdata1
at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:374)
at org.apache.hadoop.hdfs.NameNodeProxies.createNonHAProxy(NameNodeProxies.java:312)
解决办法：
就是把hadoop配置目录中的core-site.xml，hdfs-site.xml拷贝到src/main/resources目录下，就好了
spark 远程调试 namenode 做了ha
转载请注明
作者:海底苍鹰
地址:http://blog.51yip.com/hadoop/2342.html