spark 连接远程hive调试 namenode 做了ha

张映 发表于 2020-01-03

分类目录: hadoop/spark/scala

标签:, ,

关于spark debug的文件,算上这篇,已有4篇了,总结一下:

1,spark本地开发,元数据库,数据存储都在开发机。请参考:scala spark sql 本地调试

2,spark连接远程hive,单namenode。请参考:spark 连接远程hive调试的3种方法

3,spark远程调试。请参考:idea 2步配置 远程调试spark

namenode 做了ha后,本地是无法识别,dfs.nameservices,这会导致以下错误:

Caused by: java.lang.IllegalArgumentException: java.net.UnknownHostException: bigdata1
at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:374)
at org.apache.hadoop.hdfs.NameNodeProxies.createNonHAProxy(NameNodeProxies.java:312)

解决办法:

就是把hadoop配置目录中的core-site.xml,hdfs-site.xml拷贝到src/main/resources目录下,就好了

spark 远程调试 namenode 做了ha

spark 远程调试 namenode 做了ha



转载请注明
作者:海底苍鹰
地址:http://blog.51yip.com/hadoop/2342.html

留下评论

留下评论
  • (必需)
  • (必需) (will not be published)
  • (必需)   7X7=?