关于spark debug的文件,算上这篇,已有4篇了,总结一下:
1,spark本地开发,元数据库,数据存储都在开发机。请参考:scala spark sql 本地调试
2,spark连接远程hive,单namenode。请参考:spark 连接远程hive调试的3种方法
3,spark远程调试。请参考:idea 2步配置 远程调试spark
关于spark debug的文件,算上这篇,已有4篇了,总结一下:
1,spark本地开发,元数据库,数据存储都在开发机。请参考:scala spark sql 本地调试
2,spark连接远程hive,单namenode。请参考:spark 连接远程hive调试的3种方法
3,spark远程调试。请参考:idea 2步配置 远程调试spark
namenode ha肯定是要去做的。如果调度节点挂掉了,又没有备用节点的话,那整个大数据系统就等于挂掉了。
跑spark-submit报错,查看了一下ha的状态,二台namenode节点都是standby,其中一台机器的JournalNode,挂掉了。
一,什么是haproxy
HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代 理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中, 同时可以保护你的web服务器不被暴露到网络上。
二,安装haproxy
下载列表地址http://haproxy.1wt.eu
wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.8.tar.gz