张映 发表于 2020-01-03

分类目录: hadoop/spark/scala

关于spark debug的文件,算上这篇,已有4篇了,总结一下:

1,spark本地开发,元数据库,数据存储都在开发机。请参考:scala spark sql 本地调试

2,spark连接远程hive,单namenode。请参考:spark 连接远程hive调试的3种方法

3,spark远程调试。请参考:idea 2步配置 远程调试spark

阅读全文>>

张映 发表于 2019-12-04

分类目录: hadoop/spark/scala

namenode ha肯定是要去做的。如果调度节点挂掉了,又没有备用节点的话,那整个大数据系统就等于挂掉了。

阅读全文>>

张映 发表于 2019-03-13

分类目录: hadoop/spark/scala

跑spark-submit报错,查看了一下ha的状态,二台namenode节点都是standby,其中一台机器的JournalNode,挂掉了。

阅读全文>>

张映 发表于 2010-06-19

分类目录: 服务器相关

一,什么是haproxy

HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代 理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中, 同时可以保护你的web服务器不被暴露到网络上。

二,安装haproxy

下载列表地址http://haproxy.1wt.eu

wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.8.tar.gz

阅读全文>>