Cloudera Manager还是比较耗资源的,想把Cloudera Manager,移动到比较好的机器上。
cdh的安装请参考:cloudera cdh 6.3 安装配置
在这篇文章中,Cloudera Manager安装在bigserver1上面,bigserver1是奔腾双核的CPU。
Cloudera Manager还是比较耗资源的,想把Cloudera Manager,移动到比较好的机器上。
cdh的安装请参考:cloudera cdh 6.3 安装配置
在这篇文章中,Cloudera Manager安装在bigserver1上面,bigserver1是奔腾双核的CPU。
数据量的增加,增加datanode是必然,独立hadoop增加数据节点,请参考:hadoop 动态增加节点
cloudera后台,显示,存在隐患 : 以下网络接口似乎未以全速运行:enp4s0。1 主机网络接口似乎以全速运行。
cloudera cdh6的测试机,都是公司淘汰下来的员工使用过的台式机,很差。硬件达不到要求。才会有上面的问题。然后不影响系统的使用,但是看着不舒服。
namenode ha肯定是要去做的。如果调度节点挂掉了,又没有备用节点的话,那整个大数据系统就等于挂掉了。
cdh在国内用的比较多。不管是cloudera+cdh或者是ambari+hdp,建议初学者不要用,还是从原生的开始。网上说原生的不稳定,配置复杂。
我用的hadoop2.7.7稳定,以及以hadoop2.7.7为基础构建的生态圈很稳定,在线率100%,到目前为止还没有出现过突发故障。
以hadoop为基础构建一套生态圈,是很复杂。但是拆分开了,采取蚂蚁搬家的方式,就简单多了。并且能了解各组件间是怎么协同工作的。