‘hadoop/spark/scala’ 类别下的博文

张映 发表于 2018-12-28

分类目录: hadoop/spark/scala

配置hadoop集群,主要配置core-site.xml,hdfs-site.xml,mapred-site.xml yarn-site.xml,hadoop版本不同,这4个文件的配置可会有差异。以下是收集整理的参数,紧供参考

阅读全文>>

张映 发表于 2018-12-28

分类目录: hadoop/spark/scala

前面写过一篇hadoop集群安装配置的文章。只用了二台机器,假如机器快满了,就需要在加机器。hadoop加节点,不需要重启hadoop服务。

阅读全文>>

张映 发表于 2018-12-27

分类目录: hadoop/spark/scala

hadoop的集群先搞二台机器,一台管理机,一台node机,为什么呢。因为钱,机子也要钱。数据量是逐步增长起来的。如果一台node不能满足需求了,在增加node节点到集群。

在开始安装配置前,最好把该篇文章看上几遍,理顺了,在开始。特别是我踩过的坑。

阅读全文>>