‘hadoop/spark/scala’ 类别下的博文

张映 发表于 2019-03-20

分类目录: hadoop/spark/scala

kafka-manager来创建,查看和管理topic还是比较方便的。当然也可以用命令行来操作,参考:zookeeper kafka 集群 安装配置

阅读全文>>

张映 发表于 2019-03-13

分类目录: hadoop/spark/scala

跑spark-submit报错,查看了一下ha的状态,二台namenode节点都是standby,其中一台机器的JournalNode,挂掉了。

阅读全文>>

张映 发表于 2019-03-12

分类目录: hadoop/spark/scala

spark-submit提交包是在服务器上,本地开发环境没有spark-submit。如果想要本地debug远程的spark,用idea很简单就可以实现。

阅读全文>>

张映 发表于 2019-03-07

分类目录: hadoop/spark/scala

hadoop家族操作大数据还是很给力的。今天就测试了一把,还行。

阅读全文>>

张映 发表于 2019-03-05

分类目录: hadoop/spark/scala

相同功能的spark submit提交了二次,竟然也都成功了。查看applications也有二个。

阅读全文>>

张映 发表于 2019-03-04

分类目录: hadoop/spark/scala

想要了解kafka的信息,工具挺多,推荐使用雅虎开源的Kafka-manager。

阅读全文>>

张映 发表于 2019-03-01

分类目录: hadoop/spark/scala

通过8088查看Applications任务的logs时,会报以下错误,

Failed while trying to construct the redirect url to the log server.Log Server url may not be configured java.lang.Exception:Unknown container.Container either has not started or has already completed or doesn't belong to this node at all.

阅读全文>>

张映 发表于 2019-02-28

分类目录: hadoop/spark/scala

zookeeper服务器会产生三类日志:事务日志、快照日志和集群服务器运行日志。

在zookeeper默认配置文件zoo.cfg中有一个配置项dataDir,该配置项用于配置zookeeper快照日志和事务日志的存储地址。在官方提供的默认参考配置文件zoo_sample.cfg中,只有dataDir配置项。其实在实际应用中,还可以为事务日志专门配置存储地址,配置项名称为dataLogDir,在zoo_sample.cfg中并未体现出来。在没有dataLogDir配置项的时候,

zookeeper默认将事务日志文件和快照日志文件都存储在dataDir对应的目录下。建议将事务日志(dataLogDir)与快照日志(dataLog)单独配置,因为当zookeeper集群进行频繁的数据读写操作是,会产生大量的事务日志信息,将两类日志分开存储会提高系统性能,而且,可以允许将两类日志存在在不同的存储介质上,减少磁盘压力。

zookeeper集群服务器运行日志,该日志的配置地址在conf/目录下的log4j.properties文件中,该文件中有一个配置项为“zookeeper.log.dir=.”,表示log4j日志文件在与执行程序(zkServer.sh)在同一目录下。当执行zkServer.sh 时,在该文件夹下会产生zookeeper.out日志文件。下面主要介绍事务日志与快照日志。

阅读全文>>

张映 发表于 2019-02-26

分类目录: hadoop/spark/scala

sqark-sql登录进去后,过段时间就会自动退出。并且会报

2019-02-26 18:38:09 INFO SparkSQLCLIDriver:951 - Spark master: yarn, Application Id: application_1550658770519_0084
spark-sql>
>
> use 2019-02-26 18:38:32 ERROR YarnClientSchedulerBackend:70 - YARN application has exited unexpectedly with state FAILED! Check the YARN application logs for more details.,以前一直都没有出现过。

阅读全文>>

张映 发表于 2019-02-26

分类目录: hadoop/spark/scala

数据量过大,mysql支持不了。mysql只是个临时方案,最终大数据搭建好了以后,还是需要把mysql的数据,导入到hadoop中。

阅读全文>>