张映 发表于 2019-05-10

分类目录: hadoop/spark/scala

一个topic创建了几个partition,启动consumer的时候,只会消费一个partition,消费完了后,会把这个consumer给关闭掉。再启动consumer时,还是只会消费上次消费的那个partition。中间没有任何报错。

阅读全文>>

张映 发表于 2019-05-06

分类目录: hadoop/spark/scala

删除topic后,在重新创建相同名字的topic,报错了。下面总结一套,可行的方案。

阅读全文>>

张映 发表于 2019-05-06

分类目录: hadoop/spark/scala

kafka设置了max.poll.records为50000条,但是只能读取到1400条左右,没有任何报错。估计应当是配置问题。

阅读全文>>

张映 发表于 2019-04-29

分类目录: hadoop/spark/scala

kafka topic的partitions为1时,存取的数据,只会在kafka集群中的一台机器上面,时间一长,必然会造成,资源不均衡。

阅读全文>>

张映 发表于 2019-04-28

分类目录: hadoop/spark/scala

auto.offset.reset关乎kafka数据的读取,是一个非常重要的设置。常用的二个值是latest和earliest,默认是latest。

阅读全文>>

张映 发表于 2019-04-28

分类目录: hadoop/spark/scala

如果实时的从kafka取数据,通过spark入hdfs,会产生很多的task,在hdfs上会产生非常多的小文件。浪费硬盘空间不说,在用spark进行数据分析的时间,非常耗spark节点的内存。

最好不要实时的入库,间断去运行。这样会尽量减少小文件的产生。但是不能根本上解决小问题,最终还是通过CombineFileInputFormat来解决,这个后面的文章,会单独说。

阅读全文>>

张映 发表于 2019-04-26

分类目录: hadoop/spark/scala

producter生产消息,基本上没有出现过问题,但是consumer遇到了不少问题。用是kafka2系列。

阅读全文>>

张映 发表于 2019-03-20

分类目录: hadoop/spark/scala

kafka-manager来创建,查看和管理topic还是比较方便的。当然也可以用命令行来操作,参考:zookeeper kafka 集群 安装配置

阅读全文>>

张映 发表于 2019-03-04

分类目录: hadoop/spark/scala

想要了解kafka的信息,工具挺多,推荐使用雅虎开源的Kafka-manager。

阅读全文>>

张映 发表于 2019-01-28

分类目录: hadoop/spark/scala

kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。

阅读全文>>