张映 发表于 2019-10-21

分类目录: hadoop/spark/scala

从kafka消费数据到hdfs,或者hbase,是最常见的二种方式。

阅读全文>>

张映 发表于 2019-10-18

分类目录: hadoop/spark/scala

从kafka消费数据到hdfs,目前主要是通过程序的方式来实现的,在这在这个过程中做了简单的数据处理。

其实通过flume就可以实现数据从kafka到hdfs

阅读全文>>

张映 发表于 2019-10-17

分类目录: apache/nginx

查看nginx error错误,发现上传接口报以下错:

2019/10/10 19:58:25 [error] 299784#0: *5967188 readv() failed (104: Connection reset by peer) while reading upstream, client: 59.34.155.7, server: xxxxxxxx, request: "POST /stream/tracking/file HTTP/1.1", upstream: "http://xxxxxxxx/stream/tracking/file", host: "xxxxxxxx"

这种错误日志不多,第一感觉就是上传文件过大,传输时间过长,然后连接被中断。

阅读全文>>

张映 发表于 2019-10-16

分类目录: apache/nginx

访问量的增大,相应nginx连接数,以及打开的文件数,是需要调整的,不然就会报以下错误

2019/10/10 16:04:37 [alert] 364127#0: *11935302 socket() failed (24: Too many open files) while connecting to upstream, client: 220.195.66.66, server:。。。。。。。。。。。。。。。。。

阅读全文>>

张映 发表于 2019-10-16

分类目录: hadoop/spark/scala

增加kafka节点,对原有节点的顺序做了调整,报错如下:

cxid:0x2a zxid:0x1e txntype:-1 reqpath:n/a Error Path:/brokers/ids Error:KeeperErrorCode = NodeExists for /brokers/ids (org.apache.zookeeper.server.PrepRequestProcessor)

阅读全文>>

张映 发表于 2019-10-15

分类目录: hadoop/spark/scala

hbase通过scan和filter可以实现分页功能,网上已经有很多了。今天要说的是通过hivesql的形势来实现分页。

阅读全文>>

张映 发表于 2019-10-15

分类目录: hadoop/spark/scala

hbase可以进行亿级数据存储,查询数据用scan,get还是比较弱的,不支持sql查询,这就增加了数据分析人员的学习成本。hbase只提供了简单的基于Key值的快速查询能力,要进行复杂的查询功能,通过filter还是比较麻烦的。

不过hive与hbase的整合解决这个问题。不仅如此,还能通过hive将数据批量地导入到hbase中。在看本文前,请查看以下文章

centos7 hadoop 集群 安装配置

zookeeper hadoop 集群 安装配置

centos7 hadoop2.7.7 hbase1.4安装配置详解

hive mysql 安装配置

阅读全文>>

张映 发表于 2019-10-14

分类目录: hadoop/spark/scala

hbase一直好好的,突然hbase shell报以下错误

hbase(main):001:0> list
TABLE

ERROR: Can't get master address from ZooKeeper; znode data == null

Here is some help for this command:
List all user tables in hbase. Optional regular expression parameter could
be used to filter the output. Examples:

hbase> list
hbase> list 'abc.*'
hbase> list 'ns:abc.*'
hbase> list 'ns:.*'

阅读全文>>

张映 发表于 2019-10-12

分类目录: hadoop/spark/scala

对hadoop做了一些优化配置,重启时提示,no namenode to stop。jps查看,进程都是有的。就是无法关闭。

阅读全文>>

张映 发表于 2019-10-10

分类目录: hadoop/spark/scala

hbase做为一种数据库,当然有自己的一套权限系统,不同用户的可以访问不同的空间,表,列族等。

阅读全文>>