从kafka消费数据到hdfs，目前主要是通过程序的方式来实现的，在这在这个过程中做了简单的数据处理。
其实通过flume就可以实现数据从kafka到hdfs
‘hadoop/spark/scala’ 类别下的博文
增加kafka节点，对原有节点的顺序做了调整，报错如下：
cxid:0x2a zxid:0x1e txntype:-1 reqpath:n/a Error Path:/brokers/ids Error:KeeperErrorCode = NodeExists for /brokers/ids (org.apache.zookeeper.server.PrepRequestProcessor)
hbase通过scan和filter可以实现分页功能，网上已经有很多了。今天要说的是通过hivesql的形势来实现分页。
hbase可以进行亿级数据存储，查询数据用scan,get还是比较弱的，不支持sql查询，这就增加了数据分析人员的学习成本。hbase只提供了简单的基于Key值的快速查询能力，要进行复杂的查询功能，通过filter还是比较麻烦的。
不过hive与hbase的整合解决这个问题。不仅如此，还能通过hive将数据批量地导入到hbase中。在看本文前，请查看以下文章
hbase一直好好的，突然hbase shell报以下错误
hbase(main):001:0> list
TABLE
ERROR: Can't get master address from ZooKeeper; znode data == null
Here is some help for this command:
List all user tables in hbase. Optional regular expression parameter could
be used to filter the output. Examples:
hbase> list
hbase> list 'abc.*'
hbase> list 'ns:abc.*'
hbase> list 'ns:.*'
对hadoop做了一些优化配置，重启时提示，no namenode to stop。jps查看，进程都是有的。就是无法关闭。
hbase做为一种数据库，当然有自己的一套权限系统，不同用户的可以访问不同的空间，表，列族等。
HBase 不仅提供了这些简单的查询，而且提供了更加高级的过滤器（Filter）来查询。
过滤器可以根据列族、列、版本等更多的条件来对数据进行过滤，基于 HBase 本身提供的三维有序（行键，列，版本有序），这些过滤器可以高效地完成查询过滤的任务，带有过滤器条件的 RPC 查询请求会把过滤器分发到各个 RegionServer（这是一个服务端过滤器），这样也可以降低网络传输的压力。
通过hive，或者sparksql创建的表，无法实现对单条数据的update和delete。但是hbase可以。对表的操作请参考：hbase 创建表 增删列
看这篇文章前，先看看上篇，关于hbase namespace。因为hbase表是基于namespace