张映 发表于 2020-01-19

分类目录: hadoop/spark/scala

phoenix是构建在Hbase之上,使用标准的SQL操作Hbase,可以做联机事务处理,拥有低延迟的特性。

cdh的安装,请参考:cloudera cdh 6.3 安装配置

impala可以整合Hbase,但是不支持delete,upsert。如果想要impala的delete,upsert,存储要用kudu。请参考:impala与hbase整合

hive可以整合Hbase,受限于hive自己的原因,和hbase并不能配合的很好。请参考:hive与hbase整合

阅读全文>>

张映 发表于 2020-01-08

分类目录: hadoop/spark/scala

1,创建hbase表

阅读全文>>

张映 发表于 2019-11-08

分类目录: hadoop/spark/scala

hbase的master的备份机,启动不了了。报以下错误:

2019-11-08 10:19:51,950 ERROR [main] zookeeper.RecoverableZooKeeper: ZooKeeper create failed after 4 attempts
2019-11-08 10:19:52,820 INFO [main] zookeeper.ZooKeeper: Session: 0x0 closed
2019-11-08 10:19:52,820 ERROR [main] master.HMasterCommandLine: Master exiting

阅读全文>>

张映 发表于 2019-10-21

分类目录: hadoop/spark/scala

从kafka消费数据到hdfs,或者hbase,是最常见的二种方式。

阅读全文>>

张映 发表于 2019-10-15

分类目录: hadoop/spark/scala

hbase通过scan和filter可以实现分页功能,网上已经有很多了。今天要说的是通过hivesql的形势来实现分页。

阅读全文>>

张映 发表于 2019-10-15

分类目录: hadoop/spark/scala

hbase可以进行亿级数据存储,查询数据用scan,get还是比较弱的,不支持sql查询,这就增加了数据分析人员的学习成本。hbase只提供了简单的基于Key值的快速查询能力,要进行复杂的查询功能,通过filter还是比较麻烦的。

不过hive与hbase的整合解决这个问题。不仅如此,还能通过hive将数据批量地导入到hbase中。在看本文前,请查看以下文章

centos7 hadoop 集群 安装配置

zookeeper hadoop 集群 安装配置

centos7 hadoop2.7.7 hbase1.4安装配置详解

hive mysql 安装配置

阅读全文>>

张映 发表于 2019-10-14

分类目录: hadoop/spark/scala

hbase一直好好的,突然hbase shell报以下错误

hbase(main):001:0> list
TABLE

ERROR: Can't get master address from ZooKeeper; znode data == null

Here is some help for this command:
List all user tables in hbase. Optional regular expression parameter could
be used to filter the output. Examples:

hbase> list
hbase> list 'abc.*'
hbase> list 'ns:abc.*'
hbase> list 'ns:.*'

阅读全文>>

张映 发表于 2019-10-10

分类目录: hadoop/spark/scala

hbase做为一种数据库,当然有自己的一套权限系统,不同用户的可以访问不同的空间,表,列族等。

阅读全文>>

张映 发表于 2019-10-09

分类目录: hadoop/spark/scala

HBase 不仅提供了这些简单的查询,而且提供了更加高级的过滤器(Filter)来查询。

过滤器可以根据列族、列、版本等更多的条件来对数据进行过滤,基于 HBase 本身提供的三维有序(行键,列,版本有序),这些过滤器可以高效地完成查询过滤的任务,带有过滤器条件的 RPC 查询请求会把过滤器分发到各个 RegionServer(这是一个服务端过滤器),这样也可以降低网络传输的压力。

阅读全文>>

张映 发表于 2019-09-27

分类目录: hadoop/spark/scala

通过hive,或者sparksql创建的表,无法实现对单条数据的update和delete。但是hbase可以。对表的操作请参考:hbase 创建表 增删列

阅读全文>>