张映 发表于 2019-10-12

分类目录: hadoop/spark/scala

对hadoop做了一些优化配置,重启时提示,no namenode to stop。jps查看,进程都是有的。就是无法关闭。

阅读全文>>

张映 发表于 2019-10-10

分类目录: hadoop/spark/scala

hbase做为一种数据库,当然有自己的一套权限系统,不同用户的可以访问不同的空间,表,列族等。

阅读全文>>

张映 发表于 2019-10-09

分类目录: hadoop/spark/scala

HBase 不仅提供了这些简单的查询,而且提供了更加高级的过滤器(Filter)来查询。

过滤器可以根据列族、列、版本等更多的条件来对数据进行过滤,基于 HBase 本身提供的三维有序(行键,列,版本有序),这些过滤器可以高效地完成查询过滤的任务,带有过滤器条件的 RPC 查询请求会把过滤器分发到各个 RegionServer(这是一个服务端过滤器),这样也可以降低网络传输的压力。

阅读全文>>

张映 发表于 2019-09-27

分类目录: hadoop/spark/scala

通过hive,或者sparksql创建的表,无法实现对单条数据的update和delete。但是hbase可以。对表的操作请参考:hbase 创建表 增删列

阅读全文>>

张映 发表于 2019-09-25

分类目录: hadoop/spark/scala

看这篇文章前,先看看上篇,关于hbase namespace。因为hbase表是基于namespace

阅读全文>>

张映 发表于 2019-09-24

分类目录: hadoop/spark/scala

在HBase中,namespace命名空间指对一组表的逻辑分组,类似关系型数据库中的database,方便对表在业务上划分。Apache HBase从0.98.0, 0.95.2两个版本开始支持namespace级别的授权操作,HBase全局管理员可以创建、修改和回收namespace的授权。

阅读全文>>

张映 发表于 2019-09-23

分类目录: hadoop/spark/scala

HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

阅读全文>>

张映 发表于 2019-09-04

分类目录: 服务器相关

nextcloud安装配置,请参考: centos7 nextcloud nginx php mariadb 安装配置,本文的重点是onlyoffice安装,以及与nextcloud的整合。

阅读全文>>

张映 发表于 2019-08-27

分类目录: java/android

java.lang.NullPointerException 空指针异常,虽然不影响打包,不影响程序的运行,但是看着不舒服

阅读全文>>

张映 发表于 2019-08-27

分类目录: hadoop/spark/scala

spark submit 执行完任务后,卡住了,不退出,找了各种日志,没有报错,并且任务执行的结果也是对的。

出现这个问题,感觉有点蒙,网上找找解决办法,全部不适用。下面详细说一下我的分析和解决过程

阅读全文>>