张映 发表于 2019-11-13

分类目录: hadoop/spark/scala

Apache Kylin不同于“大规模并行处理”(Massive Parallel Processing,MPP)架构的Hive、Presto等,Apache Kylin采用“预计算”的模式,用户只需要提前定义好查询维度,Kylin将帮助我们进行计算,并将结果存储到HBase中,为海量数据的查询和分析提供亚秒级返回,是一种典型的“空间换时间”的解决方案。Apache Kylin的出现不仅很好地解决了海量数据快速查询的问题,也避免了手动开发和维护提前计算程序带来的一系列麻烦。

说的更直白一点就是查询数据不查原始表,查结果表。

阅读全文>>

张映 发表于 2018-12-27

分类目录: hadoop/spark/scala

hadoop的集群先搞二台机器,一台管理机,一台node机,为什么呢。因为钱,机子也要钱。数据量是逐步增长起来的。如果一台node不能满足需求了,在增加node节点到集群。

在开始安装配置前,最好把该篇文章看上几遍,理顺了,在开始。特别是我踩过的坑。

阅读全文>>

张映 发表于 2018-12-11

分类目录: 服务器相关

邮箱配置基本上都不差多,分为有证书和无证书二种。qq企业邮箱是有证书的。

阅读全文>>

张映 发表于 2018-12-11

分类目录: 服务器相关

邮箱配置基本上都不差多,分为有证书和无证书二种。qq企业邮箱是有证书的。

阅读全文>>

张映 发表于 2015-07-02

分类目录: 服务器相关

git服务端的管理工具用过2个,一个gitlab,一个是gitolite,

1,gitlab功能强大,有web管理界面,反正是各种方便吧,请参考:linux gitlab nginx 安装 配置 详解,但是gitlab安装比较麻烦

2,gitolite,安装非常简单,功能也比较简单,基本需要能满足,创建仓库,分配权限,总体来说还不错。

如果频繁的创建仓库,以及人员变更,用gitlab比较合适的,反之gitolite比较合适。

阅读全文>>

张映 发表于 2015-05-01

分类目录: nosql

Redis 集群是一个提供在多个Redis间节点间共享数据的程序集.redis3.0以前,只支持主从同步的,如果主的挂了,写入就成问题了。3.0出来后就可以很好帮我们解决这个问题。

目前redis 3.0还不稳定,如果要用在生产环境中,要慎重。

阅读全文>>

张映 发表于 2015-04-30

分类目录: nosql

redis配置参数,非常的多,下面罗列了一些redis 常用参数配置,以及中文注释。

阅读全文>>

张映 发表于 2014-08-01

分类目录: mysql

上次搞全文检索的东西 ,还要追溯到2010了,当时个人觉得coreseek还不成熟,就用了原始的sphinx,请参考:sphinx mmseg mysql 中文分词,这次呢,决定用一下coreseek,看看有什么区别。

阅读全文>>

张映 发表于 2014-07-17

分类目录: linux

一,什么是zeromq

这是个类似于Socket的一系列接口,他跟Socket的区别是:普通的socket是端到端的(1:1的关系),而ZMQ却是可以N:M 的关系,人们对BSD套接字的了解较多的是点对点的连接,点对点连接需要显式地建立连接、销毁连接、选择协议(TCP/UDP)和处理错误等,而ZMQ屏蔽了这些细节,让你的网络编程更为简单。ZMQ用于node与node间的通信,node可以是主机或者是进程。

引用官方的说法: “ZMQ(以下ZeroMQ简称ZMQ)是一个简单好用的传输层,像框架一样的一个socket library,他使得Socket编程更加简单、简洁和性能更高。是一个消息处理队列库,可在多个线程、内核和主机盒之间弹性伸缩。ZMQ的明确目标是“成为标准网络协议栈的一部分,之后进入Linux内核”。现在还未看到它们的成功。但是,它无疑是极具前景的、并且是人们更加需要的“传统”BSD套接字之上的一 层封装。ZMQ让编写高性能网络应用程序极为简单和有趣。”

二,主流消息队列对比

阅读全文>>

张映 发表于 2014-06-20

分类目录: 云计算

一,什么是KVM

KVM包括很多部件:首先,它是一个Linux内核模块(现在包括在主线中)用于转换处理器到一种新的用户 (guset) 模式。用户模式有自己的ring状态集合,但是特权ring0的指令会陷入到管理器(hypervisor)的代码。由于这是一个新的处理器执行模型,代码不需要任何的改动。

阅读全文>>