张映 发表于 2021-08-25

分类目录: clickhouse

推荐三款工具都是跨平台的,mysql命令行,dbeaver,tabix。

阅读全文>>

张映 发表于 2021-08-24

分类目录: clickhouse

clickhouse的官方文档上面是有create user 和grant授权的,但是命令行下运行都提示无权限。

阅读全文>>

张映 发表于 2021-08-24

分类目录: clickhouse

上一篇文章主要讲了本地表类型MergeTree,本篇主要讲的是ReplicatedMergeTree和Distributed类型。

ReplicatedMergeTree相对于MergeTree存储引擎,多了复制功能,同一shard类的服务器,数据是会同步的。

Distributed并不是真正意义上的表,有点类似于mysql merge存储引擎,也有点类似于视图。

分布表的创建有好多种,本篇以ReplicatedMergeTree+Distributed+zookeeper的方式来实现

阅读全文>>

张映 发表于 2021-08-20

分类目录: clickhouse

clickhouse的存储引擎很多,主要用到的有以下三种

MergeTree,是CK里最Advanced的引擎,性能超高,本地表
ReplicatedMergeTree,基于MergeTree,同时引入ZK,做了复制,分布式表
Distributed,分布式引擎,本身不存储数据,相当于mysql的merge引擎,如果写入,会把请求丢到集群里的节点,如果查询,会帮你做查询转发再聚合返回

阅读全文>>

张映 发表于 2021-08-19

分类目录: tidb

tidb加索引非常慢,一张表5W多条数据,加了40多秒

阅读全文>>

张映 发表于 2021-08-17

分类目录: clickhouse

随着数据量的不断增加,又不想增加开发成本,我们选择了tidb数据库,在olap和oltp方面表现都非常的抢眼。为了数据分层,更加方便的提供数据,还需要一个在olap方面有优秀表现的数据存储工具,es我们也在用,不过不能跨索引查询,这会导致单索引会越来越大,不好维护。而clickhouse在olap方面表现优异,并且支持联合查询。

阅读全文>>

张映 发表于 2021-05-25

分类目录: tidb

zabbix报警,tidb监控机内存吃紧,查了一下基本上全被prometheus占了,然后prometheus就报错了。通过tidb dashboard查看时,error.api.metrics.prometheus query failed: failed to query Prometheus。tidb用的是4.0.8

阅读全文>>

张映 发表于 2021-04-23

分类目录: elasticsearch

elasticsearch dsl写起来,还是比较麻烦的,特别是聚合的时候,推荐以下方式转换。

阅读全文>>

张映 发表于 2021-03-31

分类目录: 服务器相关

利用heartbeat,mysql replication,rsync,sersync2实现邮件的高可用。本篇只说一下,sersync2实现邮件和附件的准实时同步。

阅读全文>>

张映 发表于 2021-03-08

分类目录: tidb

ticdc有三个同步,其实中一个报了puller mem buffer reach size limit,导致的问题是:

1,ticdc的其中一台机器cpu居高不下,所有ticdc机器内存也是居高不下,触发监控告警。

2,整个tidb的gc不能工作

3,ticdc已停止往下游同步数据,同步中断

阅读全文>>