利用heartbeat,mysql replication,rsync,sersync2实现邮件的高可用。本篇只说一下,sersync2实现邮件和附件的准实时同步。
ticdc有三个同步,其实中一个报了puller mem buffer reach size limit,导致的问题是:
1,ticdc的其中一台机器cpu居高不下,所有ticdc机器内存也是居高不下,触发监控告警。
2,整个tidb的gc不能工作
3,ticdc已停止往下游同步数据,同步中断
tiflash列式存储,tikv是行式存储,存储上就占有优势。tidb中创建表,默认都是tikv的。
在看这篇文章前,要看一下这篇,mysql 同步数据到 elasticsearch,这篇文章只讲了,单服务器单库单表的情况。本文主要讲,多服务器,多库,多表的情况。
程序连tidb,概率性报SQLSTATE[HY000]: General error: 9002 TiKV server timeout和SQLSTATE[HY000]: General error: 9002 TiKV server timeout,并且都是同一张表,并且都是select报错。单独把sql copy出来到命令行下运行,非常非常的慢,但是能跑出来。
tidb自带有三个监控工具
tidb dashboard pd,地址:http://10.0.10.17:2379/dashboard
grafana:http://10.0.10.11:3000/?orgId=1
Alertmanager:http://10.0.10.11:9093/#/alerts
这个工具可以帮助我们获取不少信息。
10.0.10.17是pd服务器,10.0.10.11是监控服务器
数据量比较大的情况下,elasticsearch单表操作要比mysql快很多,全文检索也比mysql快很多。试用了一下阿里的canal,感觉还不错。
项目由产品验收,也由产品发版,so,发布系统是不能挂掉了,不然这个流程就不通了。所以要做个jenkins备份
elasticsearch出现unassigned的分片,导致kibana和elasticsearch-head现黄色。
tidb尚未支持“有损更改”,实验一些,总结一下常用的,同一类型小转大可以,大转小不行,例如:int(2)转int(4)。不同类型不能转换,也有例外int(2)转bigint(2)。