superset是可视化数据工具。本以为在centos7上面可以很快速的安装,但是花了一天的时间。遇到了不少坑。
spark,flink都能进行流处理和批处理。spark的文章写了好多,请在本博客中去搜索。flink的安装,请参考:cdh6 flink 安装
mysql的视图,不推荐大家使用。mysql使用增,删,改,查,事务等,最基本的东西了就好了。其他的还是少尝试,例如存储过程,触发器,事件,视图等。
mysql的视图,有一套自己权限系统,如果权限没有处理好,就算是mysql的超级管理员root,也没法读取视图的里面的数据。
mysql myisam可以通过直接复制frm,MYD,MYI,来备份和还原,非常的方便。innodb其实也是可以的,不过就比较麻烦了。
mysql的普通操作和事务能满足所有的需求,至少对于我来说是这样的。mysql 视图,触发器,存储过程,事件,外键等,建议不要用。普通操作结合事务,不用担心,稳定性如何,性能怎么样。
phoenix双引号,单引号用起来有点怪怪的。
phoenix表字段,表名等,如果不加双引号,默认是大写的。
单引号加在值上面会被认为成列,例如:where后面条件值,upsert values里面值。phoenix对值类型审核还是挺严格的,VARCHAR肯定是要加单引号的。整形肯定不能加。
项目发布用的是jenkins,不管是python,scala,php,vue都能够简单通过jenkins部署。但是公司部分项目用的.net,跑在windows下面,也需要接入jenkins。就比较麻烦了。
第一种想法:在linux下,用mono,nuget,msbuild等对.net进行编译,然后通过ftp工具传到windows上面。但是在打包.net项目时,各种缺包。最后放弃了。
第二种想法:linux ssh到windows,触发一下脚本,通过脚本进行打包发布。那前提条件是,linux 能ssh到windows。这也本文件重点了。
flink可以做为批处理,也可以流处理的工具。功能根spark差不多,不过据说比spark强大。据说天猫双11,就用的这玩意。
phoenix对表的操作,看似根其他sql差不多,但是总感觉很变扭。特别是不加双引号默认大写,值必须用单引号。
phoenix是构建在Hbase之上,使用标准的SQL操作Hbase,可以做联机事务处理,拥有低延迟的特性。
cdh的安装,请参考:cloudera cdh 6.3 安装配置
impala可以整合Hbase,但是不支持delete,upsert。如果想要impala的delete,upsert,存储要用kudu。请参考:impala与hbase整合
hive可以整合Hbase,受限于hive自己的原因,和hbase并不能配合的很好。请参考:hive与hbase整合