张映 发表于 2020-04-08

分类目录: 技术其他

自从前后端分离后,想要获取数据就比较困难了。现在也有很多无界面浏览器,可以实现数据抓取,例如:Phantomjs。

今天所说的不是无界面浏览器,而通过chrome websocke api来实现,数据的抓取。

阅读全文>>

张映 发表于 2020-04-02

分类目录: hadoop/spark/scala

在看这篇文章前,请先了解一下:

1,cdh6 flink 安装
2,flink on yarn 提交任务的二种方式
3,cdh hive 2.1.1 升级到 2.3.4

阅读全文>>

张映 发表于 2020-04-02

分类目录: hadoop/spark/scala

最近在玩flink,想让flink sql借用hive的元数据库。可是呢,flink sql能连hive的版本,到目前为止只有2个,hive 1.2.1和hive 2.3.4。

cdh6.3.1装的hive是2.1.1,所以不升级hive,flink sql根本用不了。

阅读全文>>

张映 发表于 2020-03-30

分类目录: 技术其他

sbt默认源很慢,推荐使用国内源。但国内源也有缺点,最新的版本,可能是没有的。

阅读全文>>

张映 发表于 2020-03-25

分类目录: 服务器相关

superset是可视化数据工具。本以为在centos7上面可以很快速的安装,但是花了一天的时间。遇到了不少坑。

阅读全文>>

张映 发表于 2020-03-23

分类目录: hadoop/spark/scala

spark,flink都能进行流处理和批处理。spark的文章写了好多,请在本博客中去搜索。flink的安装,请参考:cdh6 flink 安装

阅读全文>>

张映 发表于 2020-03-10

分类目录: mysql

mysql的视图,不推荐大家使用。mysql使用增,删,改,查,事务等,最基本的东西了就好了。其他的还是少尝试,例如存储过程,触发器,事件,视图等。

mysql的视图,有一套自己权限系统,如果权限没有处理好,就算是mysql的超级管理员root,也没法读取视图的里面的数据。

阅读全文>>

张映 发表于 2020-02-28

分类目录: mysql

mysql myisam可以通过直接复制frm,MYD,MYI,来备份和还原,非常的方便。innodb其实也是可以的,不过就比较麻烦了。

阅读全文>>

张映 发表于 2020-02-28

分类目录: mysql

mysql的普通操作和事务能满足所有的需求,至少对于我来说是这样的。mysql 视图,触发器,存储过程,事件,外键等,建议不要用。普通操作结合事务,不用担心,稳定性如何,性能怎么样。

阅读全文>>

张映 发表于 2020-02-27

分类目录: hadoop/spark/scala

phoenix双引号,单引号用起来有点怪怪的。

phoenix表字段,表名等,如果不加双引号,默认是大写的。

单引号加在值上面会被认为成列,例如:where后面条件值,upsert values里面值。phoenix对值类型审核还是挺严格的,VARCHAR肯定是要加单引号的。整形肯定不能加。

阅读全文>>