张映 发表于 2021-04-23

分类目录: elasticsearch

elasticsearch dsl写起来,还是比较麻烦的,特别是聚合的时候,推荐以下方式转换。

阅读全文>>

张映 发表于 2020-04-02

分类目录: hadoop/spark/scala

在看这篇文章前,请先了解一下:

1,cdh6 flink 安装
2,flink on yarn 提交任务的二种方式
3,cdh hive 2.1.1 升级到 2.3.4

阅读全文>>

张映 发表于 2020-01-02

分类目录: hadoop/spark/scala

在看本文前,请先阅读一下:scala spark sql 本地调试

本地spark连接远程hive,这样就可以不用自己造数据,或者从远程copy数据了。

阅读全文>>

张映 发表于 2020-01-02

分类目录: hadoop/spark/scala

对于习惯了sql的开发同学来说,写sql肯定比较用map,filter内在算法因子要顺手的多。

阅读全文>>

张映 发表于 2019-01-15

分类目录: hadoop/spark/scala

通过sql的方式,读取数据,根我们常用的关系型数据库差不多,更容易上手,当然没有updata和delete。

阅读全文>>

张映 发表于 2019-01-09

分类目录: hadoop/spark/scala

hive和spark sql 默认用的都是derby,上篇文章说了,hive怎么使用mysql做为元数据库

spark sql使用hive的配置来连接mysql,配置下来挺简单的,并且不需要启动hive

阅读全文>>

张映 发表于 2018-05-10

分类目录: elasticsearch, 服务器相关

前面我也提到了,elasticsearch根nosql很像的,特别是mongodb。既然根数据库很像,能不能像写sql一样,查询es的语句呢。

阅读全文>>