张映 发表于 2019-05-06

分类目录: hadoop/spark

元数据换成mysql,请参考:hive mysql 安装配置,spark从kafka读取数据后,入库hdfs时,会连接mysql元数据库,spark采用的是长连接,当spark关闭时,连接会处于睡眠状态。长时间不处理,mysql的连接数就会被占满。

阅读全文>>

张映 发表于 2019-02-26

分类目录: hadoop/spark

数据量过大,mysql支持不了。mysql只是个临时方案,最终大数据搭建好了以后,还是需要把mysql的数据,导入到hadoop中。

阅读全文>>

张映 发表于 2019-02-19

分类目录: hadoop/spark

mysql的数据库数据过大,做数据分析,需要从mysql转向hadoop。

阅读全文>>

张映 发表于 2019-01-09

分类目录: hadoop/spark

hive和spark sql 默认用的都是derby,上篇文章说了,hive怎么使用mysql做为元数据库

spark sql使用hive的配置来连接mysql,配置下来挺简单的,并且不需要启动hive

阅读全文>>

张映 发表于 2019-01-09

分类目录: hadoop/spark

hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。

hive默认使用derby数据库,了解了一下,测试环境可以用。真正线上还是替换成mysql还是比较靠谱。

阅读全文>>

张映 发表于 2018-09-05

分类目录: mysql

数据库里面,部分数据表和数据是latin1的,部分数据表和数据是UTF8,还有部分表,表结构是utf8而数据是latin1。

这种奇葩情况,工作了十几年的我,还是第一次碰到。下面说一下,怎么样字符集统一成utf8

阅读全文>>

张映 发表于 2017-11-23

分类目录: 服务器相关

一直用docker下的redmine,但是一直有个问题,用户多时,创建任务或者bug时,就会报502,但是浏览没有问题的。进容器配置,重启容器,配置就会被还原。docker-compose.yml也没有相关的优化配置.无赖之下,决定换掉。

阅读全文>>

张映 发表于 2017-05-19

分类目录: mysql

一,什么是mycat

一个彻底开源的,面向企业应用开发的大数据库集群
支持事务、ACID、可以替代MySQL的加强版数据库
一个可以视为MySQL集群的企业级数据库,用来替代昂贵的Oracle集群
一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server
结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品
一个新颖的数据库中间件产品

以上是官方说明。其实就是数据库的连接池。mysql proxy也是一种连接池,但是效率很低。

阅读全文>>

张映 发表于 2016-12-15

分类目录: 服务器相关

mac下面安装php nginx mysql根linux下面差不多,建议大家使用brew管理工具包安装。

阅读全文>>

张映 发表于 2016-06-30

分类目录: mysql

网上有一些第三方源,升级mysql的同时,也会升级php,如果只想升级mysql看下面

阅读全文>>