mysql的数据库数据过大，做数据分析，需要从mysql转向hadoop。
hive和spark sql 默认用的都是derby，上篇文章说了，hive怎么使用mysql做为元数据库。
spark sql使用hive的配置来连接mysql，配置下来挺简单的，并且不需要启动hive
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
hive默认使用derby数据库，了解了一下，测试环境可以用。真正线上还是替换成mysql还是比较靠谱。
数据库里面，部分数据表和数据是latin1的，部分数据表和数据是UTF8，还有部分表，表结构是utf8而数据是latin1。
这种奇葩情况，工作了十几年的我，还是第一次碰到。下面说一下，怎么样字符集统一成utf8
一直用docker下的redmine，但是一直有个问题，用户多时，创建任务或者bug时，就会报502，但是浏览没有问题的。进容器配置，重启容器，配置就会被还原。docker-compose.yml也没有相关的优化配置.无赖之下，决定换掉。
一，什么是mycat
一个彻底开源的，面向企业应用开发的大数据库集群
支持事务、ACID、可以替代MySQL的加强版数据库
一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群
一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server
结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品
一个新颖的数据库中间件产品
以上是官方说明。其实就是数据库的连接池。mysql proxy也是一种连接池，但是效率很低。
mac下面安装php nginx mysql根linux下面差不多，建议大家使用brew管理工具包安装。
网上有一些第三方源，升级mysql的同时，也会升级php，如果只想升级mysql看下面
断电，导致innodb部分表坏了，phpmyadmin中看到该表显示为使用中，并报了，#145 - Table './shbc/user_order_logs' is marked as crashed and should be repaired。
以前也解决过一次myisam表损坏，请参考：Incorrect key file for table mysql表损坏的修复方法
如果对mysql表，进行大范围删除后，最好做一个表优化，这样会快一些。以前写过一篇类似的，针对myisam存储引擎的。请参考：实例说明optimize table在优化mysql时很重要