张映 发表于 2019-02-19

分类目录: hadoop/spark/scala

mysql的数据库数据过大,做数据分析,需要从mysql转向hadoop。

阅读全文>>

张映 发表于 2019-01-09

分类目录: hadoop/spark/scala

hive和spark sql 默认用的都是derby,上篇文章说了,hive怎么使用mysql做为元数据库

spark sql使用hive的配置来连接mysql,配置下来挺简单的,并且不需要启动hive

阅读全文>>

张映 发表于 2019-01-09

分类目录: hadoop/spark/scala

hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。

hive默认使用derby数据库,了解了一下,测试环境可以用。真正线上还是替换成mysql还是比较靠谱。

阅读全文>>

张映 发表于 2018-09-05

分类目录: mysql

数据库里面,部分数据表和数据是latin1的,部分数据表和数据是UTF8,还有部分表,表结构是utf8而数据是latin1。

这种奇葩情况,工作了十几年的我,还是第一次碰到。下面说一下,怎么样字符集统一成utf8

阅读全文>>

张映 发表于 2017-11-23

分类目录: 服务器相关

一直用docker下的redmine,但是一直有个问题,用户多时,创建任务或者bug时,就会报502,但是浏览没有问题的。进容器配置,重启容器,配置就会被还原。docker-compose.yml也没有相关的优化配置.无赖之下,决定换掉。

阅读全文>>

张映 发表于 2017-05-19

分类目录: mysql

一,什么是mycat

一个彻底开源的,面向企业应用开发的大数据库集群
支持事务、ACID、可以替代MySQL的加强版数据库
一个可以视为MySQL集群的企业级数据库,用来替代昂贵的Oracle集群
一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server
结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品
一个新颖的数据库中间件产品

以上是官方说明。其实就是数据库的连接池。mysql proxy也是一种连接池,但是效率很低。

阅读全文>>

张映 发表于 2016-12-15

分类目录: 服务器相关

mac下面安装php nginx mysql根linux下面差不多,建议大家使用brew管理工具包安装。

阅读全文>>

张映 发表于 2016-06-30

分类目录: mysql

网上有一些第三方源,升级mysql的同时,也会升级php,如果只想升级mysql看下面

阅读全文>>

张映 发表于 2016-04-15

分类目录: mysql

断电,导致innodb部分表坏了,phpmyadmin中看到该表显示为使用中,并报了,#145 - Table './shbc/user_order_logs' is marked as crashed and should be repaired

以前也解决过一次myisam表损坏,请参考:Incorrect key file for table mysql表损坏的修复方法

阅读全文>>

张映 发表于 2016-04-12

分类目录: mysql

如果对mysql表,进行大范围删除后,最好做一个表优化,这样会快一些。以前写过一篇类似的,针对myisam存储引擎的。请参考:实例说明optimize table在优化mysql时很重要

阅读全文>>