innodb优化后，29小时入库1300万条数据

做广告弹窗推广，记录来源ip,url。推广征战四方游戏时，我是没有记录弹窗数的，当时预计是36时1000万IP，机子是8000多块的组装机，我怕mysql撑不起来。这次决定记录一下试试，如果mysql真的撑不起来的话，就用脚本切换成静态的。

一，网络监控图

网络流量监控

从上图可以看出，数据大部分都是在白天录入的。

二，数据库数据列表

数据库从推广开始到结束，一直在运行当中，一次没有down机。

mysql> select count(*) as at from at;
+---------+
| at      |
+---------+
| 1129964 |
+---------+
1 row in set (0.67 sec)

mysql> select count(*) as gb from gb;
+---------+
| gb      |
+---------+
| 1629177 |
+---------+
1 row in set (0.32 sec)

mysql> select count(*) as jr from jr;
+---------+
| jr      |
+---------+
| 1820653 |
+---------+
1 row in set (1.01 sec)

mysql> select count(*) as lg from lg;
+--------+
| lg     |
+--------+
| 592303 |
+--------+
1 row in set (0.32 sec)

mysql> select count(*) as qd from qd;
+---------+
| qd      |
+---------+
| 1249279 |
+---------+
1 row in set (0.69 sec)

mysql> select count(*) as xt from xt;
+---------+
| xt      |
+---------+
| 2229205 |
+---------+
1 row in set (1.23 sec)

mysql> select count(*) as zs from zs;
+---------+
| zs      |
+---------+
| 3992709 |
+---------+
1 row in set (2.39 sec)

//这里是数据表对应的文件，
[root@localhost tg]# du -ah
9.1M    ./sd.ibd
85M    ./qd.ibd
4.0K    ./db.opt
12K    ./bd.frm
12K    ./zs.frm
12K    ./jr.frm
365M    ./zs.ibd
45M    ./lg.ibd
129M    ./jr.ibd
145M    ./xt.ibd
81M    ./at.ibd
113M    ./gb.ibd
12K    ./sd.frm
12K    ./xt.frm
12K    ./gb.frm
12K    ./at.frm
12K    ./qd.frm
96K    ./bd.ibd
12K    ./lg.frm
966M    .

三，innodb的主要优化

 init_connect='SET autocommit=0'    //关闭自动提交，这个对于innodb来说，很重要
 innodb-file-per-table=1            //使用独立表空间
 innodb-open-file=500               //打开最大文件数据是500，默认是300
 innodb_log_file_size=512M          //log文件大小
 innodb_log_buffer_size=8M          //缓冲日志数据的缓冲区的大小
 innodb_flush_log_at_trx_commit=0   //提交数据等级0是最快，但是有可能会丢数据
 innodb_buffer_pool_size=5G         //缓冲池大小，我把它设置内在的65%
 innodb_log_files_in_group=3        //日志文件总数
 innodb_file_io_threads=8           //根cpu核数是一样，读写文件进程数
 event_scheduler=1                  //开启动mysql event

//添加一个mysql event
CREATE EVENT `commit_event` ON SCHEDULE EVERY 5 MINUTE STARTS '2012-01-04 19:06:26' ON COMPLETION NOT PRESERVE ENABLE DO COMMit

1,自动提交对innodb的影响非常大的，这个我做过测试，请参考,mysql autocommit对myisam,innodb的性能影响.

2,innodb_flush_log_at_trx_commit我把它设置成0，我只要求速度最快，最是统计推广的弹窗，这些数据只是为了我们后期统计和分析用的，没有太大的价值。如果数据很重要就不要设置成0了。

0代表日志只大约每秒写入日志文件并且日志文件刷新到磁盘.
1InnoDB会在每次提交后刷新(fsync)事务日志到磁盘上
2代表日志写入日志文件在每次提交后,但是日志文件只有大约每秒才会刷新到磁盘上.

3,还有一点就是我用了mysql event功能，根linux的crontab差不多，以前没在生产环境中用过mysql event，这次试了一下，还是挺给力的。关于mysql event请参考，mysql event 是什么，有什么用.