innodb优化后,29小时入库1300万条数据

张映 发表于 2012-01-12

分类目录: mysql

标签:,

做广告弹窗推广,记录来源ip,url。推广征战四方游戏时,我是没有记录弹窗数的,当时预计是36时1000万IP,机子是8000多块的组装机,我怕mysql撑不起来。这次决定记录一下试试,如果mysql真的撑不起来的话,就用脚本切换成静态的。

一,网络监控图

网络流量监控

网络流量监控

从上图可以看出,数据大部分都是在白天录入的。

二,数据库数据列表

数据库从推广开始到结束,一直在运行当中,一次没有down机。

mysql> select count(*) as at from at;
+---------+
| at      |
+---------+
| 1129964 |
+---------+
1 row in set (0.67 sec)

mysql> select count(*) as gb from gb;
+---------+
| gb      |
+---------+
| 1629177 |
+---------+
1 row in set (0.32 sec)

mysql> select count(*) as jr from jr;
+---------+
| jr      |
+---------+
| 1820653 |
+---------+
1 row in set (1.01 sec)

mysql> select count(*) as lg from lg;
+--------+
| lg     |
+--------+
| 592303 |
+--------+
1 row in set (0.32 sec)

mysql> select count(*) as qd from qd;
+---------+
| qd      |
+---------+
| 1249279 |
+---------+
1 row in set (0.69 sec)

mysql> select count(*) as xt from xt;
+---------+
| xt      |
+---------+
| 2229205 |
+---------+
1 row in set (1.23 sec)

mysql> select count(*) as zs from zs;
+---------+
| zs      |
+---------+
| 3992709 |
+---------+
1 row in set (2.39 sec)

//这里是数据表对应的文件,
[root@localhost tg]# du -ah
9.1M    ./sd.ibd
85M    ./qd.ibd
4.0K    ./db.opt
12K    ./bd.frm
12K    ./zs.frm
12K    ./jr.frm
365M    ./zs.ibd
45M    ./lg.ibd
129M    ./jr.ibd
145M    ./xt.ibd
81M    ./at.ibd
113M    ./gb.ibd
12K    ./sd.frm
12K    ./xt.frm
12K    ./gb.frm
12K    ./at.frm
12K    ./qd.frm
96K    ./bd.ibd
12K    ./lg.frm
966M    .

三,innodb的主要优化

 init_connect='SET autocommit=0'    //关闭自动提交,这个对于innodb来说,很重要
 innodb-file-per-table=1            //使用独立表空间
 innodb-open-file=500               //打开最大文件数据是500,默认是300
 innodb_log_file_size=512M          //log文件大小
 innodb_log_buffer_size=8M          //缓冲日志数据的缓冲区的大小
 innodb_flush_log_at_trx_commit=0   //提交数据等级0是最快,但是有可能会丢数据
 innodb_buffer_pool_size=5G         //缓冲池大小,我把它设置内在的65%
 innodb_log_files_in_group=3        //日志文件总数
 innodb_file_io_threads=8           //根cpu核数是一样,读写文件进程数
 event_scheduler=1                  //开启动mysql event

//添加一个mysql event
CREATE EVENT `commit_event` ON SCHEDULE EVERY 5 MINUTE STARTS '2012-01-04 19:06:26' ON COMPLETION NOT PRESERVE ENABLE DO COMMit

1,自动提交对innodb的影响非常大的,这个我做过测试,请参考,mysql autocommit对myisam,innodb的性能影响.

2,innodb_flush_log_at_trx_commit我把它设置成0,我只要求速度最快,最是统计推广的弹窗,这些数据只是为了我们后期统计和分析用的,没有太大的价值。如果数据很重要就不要设置成0了。

0代表日志只大约每秒写入日志文件并且日志文件刷新到磁盘.
1InnoDB会在每次提交后刷新(fsync)事务日志到磁盘上
2代表日志写入日志文件在每次提交后,但是日志文件只有大约每秒才会刷新到磁盘上.

3,还有一点就是我用了mysql event功能,根linux的crontab差不多,以前没在生产环境中用过mysql event,这次试了一下,还是挺给力的。关于mysql event请参考,mysql event 是什么,有什么用.



转载请注明
作者:海底苍鹰
地址:http://blog.51yip.com/mysql/1369.html

2 条评论

  1. 天涯PHP博客 留言

    高手……鉴定完毕。

  2. wuming 留言

    你好,请教, event_scheduler=1 //开启动mysql event
    对优化有什么影响

留下评论

留下评论
  • (必需)
  • (必需) (will not be published)
  • (必需)   8X5=?