zookeeper 日志清理

张映 发表于 2019-02-28

分类目录: hadoop/spark/scala

标签:,

zookeeper服务器会产生三类日志:事务日志、快照日志和集群服务器运行日志。

在zookeeper默认配置文件zoo.cfg中有一个配置项dataDir,该配置项用于配置zookeeper快照日志和事务日志的存储地址。在官方提供的默认参考配置文件zoo_sample.cfg中,只有dataDir配置项。其实在实际应用中,还可以为事务日志专门配置存储地址,配置项名称为dataLogDir,在zoo_sample.cfg中并未体现出来。在没有dataLogDir配置项的时候,

zookeeper默认将事务日志文件和快照日志文件都存储在dataDir对应的目录下。建议将事务日志(dataLogDir)与快照日志(dataLog)单独配置,因为当zookeeper集群进行频繁的数据读写操作是,会产生大量的事务日志信息,将两类日志分开存储会提高系统性能,而且,可以允许将两类日志存在在不同的存储介质上,减少磁盘压力。

zookeeper集群服务器运行日志,该日志的配置地址在conf/目录下的log4j.properties文件中,该文件中有一个配置项为“zookeeper.log.dir=.”,表示log4j日志文件在与执行程序(zkServer.sh)在同一目录下。当执行zkServer.sh 时,在该文件夹下会产生zookeeper.out日志文件。下面主要介绍事务日志与快照日志。

1,zoo.cfg配置

  1. [root@bigserver1 conf]# cat zoo.cfg  
  2. ticketTime=2000  
  3. clientPort=2181  
  4. dataDir=/bigdata/zookeeper/data  
  5. dataLogDir=/bigdata/zookeeper/logs  
  6. autopurge.snapRetainCount=96  //保留96个文件  
  7. autopurge.purgeInterval=48  //日志保留48小时  
  8. initLimit=10  
  9. syncLimit=5  
  10. server.1=bigserver1:2888:3888  
  11. server.2=bigserver2:2888:3888  
  12. server.3=testing:2888:3888  

autopurge.snapRetainCount和autopurge.purgeInterval配置参数,zookeeper3.4以后才有。

2,zookeeper日志目录介绍

/bigdata/zookeeper/data 快照日志
/bigdata/zookeeper/logs 事务日志
/bigdata/zookeeper/errorlog 服务器日志,默认配置

3,重启前查看日志大小

  1. [root@bigserver2 version-2]# du -sh      //事务日志  
  2. 4.9G .  
  3.   
  4. [root@bigserver2 version-2]# ls |wc -l  
  5. 1512  
  6.   
  7. [root@bigserver2 version-2]# du -sh     //快照日志  
  8. 5.0G .  
  9.   
  10. [root@bigserver2 version-2]# ls |wc -l  
  11. 1514  

4,重启zookeeper后

  1. [root@bigserver2 version-2]# du -sh   //事务日志  
  2. 206M .  
  3.   
  4. [root@bigserver2 version-2]# ls |wc -l  
  5. 96  
  6.   
  7. [root@bigserver2 version-2]# du -sh   //快照日志  
  8. 415M .  
  9.   
  10. [root@bigserver2 version-2]# ls |wc -l  
  11. 98  

 



转载请注明
作者:海底苍鹰
地址:http://blog.51yip.com/hadoop/2064.html