B / Zookeeper

Zookeeper日志 & 快照

一、Zookeeper日志

Zookeeper服务器会产生三类日志：事务日志、快照日志和log4j日志。
在zookeeper默认配置文件zoo.cfg（可以修改文件名）中有一个配置项dataDir，该配置项用于配置zookeeper快照日志和事务日志的存储地址。在官方提供的默认参考配置文件zoo_sample.cfg中，只有dataDir配置项。其实在实际应用中，还可以为事务日志专门配置存储地址，配置项名称为dataLogDir，在zoo_sample.cfg中并未体现出来。在没有dataLogDir配置项的时候，zookeeper默认将事务日志文件和快照日志文件都存储在dataDir对应的目录下。建议将事务日志（dataLogDir）与快照日志（dataLog）单独配置，因为当zookeeper集群进行频繁的数据读写操作是，会产生大量的事务日志信息，将两类日志分开存储会提高系统性能，而且，可以允许将两类日志存在在不同的存储介质上，减少磁盘压力。log4j用于记录zookeeper集群服务器运行日志，该日志的配置地址在conf/目录下的log4j.properties文件中，该文件中有一个配置项为zookeeper.log.dir=.，表示log4j日志文件在与执行程序（zkServer.sh）在同一目录下。当执行zkServer.sh 时，在该文件夹下会产生zookeeper.out日志文件。

二、事务日志

事务日志指zookeeper系统在正常运行过程中，针对所有的更新操作，在返回客户端“更新成功”的响应前，zookeeper会保证已经将本次更新操作的事务日志已经写到磁盘上，只有这样，整个更新操作才会生效。
根据上文所述，可以通过zoo.cfg文件中的dataLogDir配置项找到事物日志存储地点：
在datalog/目录下存在一个文件夹version-2，该文件夹中保存着事物日志文件:
日志文件的命名规则为log.，文件大小为64MB，表示写入该日志的第一个事务的ID，十六进制表示。

三、事务日志可视化

Zookeeper的事务日志为二进制文件，不能通过vim等工具直接访问。其实可以通过zookeeper自带的jar包读取事务日志文件。
首先将libs中的slf4j-api-1.6.1.jar文件和zookeeper根目录下的zookeeper-3.4.9.jar文件复制到临时文件夹tmplibs中，然后执行如下命令：

java -classpath .:lib/slf4j-api-1.7.25.jar:zookeeper-3.4.14.jar org.apache.zookeeper.server.LogFormatter /opt/zookeeper/transactionLog/version-2/log.4

其中：/opt/zookeeper/transactionLog/version-2/log.4是日志路径下的日志文件
命令是在zookeeper的bin目录下执行的，因此使用.:lib
zookeeper-3.4.14.jar表示我所使用的zk版本是3.4.12版本

四、快照日志

Zookeeper的数据在内存中是以树形结构进行存储的，而快照就是每隔一段时间就会把整个DataTree的数据序列化后存储在磁盘中，这就是zookeeper的快照文件。
zookeeper快照日志的存储路径同样可以在zoo.cfg中查看，如上文截图所示。访问dataDir路径可以看到version-2文件夹:
从截图中可以看出，zookeeper快照文件的命名规则为snapshot.，其中表示zookeeper触发快照的那个瞬间，提交的最后一个事务的ID。

五、日志清理

在zookeeper 3.4.0以后，zookeeper提供了自动清理snapshot和事务日志功能，通过配置zoo.cfg下的autopurge.snapRetainCount和autopurge.purgeInterval这两个参数实现日志文件的定时清理。
autopurge.snapRetainCount这个参数指定了需要保留的文件数目，默认保留3个；
autopurge.purgeInterval这个参数指定了清理频率，单位是小时，需要填写一个1或者更大的数据，默认0表示不开启自动清理功能。

六、事务日志和快照日志的关联

  • ZooKeeper集群中的每个服务器节点每次接收到写操作请求时，都会先将这次请求发送给leader，leader将这次写操作转换为带有状态的事务，然后leader会对这次写操作广播出去以便进行协调。当协调通过(大多数节点允许这次写)后，leader通知所有的服务器节点，让它们将这次写操作应用到内存数据库中，并将其记录到事务日志中。当事务日志记录的次数达到一定数量后(默认10W次)，就会将内存数据库序列化一次，使其持久化保存到磁盘上，序列化后的文件称为"快照文件"。每次拍快照都会生成新的事务日志。有了事务日志和快照，就可以让任意节点恢复到任意时间点(只要没有清理事务日志和快照)。
  • 事务日志和快照日志可用于zookeeper恢复数据，假设t1时刻保存了快照日志，t1到t2时刻保存了事务日志(这段时间内没有再新增快照)，那么t2时刻重启zookeeper，数据不会丢失
  • 快照相当于将当前的zookeeper状态记录了下来，保留了快照之后，该快照之前创建的快照和事务日志丢失是没有影响的。
  • 如果t1时刻保存了快照，但是t1到t2的事务日志丢失并且后面也没有快照，那么t1到t2之间的数据无法恢复，只能恢复到t1时刻的状态。

评论

暂无

添加新评论