Java学习者

作者：微信小助手

<blockquote> 搞架构的人，Google的架构论文是必看的，但好像大家都不愿意去啃英文论文。故把自己的读书笔记，加入自己的思考，分享给大家。 </blockquote>   第一篇，GFS（Google File System）架构启示。   GFS是什么？ Google早期研发的分布式文件系统。 画外音：与分布式文件系统对应的，是单机文件系统，Windows和Linux操作系统都有文件系统。   GFS的设计目标是什么？ 主要有四个目标： (1) 高可用（availability）； (2) 高可靠（reliability）； (3) 高性能（performance）； (4) 可扩展（scalability）； 画外音：WaCaLe，这些词都被架构师用烂了，简单解释一下。 高可用，是指7*24提供服务，任何一台机器挂了或者磁盘坏了，服务不终止，文件不丢失； 高可靠，是指争取的输入，得到正确的输出，读取a文件，不会得到b文件； 高性能，是指吞吐量很牛逼，每秒响应几十万请求； 可扩展，是指加机器，就能提升性能，就能存更多文件； 额，希望这个解释是通俗的。   GFS对外提供什么接口？ 文件创建，删除，打开，关闭，读，写，快照。 画外音： 除了快照，接口和单机文件系统差不多。 快照其实是快速文件目录树的拷贝，并不是所有文件的快照。 GFS能够成为分布式架构的经典案例，原因之一，就是接口简单，但反映的架构理念不简单。   GFS的系统架构如何？ 系统里只有文件客户端，主服务器，存储服务器三个角色。 <img class="" data-copyright="0" data-ratio="0.4626038781163435" data-s="300,640" src="/upload/fcdc8b5cd176b3fc59925a930a9a8df2.png" data-type="png" data-w="722" style=""> 如上图： (1) 客户端（GFS client），是以库的形式提供的，提供的就是对外要用的接口； (2) 主服务器（GFS master），是单点，存储文件信息，目录信息，文件服务器信息，那个文件存在哪些文件服务器上等元数据； (3) 存储服务器（GFS chunk-server），是集群，存储文件； 画外音：角色简单，但反映的架构理念不简单。   为什么要设计单点master？ 单点master意味着有一个节点可以避免分布式锁，可以拥有全局视野，能够统一调度与监控，系统整体复杂度降低很多。 画外音：锁可以降级成本地锁，分布式调度可以降级为单点调度。   更具体的： (1) master拥有所有文件目录结构，要操作某个文件，必须获得相应的锁； 画外音：一般情况下，不会对同一个网页进行并发写操作，应用场景决定锁冲突其实不大； (2) master拥有全局视野，能够避免死锁； (3) master知道chunk-server的信息，能够很容易的做chunk-server监控，负载均衡； (4) master知道所有文件的副本分布信息，能够很容易的做文件大小的负载均衡； 画外音：负载均衡分为请求量的均衡，文件存储的容量均衡。   GFS的高可用是怎么保证的？ 高可用又分为服务高可用，文件存储高可用，均通过“冗余+自动故障转移”的思路是实现。 (1) master高可用：冗余了一台影子master，平时不工作，master挂了工作，以保证master的高可用； 画外音：master资源利用率只有50%。 (2) chunk-server高可用：本身是集群，冗余服务； 画外音：当有chunk-server挂掉，master能检测到，并且知道哪些文件存储在chunk-server上，就可以启动新的实例，并复制相关文件。 (3) 文件存储高可用：每一份文件会存三份，冗余文件；   GFS的高性能是怎么保证的？ 多个chunk-server可以通过线性扩展提升处理能力和存储空间，GFS的潜在瓶颈是单点master，所以GFS要想达到超高性能，主要架构优化思路在于，“提升master性能，减少与master交互”。 (1) 只存储元数据，不存储文件数据，不让磁盘容量成为master瓶颈； (2) 元数据会存储在磁盘和内存里，不让磁盘IO成为master瓶颈； (3) 元数据大小内存完全能装得下，不让内存容量成为master瓶颈； (4) 所有数据流，数据缓存，都不走master，不让带宽成为master瓶颈； (5) 元数据可以缓存在客户端，每次从客户端本地缓存访问元数据，只有元数据不准确的时候，才会访问master，不让CPU成为成为master瓶颈；   当然，chunk-server虽然有多个，也会通过一些手段提升chunk-server的性能，例如： (1) 文件块使用64M，避免太多碎片降低性能； (2) 使用追加写，而不是随机写，提升性能； (3) 使用TCP长连接，提升性能；   GFS如何保证系统可靠性？ 保证元数据与文件数据的可靠性，GFS使用了很多非常经典的手段。 (1) 元数据的变更，会先写日志，以确保不会丢失； 画外音：日志也会冗余，具备高可用。 (2) master会轮询探测chunk-server的存活性，保证有chunk-server失效时，chunk-server的状态是准确的； 画外音：文件会存多份，短时间内chunk-server挂掉是不影响的。 (3) 元数据的修改是原子的，由master控制，master必须保证元数据修改的顺序性； (4) 文件的正确性，通过checksum保证； (5) 监控，快速发现问题；   读操作的核心流程？ 文件读取是最高频的操作。 (1) client读本地缓存，看文件在哪些chunk-server上； (2) 如果client本地缓存miss，询问master文件所在位置，并更新本地缓存； (3) 从一个chunk-server里读文件，如果读取到，就返回；   写操作的核心流程？ 写操作会复杂很多。   为了保证数据高可用，数据必须在多个chunk-server上写入多个副本，首先要解决的问题是，如何保证多个chunk-server上的数据是一致的呢？ 想想一个MySQL集群的多个MySQL实例，是如何保证多个实例的数据一致性的。bingo！确定一个主实例，串行化所有写操作，然后在其他实例重放相同的操作序列，以保证多个实例数据的一致性。   GFS也采用了类似的策略，一个文件冗余3份，存在3个chunk-server上，如下图步骤1-7： <img class="" data-copyright="0" data-ratio="1.0136612021857923" data-s="300,640" src="/upload/6c23a643bfdb87b766844d6ed72e5512.png" data-type="png" data-w="366" style=""> (1) client访问master，要发起文件写操作； 画外音：假设client本地缓存未生效； (2) master返回数据存储在ABC三个实例上，并且告之其中一个实例是主chunk-server； (3) client将数据流传递给所有chunk-server； (4) client将控制流产地给主chunk-server； (5) 主chunk-server进行本地操作串行化，并将序列化后的命令发送给其他chunk-server； (6) 其他chunk-server按照相同的控制流对数据进行操作，并将结果告诉主chunk-server； (7) 主chunk-server收到其他所有chunk-server的成果执行结果后，将结果返回client； 画外音：MySQL的主库是写瓶颈，GFS不会出现这样的问题，每个文件的主chunk-server是不同的，所以每个实例的写请求也是均衡的。   这里需要说明的是，GFS对于写操作，执行的是最保守的策略，必须所有chunk写成功，才会返回client写成功（写吞吐会降低）；这样的好处是，读操作只要一个chunk读取成功，就能返回读成功（读吞吐会提升）。 画外音：这也符合R+W>N的定理，N=3份副本，W=3写3个副本才算成功，R=1读1个副本就算成功。R+W>N定理未来再详述。   之所以这么设计，和文件操作“读多写少”的特性有关的，Google抓取的网页，更新较少，读取较多，这也是一个设计折衷的典型。 画外音：任何脱离业务的架构设计都是耍流氓。   除此之外，这里还有一个“数据流与控制流分离”的设计准则： (1) 控制流数据量小，client直接与主chunk-server交互； (2) 数据流数据量大，client选择“最近的路径”发送数据； 画外音：所谓“最近”，可以通过IP的相似度计算得到。   总结 GFS的架构，体现了很多经典的设计实践： <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>简化系统角色，单点master降低系统复杂度</li> <li>不管是文件还是服务，均通过“冗余+故障自动转移”保证高可用</li> <li>由于存在单点master，GFS将“降低与单点master的交互”作为性能优化核心</li> <li>通过写日志，原子修改，checksum，快速监控快速恢复等方式保证可靠性与完整性</li> <li>通过串行化保证多个副本数据的一致性</li> <li>控制流与数据流分离，提高性能</li> </ul> 画外音：GFS还有一些优化细节也挺有意思，文章未能穷尽。 <p style="max-width: 100%;min-height: 1em;color: rgb(51, 51, 51);font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;letter-spacing: 0.544px;white-space: normal;background-color: rgb(255, 255, 255);text-align: center;line-height: normal;box-sizing: border-box !important;word-wrap: break-word !important;"><img width="auto" data-ratio="1" data-w="250" data-type="jpeg" data-s="300,640" class="" src="/upload/7ddc9700032e2c5cee163f1f1a37b46c.jpg" style="max-width: 677px;box-sizing: border-box;word-wrap: break-word;visibility: visible !important;width: 130px !important;"> <p style="max-width: 100%;min-height: 1em;color: rgb(51, 51, 51);font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;letter-spacing: 0.544px;white-space: normal;background-color: rgb(255, 255, 255);text-align: center;line-height: normal;box-sizing: border-box !important;word-wrap: break-word !important;">架构师之路-分享可落地的技术文章 希望大家对GFS的架构，和设计方法有了初步的了解，希望大家有收获。有问必回。 谢转。

如何快速过滤出一次请求的所有日志？

作者：微信小助手

（给ImportNew加星标，提高Java技能） <blockquote> <p style="letter-spacing: 0.5440000295639038px;white-space: normal;background-color: rgb(255, 255, 255);max-width: 100%;min-height: 1em;text-align: left;box-sizing: border-box !important;overflow-wrap: break-word !important;">链接：wudashan.com/2018/02/15/Log-Request-In-MutiThread/ </blockquote> 示例源码地址：https://github.com/wudashan/slf4j-mdc-muti-thread 前言 在现网出现故障时，我们经常需要获取一次请求流程里的所有日志进行定位。如果请求只在一个线程里处理，则我们可以通过线程ID来过滤日志，但如果请求包含异步线程的处理，那么光靠线程ID就显得捉襟见肘了。 华为IoT平台，提供了接收设备上报数据的能力，当数据到达平台后，平台会进行一些复杂的业务逻辑处理，如数据存储，规则引擎，数据推送，命令下发等等。由于这个逻辑之间没有强耦合的关系，所以通常是异步处理。如何将一次数据上报请求中包含的所有业务日志快速过滤出来，就是本文要介绍的。 正文 SLF4J日志框架提供了一个MDC(Mapped Diagnostic Contexts)工具类，谷歌翻译为映射的诊断上下文，从字面上很难理解，我们可以先实战一把。 <pre style="overflow-x:auto;"><code style="font-size: 0.85em;font-family: Consolas, Menlo, Courier, monospace;margin: 0px 0.15em;white-space: pre;overflow: auto;padding: 0.5em;color: rgb(171, 178, 191);text-size-adjust: none;display: block !important;min-width: 400px;background: none 0% 0% / auto repeat scroll padding-box border-box rgb(40, 44, 52);font-weight: 400;" class="c hljs cpp">public class Main { private static final String KEY = "requestId"; private static final Logger logger = LoggerFactory.getLogger(Main.class); public static void main(String[] args) { // 入口传入请求ID MDC.put(KEY, UUID.randomUUID().toString()); // 打印日志 logger.debug("log in main thread 1"); logger.debug("log in main thread 2"); logger.debug("log in main thread 3"); // 出口移除请求ID MDC.remove(KEY); } }</code></pre> 我们在main函数的入口调用MDC.put()方法传入请求ID，在出口调用MDC.remove()方法移除请求ID。配置好log4j2.xml文件后，运行main函数，可以在控制台看到以下日志输出： <pre style="overflow-x:auto;"><code style="font-size: 0.85em;font-family: Consolas, Menlo, Courier, monospace;margin: 0px 0.15em;white-space: pre;overflow: auto;padding: 0.5em;color: rgb(171, 178, 191);text-size-adjust: none;display: block !important;min-width: 400px;background: none 0% 0% / auto repeat scroll padding-box border-box rgb(40, 44, 52);font-weight: 400;" class="c hljs cpp">2018-02-17 13:19:52.606 {requestId=f97ea0fb-2a43-40f4-a3e8-711f776857d0} [main] DEBUG cn.wudashan.Main - log in main thread 1 2018-02-17 13:19:52.609 {requestId=f97ea0fb-2a43-40f4-a3e8-711f776857d0} [main] DEBUG cn.wudashan.Main - log in main thread 2 2018-02-17 13:19:52.609 {requestId=f97ea0fb-2a43-40f4-a3e8-711f776857d0} [main] DEBUG cn.wudashan.Main - log in main thread 3</code></pre> 从日志中可以明显地看到花括号中包含了（映射的）请求ID(requestId)，这其实就是我们定位（诊断）问题的关键字（上下文）。有了MDC工具，只要在接口或切面植入put()和remove()代码，在现网定位问题时，我们就可以通过grep requestId=xxx *.log快速的过滤出某次请求的所有日志。 进阶 然而，MDC工具真的有我们所想的这么方便吗？回到我们开头，一次请求可能涉及多线程异步处理，那么在多线程异步的场景下，它是否还能正常运作呢？Talk is cheap, show me the code。 <pre style="overflow-x:auto;"><code style="font-size: 0.85em;font-family: Consolas, Menlo, Courier, monospace;margin: 0px 0.15em;white-space: pre;overflow: auto;padding: 0.5em;color: rgb(171, 178, 191);text-size-adjust: none;display: block !important;min-width: 400px;background: none 0% 0% / auto repeat scroll padding-box border-box rgb(40, 44, 52);font-weight: 400;" class="c hljs cpp">public class Main { private static final String KEY = "requestId"; private static final Logger logger = LoggerFactory.getLogger(Main.class); public static void main(String[] args) { // 入口传入请求ID MDC.put(KEY, UUID.randomUUID().toString()); // 主线程打印日志 logger.debug("log in main thread"); // 异步线程打印日志 new Thread(new Runnable() { @Override public void run() { logger.debug("log in other thread"); } }).start(); // 出口移除请求ID MDC.remove(KEY); } }</code></pre> 代码里我们新起了一个异步线程，并在匿名对象Runnable的run()方法打印日志。运行main函数，可以在控制台看到以下日志输出： <pre style="overflow-x:auto;"><code style="font-size: 0.85em;font-family: Consolas, Menlo, Courier, monospace;margin: 0px 0.15em;white-space: pre;overflow: auto;padding: 0.5em;color: rgb(171, 178, 191);text-size-adjust: none;display: block !important;min-width: 400px;background: none 0% 0% / auto repeat scroll padding-box border-box rgb(40, 44, 52);font-weight: 400;" class="c hljs cpp">2018-02-17 14:05:43.487 {requestId=e6099c85-72be-4986-8a28-de6bb2e52b01} [main] DEBUG cn.wudashan.Main - log in main thread 2018-02-17 14:05:43.490 {} [Thread-1] DEBUG cn.wudashan.Main - log in other thread</code></pre> 不幸的是，请求ID在异步线程里不打印了。这是怎么回事呢？要解决这个问题，我们就得知道MDC的实现原理。由于篇幅有限，这里就暂不详细介绍，MDC之所以在异步线程中不生效是因为底层采用ThreadLocal作为数据结构，我们调用MDC.put()方法传入的请求ID只在当前线程有效。感兴趣的小伙伴可以自己深入一下代码细节。 知道了原理那么解决这个问题就轻而易举了，我们可以使用装饰器模式，新写一个MDCRunnable类对Runnable接口进行一层装饰。在创建MDCRunnable类时保存当前线程的MDC值，在执行run()方法时再将保存的MDC值拷贝到异步线程中去。代码实现如下： <pre style="overflow-x:auto;"><code style="font-size: 0.85em;font-family: Consolas, Menlo, Courier, monospace;margin: 0px 0.15em;white-space: pre;overflow: auto;padding: 0.5em;color: rgb(171, 178, 191);text-size-adjust: none;display: block !important;min-width: 400px;background: none 0% 0% / auto repeat scroll padding-box border-box rgb(40, 44, 52);font-weight: 400;" class="c hljs cpp">public class MDCRunnable implements Runnable { private final Runnable runnable; private final Map<String, String> map; public MDCRunnable(Runnable runnable) { this.runnable = runnable; // 保存当前线程的MDC值 this.map = MDC.getCopyOfContextMap(); } @Override public void run() { // 传入已保存的MDC值 for (Map.Entry<String, String> entry : map.entrySet()) { MDC.put(entry.getKey(), entry.getValue()); } // 装饰器模式，执行run方法 runnable.run(); // 移除已保存的MDC值 for (Map.Entry<String, String> entry : map.entrySet()) { MDC.remove(entry.getKey()); } } }</code></pre> 接着，我们需要对main函数里创建的Runnable实现类进行装饰： <pre style="overflow-x:auto;"><code style="font-size: 0.85em;font-family: Consolas, Menlo, Courier, monospace;margin: 0px 0.15em;white-space: pre;overflow: auto;padding: 0.5em;color: rgb(171, 178, 191);text-size-adjust: none;display: block !important;min-width: 400px;background: none 0% 0% / auto repeat scroll padding-box border-box rgb(40, 44, 52);font-weight: 400;" class="c hljs cpp">public class Main { private static final String KEY = "requestId"; private static final Logger logger = LoggerFactory.getLogger(Main.class); private static final ExecutorService EXECUTOR = Executors.newSingleThreadExecutor(); public static void main(String[] args) { // 入口传入请求ID MDC.put(KEY, UUID.randomUUID().toString()); // 主线程打印日志 logger.debug("log in main thread"); // 异步线程打印日志，用MDCRunnable装饰Runnable new Thread(new MDCRunnable(new Runnable() { @Override public void run() { logger.debug("log in other thread"); } })).start(); // 异步线程池打印日志，用MDCRunnable装饰Runnable EXECUTOR.execute(new MDCRunnable(new Runnable() { @Override public void run() { logger.debug("log in other thread pool"); } })); EXECUTOR.shutdown(); // 出口移除请求ID MDC.remove(KEY); } }</code></pre> 执行main函数，将会输出以下日志： <pre style="overflow-x:auto;"><code style="font-size: 0.85em;font-family: Consolas, Menlo, Courier, monospace;margin: 0px 0.15em;white-space: pre;overflow: auto;padding: 0.5em;color: rgb(171, 178, 191);text-size-adjust: none;display: block !important;min-width: 400px;background: none 0% 0% / auto repeat scroll padding-box border-box rgb(40, 44, 52);font-weight: 400;" class="c hljs cpp">2018-03-04 23:44:05.343 {requestId=5ee2a117-e090-41d8-977b-cef5dea09d34} [main] DEBUG cn.wudashan.Main - log in main thread 2018-03-04 23:44:05.346 {requestId=5ee2a117-e090-41d8-977b-cef5dea09d34} [Thread-1] DEBUG cn.wudashan.Main - log in other thread 2018-03-04 23:44:05.347 {requestId=5ee2a117-e090-41d8-977b-cef5dea09d34} [pool-2-thread-1] DEBUG cn.wudashan.Main - log in other thread pool</code></pre> Congratulations！经过我们的努力，最终在异步线程和线程池中都有requestId打印了！ 总结 本文讲述了如何使用MDC工具来快速过滤一次请求的所有日志，并通过装饰器模式使得MDC工具在异步线程里也能生效。有了MDC，再通过AOP技术对所有的切面植入requestId，就可以将整个系统的任意流程的日志过滤出来。使用MDC工具，在开发自测阶段，可以极大地节省定位问题的时间，提升开发效率；在运维维护阶段，可以快速地收集相关日志信息，加快分析速度。 <section style="white-space: normal;font-variant-ligatures: normal;orphans: 2;widows: 2;max-width: 100%;box-sizing: border-box;letter-spacing: 0.544px;background-color: rgb(255, 255, 255);overflow-wrap: break-word !important;"> <section class="" powered-by="xiumi.us" style="max-width: 100%;box-sizing: border-box;overflow-wrap: break-word !important;"> <section style="margin-top: 10px;margin-bottom: 10px;max-width: 100%;box-sizing: border-box;overflow-wrap: break-word !important;"> <section style="padding-top: 1.1em;max-width: 100%;box-sizing: border-box;overflow-wrap: break-word !important;"> <section style="max-width: 100%;box-sizing: border-box;display: inline-block;vertical-align: top;overflow-wrap: break-word !important;"> <section style="padding: 0.2em 0.4em;max-width: 100%;box-sizing: border-box;border-top-left-radius: 0px;border-top-right-radius: 0.5em;border-bottom-right-radius: 0.5em;border-bottom-left-radius: 0px;background-color: rgb(249, 110, 87);color: rgb(255, 255, 255);overflow-wrap: break-word !important;"> 推荐阅读 </section> <section style="max-width: 100%;box-sizing: border-box;width: 0px;border-right-width: 4px;border-right-style: solid;border-right-color: rgb(249, 110, 87);border-top-width: 4px;border-top-style: solid;border-top-color: rgb(249, 110, 87);overflow-wrap: break-word !important;border-left-width: 4px !important;border-left-style: solid !important;border-left-color: transparent !important;border-bottom-width: 4px !important;border-bottom-style: solid !important;border-bottom-color: transparent !important;"></section> </section> <section style="padding-left: 10px;max-width: 100%;box-sizing: border-box;display: inline-block;vertical-align: top;color: rgb(160, 160, 160);font-size: 14px;overflow-wrap: break-word !important;"> （点击标题可跳转阅读） </section> <section style="margin-top: -3.5em;margin-left: 8px;padding: 3.5em 10px 10px;max-width: 100%;box-sizing: border-box;border-width: 1px;border-style: solid;border-color: rgb(204, 204, 204);overflow-wrap: break-word !important;"> <section class="" powered-by="xiumi.us" style="max-width: 100%;box-sizing: border-box;overflow-wrap: break-word !important;"> <section style="max-width: 100%;box-sizing: border-box;overflow-wrap: break-word !important;"> <section style="max-width: 100%;box-sizing: border-box;font-size: 14px;line-height: 2.6;overflow-wrap: break-word !important;"> <a href="http://mp.weixin.qq.com/s?__biz=MjM5NzMyMjAwMA==&mid=2651483441&idx=1&sn=da6af4ac2492d8c820fc871ea6da48b9&chksm=bd25014e8a528858bcafb05192005168f049dba0de7f757a81b2499f69a94fb5bab945b05542&scene=21#wechat_redirect" target="_blank" data-itemshowtype="0" style="font-size: 12px;text-decoration: underline;" data-linktype="2">Redis 分布式锁的正确实现方式（ Java 版）</a> <a href="http://mp.weixin.qq.com/s?__biz=MjM5NzMyMjAwMA==&mid=2651483436&idx=1&sn=2a6aec90c8727144560692058becae0a&chksm=bd2501538a5288454861c5172fb646ea7eefe3ae50030ee72ef5c8b1460c68bb21f6eaa2c441&scene=21#wechat_redirect" target="_blank" data-itemshowtype="0" style="font-size: 12px;text-decoration: underline;" data-linktype="2">面试官：你了解乐观锁和悲观锁吗？</a> <a href="http://mp.weixin.qq.com/s?__biz=MjM5NzMyMjAwMA==&mid=2651483432&idx=1&sn=b9fcf7169014204c0d55040776292bd3&chksm=bd2501578a52884121a8db81f5212977e4783001f136413f29cb9493eb00923fa1521ee8dbcd&scene=21#wechat_redirect" target="_blank" data-itemshowtype="0" style="font-size: 12px;text-decoration: underline;" data-linktype="2">使用 Accessor Service 共享可变对象</a> </section> </section> </section> </section> </section> </section> </section> </section> <p style="white-space: normal;max-width: 100%;min-height: 1em;letter-spacing: 0.544px;background-color: rgb(255, 255, 255);text-align: center;box-sizing: border-box !important;overflow-wrap: break-word !important;">看完本文有收获？请转发分享给更多人 <p style="white-space: normal;max-width: 100%;min-height: 1em;letter-spacing: 0.544px;background-color: rgb(255, 255, 255);text-align: center;box-sizing: border-box !important;overflow-wrap: break-word !important;">关注「ImportNew」，提升Java技能 <p style="white-space: normal;max-width: 100%;min-height: 1em;letter-spacing: 0.544px;background-color: rgb(255, 255, 255);text-align: center;box-sizing: border-box !important;overflow-wrap: break-word !important;"><img class="" data-ratio="0.9166666666666666" data-s="300,640" data-type="png" data-w="600" width="auto" src="/upload/899866149276fa5fddb73c61ae04be64.png" style="box-sizing: border-box !important;overflow-wrap: break-word !important;visibility: visible !important;width: 600px !important;"> 好文章，我在看❤️

JVM性能调优监控工具jps、jstack、jmap、jhat、jstat、hprof使用详解 | 必须收藏！

作者：微信小助手

<section class="xmteditor" style="display:none;" data-tools="新媒体管家" data-label="powered by xmt.cn" data-mpa-powered-by="yiban.io"></section> 点击蓝色“程序猿DD”关注我 <span style="max-width: 100%;color: rgb(136, 136, 136);font-family: Georgia, "Times New Roman", Times, "Songti SC", serif;font-size: 14px;letter-spacing: 0.544px;overflow-wrap: break-word !important;box-sizing: border-box !important;">回复“<span style="max-width: 100%;font-family: Georgia, "Times New Roman", Times, "Songti SC", serif;font-size: 14px;letter-spacing: 0.544px;color: rgb(0, 128, 255);overflow-wrap: break-word !important;box-sizing: border-box !important;">资源<span style="max-width: 100%;color: rgb(136, 136, 136);font-family: Georgia, "Times New Roman", Times, "Songti SC", serif;font-size: 14px;letter-spacing: 0.544px;overflow-wrap: break-word !important;box-sizing: border-box !important;">”获取独家整理的学习资料！ <span style="max-width: 100%;color: rgb(136, 136, 136);font-family: Georgia, "Times New Roman", Times, "Songti SC", serif;font-size: 14px;letter-spacing: 0.544px;overflow-wrap: break-word !important;box-sizing: border-box !important;"><img class="" data-backh="34" data-backw="540" data-ratio="0.0625" data-s="300,640" data-type="jpeg" data-w="640" width="100%" src="/upload/8c292e55ba5a23cb6ebc11f2a2c4fece.null" style="font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;overflow-wrap: break-word !important;box-sizing: border-box !important;visibility: visible !important;width: 654px !important;"> <p style="max-width: 100%;min-height: 1em;white-space: normal;font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;background-color: rgb(255, 255, 255);text-align: left;overflow-wrap: break-word !important;box-sizing: border-box !important;"><span style="max-width: 100%;letter-spacing: 0.544px;color: rgb(178, 178, 178);font-family: Optima-Regular, PingFangTC-light;font-size: 13px;overflow-wrap: break-word !important;box-sizing: border-box !important;">作者 | 优雅先生 <section style="text-align: left;margin-bottom: 15px;max-width: 100%;font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;background-color: rgb(255, 255, 255);overflow-wrap: break-word !important;box-sizing: border-box !important;"> <span style="max-width: 100%;letter-spacing: 0.544px;color: rgb(178, 178, 178);font-family: Optima-Regular, PingFangTC-light;font-size: 13px;overflow-wrap: break-word !important;box-sizing: border-box !important;">来源 | my.oschina.net/feichexia/blog/196575 </section> <img class="rich_pages" data-ratio="0.667" data-s="300,640" src="/upload/204b70f42d34bba7ef43eedf0d16deba.jpg" data-type="jpeg" data-w="1000" style=""> <h4 style="margin-top: 20px;margin-bottom: 20px;font-weight: 600;font-size: 1em;letter-spacing: 0.544px;white-space: normal;caret-color: rgb(60, 60, 60);line-height: 1.25;color: rgb(36, 41, 46);font-family: Roboto, sans-serif;text-align: center;background-color: rgb(255, 255, 255);"><a href="http://mp.weixin.qq.com/s?__biz=MzAxODcyNjEzNQ==&mid=2247488747&idx=3&sn=038fecd53c7a4d7caa3ecfa4e29cb5dc&chksm=9bd0b973aca730651f8bd35c8c9e13ebed234db3e1192452b217bb8b5f591faae8847b89ffb6&scene=21#wechat_redirect" target="_blank" data-itemshowtype="0" style="font-size: 15px;color: rgb(255, 76, 0);text-decoration: underline;" data-linktype="2">双十一虚拟机大促，主打机型大横评！</a> </h4> <section style="margin-top: 5px;margin-bottom: 14px;box-sizing: inherit;letter-spacing: 0.544px;white-space: normal;text-size-adjust: auto;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;background-color: rgb(255, 255, 255);"> 现实企业级Java应用开发、维护中，有时候我们会碰到下面这些问题： </section> <ul class=" list-paddingleft-2" style=""> <li>OutOfMemoryError，内存不足</li> <li>内存泄露</li> <li>线程死锁</li> <li>锁争用（Lock Contention）</li> <li>Java进程消耗CPU过高</li> <li>......</li> </ul> <p style="margin-top: 16px;margin-bottom: 14px;box-sizing: inherit;letter-spacing: 0.544px;white-space: normal;text-size-adjust: auto;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;background-color: rgb(255, 255, 255);">这些问题在日常开发、维护中可能被很多人忽视（比如有的人遇到上面的问题只是重启服务器或者调大内存，而不会深究问题根源），但能够理解并解决这些问题是Java程序员进阶的必备要求。本文将对一些常用的JVM性能调优监控工具进行介绍，希望能起抛砖引玉之用。 <p style="margin-top: 16px;margin-bottom: 14px;box-sizing: inherit;letter-spacing: 0.544px;white-space: normal;text-size-adjust: auto;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;background-color: rgb(255, 255, 255);">而且这些监控、调优工具的使用，无论你是运维、开发、测试，都是必须掌握的。 <p style="margin-top: 16px;margin-bottom: 14px;box-sizing: inherit;letter-spacing: 0.544px;white-space: normal;text-size-adjust: auto;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;background-color: rgb(255, 255, 255);">A、 jps(Java Virtual Machine Process Status Tool)       <p style="margin-top: 16px;margin-bottom: 14px;box-sizing: inherit;letter-spacing: 0.544px;white-space: normal;text-size-adjust: auto;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;background-color: rgb(255, 255, 255);">jps主要用来输出JVM中运行的进程状态信息。语法格式如下： <pre class="" style="padding: 2px;box-sizing: inherit;letter-spacing: 0.544px;text-size-adjust: auto;font-family: Menlo, Monaco, Consolas, "Courier New", monospace;font-size: 13px;white-space: pre-wrap;overflow: auto;border-radius: 3px;line-height: 1.4;background-color: rgb(63, 63, 63);color: rgb(220, 220, 220);"><code class="" style="padding: 10px;box-sizing: inherit;font-family: Menlo, Monaco, Consolas, "Courier New", monospace;display: block;overflow: auto;border-radius: 3px;line-height: 1.4;">jps [options] [hostid]</code></pre> <p style="margin-top: 16px;margin-bottom: 14px;box-sizing: inherit;letter-spacing: 0.544px;white-space: normal;text-size-adjust: auto;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;background-color: rgb(255, 255, 255);">如果不指定hostid就默认为当前主机或服务器。 <p style="margin-top: 16px;margin-bottom: 14px;box-sizing: inherit;letter-spacing: 0.544px;white-space: normal;text-size-adjust: auto;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;background-color: rgb(255, 255, 255);">命令行参数选项说明如下： <pre class="" style="padding: 2px;box-sizing: inherit;letter-spacing: 0.544px;text-size-adjust: auto;font-family: Menlo, Monaco, Consolas, "Courier New", monospace;font-size: 13px;white-space: pre-wrap;overflow: auto;border-radius: 3px;line-height: 1.4;background-color: rgb(63, 63, 63);color: rgb(220, 220, 220);"><code class="" style="padding: 10px;box-sizing: inherit;font-family: Menlo, Monaco, Consolas, "Courier New", monospace;display: block;overflow: auto;border-radius: 3px;line-height: 1.4;">-q 不输出类名、Jar名和传入main方法的参数 -m 输出传入main方法的参数 -l 输出main类或Jar的全限名 -v 输出传入JVM的参数</code></pre> <p style="margin-top: 16px;margin-bottom: 14px;box-sizing: inherit;letter-spacing: 0.544px;white-space: normal;text-size-adjust: auto;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;background-color: rgb(255, 255, 255);">比如下面： <section class="" style="white-space: normal;text-size-adjust: auto;font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;background-color: rgb(255, 255, 255);font-size: 16px;color: rgb(62, 62, 62);line-height: 1.6;letter-spacing: 0px;"> <pre style="font-size: inherit;color: inherit;line-height: inherit;"><code class="" style="margin-right: 2px;margin-left: 2px;padding: 0.5em;line-height: 18px;font-size: 14px;letter-spacing: 0px;font-family: Consolas, Inconsolata, Courier, monospace;border-radius: 0px;color: rgb(169, 183, 198);background-color: rgb(40, 43, 46);overflow-wrap: normal !important;display: block !important;overflow: auto !important;">root@ubuntu:/# jps -m -l 2458 org.artifactory.standalone.main.Main /usr/local/artifactory-2.2.5/etc/jetty.xml 29920 com.sun.tools.hat.Main -port 9998 /tmp/dump.dat 3149 org.apache.catalina.startup.Bootstrap start 30972 sun.tools.jps.Jps -m -l 8247 org.apache.catalina.startup.Bootstrap start 25687 com.sun.tools.hat.Main -port 9999 dump.dat 21711 mrf-center.jar </code></pre> </section> <p style="margin-top: 16px;margin-bottom: 14px;box-sizing: inherit;letter-spacing: 0.544px;white-space: normal;text-size-adjust: auto;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;background-color: rgb(255, 255, 255);">B、 jstack <p style="margin-top: 16px;margin-bottom: 14px;box-sizing: inherit;letter-spacing: 0.544px;white-space: normal;text-size-adjust: auto;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;background-color: rgb(255, 255, 255);">jstack主要用来查看某个Java进程内的线程堆栈信息。语法格式如下： <pre class="" style="padding: 2px;box-sizing: inherit;letter-spacing: 0.544px;text-size-adjust: auto;font-family: Menlo, Monaco, Consolas, "Courier New", monospace;font-size: 13px;white-space: pre-wrap;overflow: auto;border-radius: 3px;line-height: 1.4;background-color: rgb(63, 63, 63);color: rgb(220, 220, 220);"><code class="" style="padding: 10px;box-sizing: inherit;font-family: Menlo, Monaco, Consolas, "Courier New", monospace;display: block;overflow: auto;border-radius: 3px;line-height: 1.4;">jstack [option] pid jstack [option] executable core jstack [option] [server-id@]remote-hostname-or-ip</code></pre> <p style="margin-top: 16px;margin-bottom: 14px;box-sizing: inherit;letter-spacing: 0.544px;white-space: normal;text-size-adjust: auto;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;background-color: rgb(255, 255, 255);">命令行参数选项说明如下： <pre class="" style="padding: 2px;box-sizing: inherit;letter-spacing: 0.544px;text-size-adjust: auto;font-family: Menlo, Monaco, Consolas, "Courier New", monospace;font-size: 13px;white-space: pre-wrap;overflow: auto;border-radius: 3px;line-height: 1.4;background-color: rgb(63, 63, 63);color: rgb(220, 220, 220);"><code class="" style="padding: 10px;box-sizing: inherit;font-family: Menlo, Monaco, Consolas, "Courier New", monospace;display: block;overflow: auto;border-radius: 3px;line-height: 1.4;">-l long listings，会打印出额外的锁信息，在发生死锁时可以用jstack -l pid来观察锁持有情况-m mixed mode，不仅会输出Java堆栈信息，还会输出C/C++堆栈信息（比如Native方法）</code></pre> <p style="margin-top: 16px;margin-bottom: 14px;box-sizing: inherit;letter-spacing: 0.544px;white-space: normal;text-size-adjust: auto;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;background-color: rgb(255, 255, 255);">jstack可以定位到线程堆栈，根据堆栈信息我们可以定位到具体代码，所以它在JVM性能调优中使用得非常多。下面我们来一个实例找出某个Java进程中最耗费CPU的Java线程并定位堆栈信息，用到的命令有ps、top、printf、jstack、grep。 <p style="margin-top: 16px;margin-bottom: 14px;box-sizing: inherit;letter-spacing: 0.544px;white-space: normal;text-size-adjust: auto;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;background-color: rgb(255, 255, 255);">第一步先找出Java进程ID，我部署在服务器上的Java应用名称为mrf-center： <pre class="" style="padding: 2px;box-sizing: inherit;letter-spacing: 0.544px;text-size-adjust: auto;font-family: Menlo, Monaco, Consolas, "Courier New", monospace;font-size: 13px;white-space: pre-wrap;overflow: auto;border-radius: 3px;line-height: 1.4;background-color: rgb(63, 63, 63);color: rgb(220, 220, 220);"><code class="" style="padding: 10px;box-sizing: inherit;font-family: Menlo, Monaco, Consolas, "Courier New", monospace;display: block;overflow: auto;border-radius: 3px;line-height: 1.4;">root@ubuntu:/# ps -ef | grep mrf-center | grep -v grep root     21711     1  1 14:47 pts/3    00:02:10 java -jar mrf-center.jar</code></pre> <p style="margin-top: 16px;margin-bottom: 14px;box-sizing: inherit;letter-spacing: 0.544px;white-space: normal;text-size-adjust: auto;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;background-color: rgb(255, 255, 255);">    得到进程ID为21711，第二步找出该进程内最耗费CPU的线程，可以使用ps -Lfp pid或者ps -mp pid -o THREAD, tid, time或者top -Hp pid，我这里用第三个，输出如下： <p style="caret-color: rgb(51, 51, 51);letter-spacing: 0.544px;white-space: normal;text-size-adjust: auto;font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;background-color: rgb(255, 255, 255);text-align: center;"><img class="" data-copyright="0" data-ratio="0.8308321964529332" data-s="300,640" data-type="png" data-w="733" src="/upload/43f24ed3597cc3a9628d7cd2872bb76a.null" style="visibility: visible !important;width: 677px !important;"> <p style="margin-top: 16px;margin-bottom: 14px;box-sizing: inherit;letter-spacing: 0.544px;white-space: normal;text-size-adjust: auto;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;background-color: rgb(255, 255, 255);">TIME列就是各个Java线程耗费的CPU时间，CPU时间最长的是线程ID为21742的线程，用 <pre class="" style="padding: 2px;box-sizing: inherit;letter-spacing: 0.544px;text-size-adjust: auto;font-family: Menlo, Monaco, Consolas, "Courier New", monospace;font-size: 13px;white-space: pre-wrap;overflow: auto;border-radius: 3px;line-height: 1.4;background-color: rgb(63, 63, 63);color: rgb(220, 220, 220);"><code class="" style="padding: 10px;box-sizing: inherit;font-family: Menlo, Monaco, Consolas, "Courier New", monospace;display: block;overflow: auto;border-radius: 3px;line-height: 1.4;">printf "%x\n" 21742</code></pre> <p style="margin-top: 16px;margin-bottom: 14px;box-sizing: inherit;letter-spacing: 0.544px;white-space: normal;text-size-adjust: auto;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;background-color: rgb(255, 255, 255);">得到21742的十六进制值为54ee，下面会用到。    <p style="margin-top: 16px;margin-bottom: 14px;box-sizing: inherit;letter-spacing: 0.544px;white-space: normal;text-size-adjust: auto;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;background-color: rgb(255, 255, 255);">OK，下一步终于轮到jstack上场了，它用来输出进程21711的堆栈信息，然后根据线程ID的十六进制值grep，如下： <pre class="" style="padding: 2px;box-sizing: inherit;letter-spacing: 0.544px;text-size-adjust: auto;font-family: Menlo, Monaco, Consolas, "Courier New", monospace;font-size: 13px;white-space: pre-wrap;overflow: auto;border-radius: 3px;line-height: 1.4;background-color: rgb(63, 63, 63);color: rgb(220, 220, 220);"><code class="" style="padding: 10px;box-sizing: inherit;font-family: Menlo, Monaco, Consolas, "Courier New", monospace;display: block;overflow: auto;border-radius: 3px;line-height: 1.4;">root@ubuntu:/# jstack 21711 | grep 54ee "PollIntervalRetrySchedulerThread" prio=10 tid=0x00007f950043e000 nid=0x54ee in Object.wait() [0x00007f94c6eda000]</code></pre> <p style="margin-top: 16px;margin-bottom: 14px;box-sizing: inherit;letter-spacing: 0.544px;white-space: normal;text-size-adjust: auto;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;background-color: rgb(255, 255, 255);">可以看到CPU消耗在PollIntervalRetrySchedulerThread这个类的Object.wait()，我找了下我的代码，定位到下面的代码： <pre class="" style="padding: 2px;box-sizing: inherit;letter-spacing: 0.544px;text-size-adjust: auto;font-family: Menlo, Monaco, Consolas, "Courier New", monospace;font-size: 13px;white-space: pre-wrap;overflow: auto;border-radius: 3px;line-height: 1.4;background-color: rgb(63, 63, 63);color: rgb(220, 220, 220);"><code class="" style="padding: 10px;box-sizing: inherit;font-family: Menlo, Monaco, Consolas, "Courier New", monospace;display: block;overflow: auto;border-radius: 3px;line-height: 1.4;">// Idle wait getLog().info("Thread [" + getName() + "] is idle waiting..."); schedulerThreadState = PollTaskSchedulerThreadState.IdleWaiting; long now = System.currentTimeMillis(); long waitTime = now + getIdleWaitTime(); long timeUntilContinue = waitTime - now; synchronized(sigLock) { try {      if(!halted.get()) {      sigLock.wait(timeUntilContinue);      }     }  catch (InterruptedException ignore) {     } }</code></pre> <p style="margin-top: 16px;margin-bottom: 14px;box-sizing: inherit;letter-spacing: 0.544px;white-space: normal;text-size-adjust: auto;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;background-color: rgb(255, 255, 255);">它是轮询任务的空闲等待代码，上面的sigLock.wait(timeUntilContinue)就对应了前面的Object.wait()。 <p style="margin-top: 16px;margin-bottom: 14px;box-sizing: inherit;letter-spacing: 0.544px;white-space: normal;text-size-adjust: auto;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;background-color: rgb(255, 255, 255);">C、 jmap（Memory Map）和jhat（Java Heap Analysis Tool） <p style="margin-top: 16px;margin-bottom: 14px;box-sizing: inherit;letter-spacing: 0.544px;white-space: normal;text-size-adjust: auto;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;background-color: rgb(255, 255, 255);">jmap用来查看堆内存使用状况，一般结合jhat使用。 <p style="margin-top: 16px;margin-bottom: 14px;box-sizing: inherit;letter-spacing: 0.544px;white-space: normal;text-size-adjust: auto;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;background-color: rgb(255, 255, 255);">jmap语法格式如下： <pre class="" style="padding: 2px;box-sizing: inherit;letter-spacing: 0.544px;text-size-adjust: auto;font-family: Menlo, Monaco, Consolas, "Courier New", monospace;font-size: 13px;white-space: pre-wrap;overflow: auto;border-radius: 3px;line-height: 1.4;background-color: rgb(63, 63, 63);color: rgb(220, 220, 220);"><code class="" style="padding: 10px;box-sizing: inherit;font-family: Menlo, Monaco, Consolas, "Courier New", monospace;display: block;overflow: auto;border-radius: 3px;line-height: 1.4;">jmap [option] pid jmap [option] executable core jmap [option] [server-id@]remote-hostname-or-ip</code></pre> <p style="margin-top: 16px;margin-bottom: 14px;box-sizing: inherit;letter-spacing: 0.544px;white-space: normal;text-size-adjust: auto;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;background-color: rgb(255, 255, 255);">如果运行在64位JVM上，可能需要指定-J-d64命令选项参数。 <pre class="" style="padding: 2px;box-sizing: inherit;letter-spacing: 0.544px;text-size-adjust: auto;font-family: Menlo, Monaco, Consolas, "Courier New", monospace;font-size: 13px;white-space: pre-wrap;overflow: auto;border-radius: 3px;line-height: 1.4;background-color: rgb(63, 63, 63);color: rgb(220, 220, 220);"><code class="" style="padding: 10px;box-sizing: inherit;font-family: Menlo, Monaco, Consolas, "Courier New", monospace;display: block;overflow: auto;border-radius: 3px;line-height: 1.4;">jmap -permstat pid</code></pre> <p style="margin-top: 16px;margin-bottom: 14px;box-sizing: inherit;letter-spacing: 0.544px;white-space: normal;text-size-adjust: auto;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;background-color: rgb(255, 255, 255);">打印进程的类加载器和类加载器加载的持久代对象信息，输出：类加载器名称、对象是否存活（不可靠）、对象地址、父类加载器、已加载的类大小等信息，如下图： <p style="caret-color: rgb(51, 51, 51);letter-spacing: 0.544px;white-space: normal;text-size-adjust: auto;font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;background-color: rgb(255, 255, 255);text-align: center;"><img class="" data-copyright="0" data-ratio="0.4903442485306465" data-s="300,640" data-type="png" data-w="1191" src="/upload/c4f5aac09fdea7b0220f3392d80a2a1c.null" style="visibility: visible !important;width: 677px !important;"> <p style="margin-top: 16px;margin-bottom: 14px;box-sizing: inherit;letter-spacing: 0.544px;white-space: normal;text-size-adjust: auto;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;background-color: rgb(255, 255, 255);">使用jmap -heap pid查看进程堆内存使用情况，包括使用的GC算法、堆配置参数和各代中堆内存使用情况。比如下面的例子： <pre class="" style="padding: 2px;box-sizing: inherit;letter-spacing: 0.544px;text-size-adjust: auto;font-family: Menlo, Monaco, Consolas, "Courier New", monospace;font-size: 13px;white-space: pre-wrap;overflow: auto;border-radius: 3px;line-height: 1.4;background-color: rgb(63, 63, 63);color: rgb(220, 220, 220);"><code class="" style="padding: 10px;box-sizing: inherit;font-family: Menlo, Monaco, Consolas, "Courier New", monospace;display: block;overflow: auto;border-radius: 3px;line-height: 1.4;">root@ubuntu:/# jmap -heap 21711 Attaching to process ID 21711, please wait... Debugger attached successfully. Server compiler detected. JVM version is 20.10-b01 using thread-local object allocation. Parallel GC with 4 thread(s) Heap Configuration: MinHeapFreeRatio = 40    MaxHeapFreeRatio = 70    MaxHeapSize      = 2067791872 (1972.0MB) NewSize          = 1310720 (1.25MB) MaxNewSize       = 17592186044415 MB OldSize          = 5439488 (5.1875MB) NewRatio         = 2    SurvivorRatio    = 8    PermSize         = 21757952 (20.75MB) MaxPermSize      = 85983232 (82.0MB) Heap Usage: PS Young Generation Eden Space:    capacity = 6422528 (6.125MB)    used     = 5445552 (5.1932830810546875MB)    free     = 976976 (0.9317169189453125MB)    84.78829520089286% used From Space:    capacity = 131072 (0.125MB)    used     = 98304 (0.09375MB)    free     = 32768 (0.03125MB)    75.0% used To Space:    capacity = 131072 (0.125MB)    used     = 0 (0.0MB)    free     = 131072 (0.125MB)    0.0% used PS Old Generation    capacity = 35258368 (33.625MB)    used     = 4119544 (3.9287033081054688MB)    free     = 31138824 (29.69629669189453MB)    11.683876009235595% used PS Perm Generation    capacity = 52428800 (50.0MB)    used     = 26075168 (24.867218017578125MB)    free     = 26353632 (25.132781982421875MB)    49.73443603515625% used    ....</code></pre> <p style="margin-top: 16px;margin-bottom: 14px;box-sizing: inherit;letter-spacing: 0.544px;white-space: normal;text-size-adjust: auto;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;background-color: rgb(255, 255, 255);">使用jmap -histo[:live] pid查看堆内存中的对象数目、大小统计直方图，如果带上live则只统计活对象，如下： <pre class="" style="padding: 2px;box-sizing: inherit;letter-spacing: 0.544px;text-size-adjust: auto;font-family: Menlo, Monaco, Consolas, "Courier New", monospace;font-size: 13px;white-space: pre-wrap;overflow: auto;border-radius: 3px;line-height: 1.4;background-color: rgb(63, 63, 63);color: rgb(220, 220, 220);"><code class="" style="padding: 10px;box-sizing: inherit;font-family: Menlo, Monaco, Consolas, "Courier New", monospace;display: block;overflow: auto;border-radius: 3px;line-height: 1.4;">root@ubuntu:/# jmap -histo:live 21711 | more  num     #instances         #bytes  class name----------------------------------------------    1:         38445        5597736  <constMethodKlass>    2:         38445        5237288  <methodKlass>    3:          3500        3749504  <constantPoolKlass>    4:         60858        3242600  <symbolKlass>    5:          3500        2715264  <instanceKlassKlass>    6:          2796        2131424  <constantPoolCacheKlass>    7:          5543        <sp

深入Redis持久化

作者：微信小助手

<h1 style="box-sizing: inherit;font-size: 24px;margin-top: 1.2em;margin-bottom: 0.8em;font-family: "PingFang SC", "Helvetica Neue", "Microsoft YaHei UI", "Microsoft YaHei", "Noto Sans CJK SC", Sathu, EucrosiaUPC, Arial, Helvetica, sans-serif;line-height: 1.28571em;min-height: 1rem;color: rgb(61, 70, 77);white-space: normal;background-color: rgb(255, 255, 255);">一、Redis高可用概述</h1> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">在介绍Redis高可用之前，先说明一下在Redis的语境中高可用的含义。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">我们知道，在web服务器中，高可用是指服务器可以正常访问的时间，衡量的标准是在多长时间内可以提供正常服务（99.9%、99.99%、99.999% 等等）。但是在Redis语境中，高可用的含义似乎要宽泛一些，除了保证提供正常服务(如主从分离、快速容灾技术)，还需要考虑数据容量的扩展、数据安全不会丢失等。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">在Redis中，实现高可用的技术主要包括持久化、复制、哨兵和集群，下面分别说明它们的作用，以及解决了什么样的问题。 <ol style="" class=" list-paddingleft-2"> <li>持久化：持久化是最简单的高可用方法(有时甚至不被归为高可用的手段)，主要作用是数据备份，即将数据存储在硬盘，保证数据不会因进程退出而丢失。</li> <li>复制：复制是高可用Redis的基础，哨兵和集群都是在复制基础上实现高可用的。复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复。缺陷：故障恢复无法自动化；写操作无法负载均衡；存储能力受到单机的限制。</li> <li>哨兵：在复制的基础上，哨兵实现了自动化的故障恢复。缺陷：写操作无法负载均衡；存储能力受到单机的限制。</li> <li>集群：通过集群，Redis解决了写操作无法负载均衡，以及存储能力受到单机限制的问题，实现了较为完善的高可用方案。</li> </ol> <h1 style="box-sizing: inherit;font-size: 24px;margin-top: 1.2em;margin-bottom: 0.8em;font-family: "PingFang SC", "Helvetica Neue", "Microsoft YaHei UI", "Microsoft YaHei", "Noto Sans CJK SC", Sathu, EucrosiaUPC, Arial, Helvetica, sans-serif;line-height: 1.28571em;min-height: 1rem;color: rgb(61, 70, 77);white-space: normal;background-color: rgb(255, 255, 255);">二、Redis持久化概述</h1> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">持久化的功能：Redis是内存数据库，数据都是存储在内存中，为了避免进程退出导致数据的永久丢失，需要定期将Redis中的数据以某种形式(数据或命令)从内存保存到硬盘；当下次Redis重启时，利用持久化文件实现数据恢复。除此之外，为了进行灾难备份，可以将持久化文件拷贝到一个远程位置。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">Redis持久化分为RDB持久化和AOF持久化：前者将当前数据保存到硬盘，后者则是将每次执行的写命令保存到硬盘（类似于MySQL的binlog）；由于AOF持久化的实时性更好，即当进程意外退出时丢失的数据更少，因此AOF是目前主流的持久化方式，不过RDB持久化仍然有其用武之地。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">下面依次介绍RDB持久化和AOF持久化；由于Redis各个版本之间存在差异，如无特殊说明，以Redis3.0为准。 <h1 style="box-sizing: inherit;font-size: 24px;margin-top: 1.2em;margin-bottom: 0.8em;font-family: "PingFang SC", "Helvetica Neue", "Microsoft YaHei UI", "Microsoft YaHei", "Noto Sans CJK SC", Sathu, EucrosiaUPC, Arial, Helvetica, sans-serif;line-height: 1.28571em;min-height: 1rem;color: rgb(61, 70, 77);white-space: normal;background-color: rgb(255, 255, 255);">三、RDB持久化</h1> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">RDB持久化是将当前进程中的数据生成快照保存到硬盘(因此也称作快照持久化)，保存的文件后缀是rdb；当Redis重新启动时，可以读取快照文件恢复数据。 <h2 style="box-sizing: inherit;font-family: "PingFang SC", "Helvetica Neue", "Microsoft YaHei UI", "Microsoft YaHei", "Noto Sans CJK SC", Sathu, EucrosiaUPC, Arial, Helvetica, sans-serif;line-height: 1.28571em;margin-top: 1.2em;margin-bottom: 0.8em;font-size: 22px;color: rgb(61, 70, 77);white-space: normal;background-color: rgb(255, 255, 255);">1. 触发条件</h2> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">RDB持久化的触发分为手动触发和自动触发两种。 <h3 style="box-sizing: inherit;font-family: "PingFang SC", "Helvetica Neue", "Microsoft YaHei UI", "Microsoft YaHei", "Noto Sans CJK SC", Sathu, EucrosiaUPC, Arial, Helvetica, sans-serif;line-height: 1.28571em;margin-top: 1.2em;margin-bottom: 0.8em;font-size: 20px;color: rgb(61, 70, 77);white-space: normal;background-color: rgb(255, 255, 255);">1) 手动触发</h3> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">save命令和bgsave命令都可以生成RDB文件。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">save命令会阻塞Redis服务器进程，直到RDB文件创建完毕为止，在Redis服务器阻塞期间，服务器不能处理任何命令请求。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);"><img class="" data-ratio="0.2138728323699422" src="/upload/72a4495194f2454db218a871567bb29d.png" data-type="png" data-w="173" style="box-sizing: inherit;border-style: none;margin: auto;max-width: 80%;"> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">而bgsave命令会创建一个子进程，由子进程来负责创建RDB文件，父进程(即Redis主进程)则继续处理请求。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);"><img class="zoom-in-cursor" data-ratio="0.18269230769230768" src="/upload/cf91215ba52ba8ba97185dcd9ec1399d.png" data-type="png" data-w="208" style="box-sizing: inherit;border-style: none;margin: auto;max-width: 80%;cursor: zoom-in;"> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">此时服务器执行日志如下： <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);"><img class="zoom-in-cursor" data-ratio="0.09205776173285199" src="/upload/8f4c23a48e8484c7b00f8d0017222937.png" data-type="png" data-w="554" style="box-sizing: inherit;border-style: none;margin: auto;max-width: 80%;cursor: zoom-in;"> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">bgsave命令执行过程中，只有fork子进程时会阻塞服务器，而对于save命令，整个过程都会阻塞服务器，因此save已基本被废弃，线上环境要杜绝save的使用；后文中也将只介绍bgsave命令。此外，在自动触发RDB持久化时，Redis也会选择bgsave而不是save来进行持久化；下面介绍自动触发RDB持久化的条件。 <h3 style="box-sizing: inherit;font-family: "PingFang SC", "Helvetica Neue", "Microsoft YaHei UI", "Microsoft YaHei", "Noto Sans CJK SC", Sathu, EucrosiaUPC, Arial, Helvetica, sans-serif;line-height: 1.28571em;margin-top: 1.2em;margin-bottom: 0.8em;font-size: 20px;color: rgb(61, 70, 77);white-space: normal;background-color: rgb(255, 255, 255);">2) 自动触发</h3> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">save m n <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">自动触发最常见的情况是在配置文件中通过save m n，指定当m秒内发生n次变化时，会触发bgsave。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">例如，查看redis的默认配置文件(Linux下为redis根目录下的redis.conf)，可以看到如下配置信息： <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);"><img class="zoom-in-cursor" data-ratio="0.644404332129964" src="/upload/30b734a4716b7a6e89fbda746877334e.png" data-type="png" data-w="554" style="box-sizing: inherit;border-style: none;margin: auto;max-width: 80%;cursor: zoom-in;"> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">其中save 900 1的含义是：当时间到900秒时，如果redis数据发生了至少1次变化，则执行bgsave；save 300 10和save 60 10000同理。当三个save条件满足任意一个时，都会引起bgsave的调用。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">save m n的实现原理 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">Redis的save m n，是通过serverCron函数、dirty计数器、和lastsave时间戳来实现的。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">serverCron是Redis服务器的周期性操作函数，默认每隔100ms执行一次；该函数对服务器的状态进行维护，其中一项工作就是检查 save m n 配置的条件是否满足，如果满足就执行bgsave。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">dirty计数器是Redis服务器维持的一个状态，记录了上一次执行bgsave/save命令后，服务器状态进行了多少次修改(包括增删改)；而当save/bgsave执行完成后，会将dirty重新置为0。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">例如，如果Redis执行了set mykey helloworld，则dirty值会+1；如果执行了sadd myset v1 v2 v3，则dirty值会+3；注意dirty记录的是服务器进行了多少次修改，而不是客户端执行了多少修改数据的命令。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">lastsave时间戳也是Redis服务器维持的一个状态，记录的是上一次成功执行save/bgsave的时间。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">save m n的原理如下：每隔100ms，执行serverCron函数；在serverCron函数中，遍历save m n配置的保存条件，只要有一个条件满足，就进行bgsave。对于每一个save m n条件，只有下面两条同时满足时才算满足： <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">（1）当前时间-lastsave > m <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">（2）dirty >= n <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">save m n 执行日志 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">下图是save m n触发bgsave执行时，服务器打印日志的情况： <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);"><img class="zoom-in-cursor" data-ratio="0.12454873646209386" src="/upload/36f5415cb0732afd1ee057ff852abf26.png" data-type="png" data-w="554" style="box-sizing: inherit;border-style: none;margin: auto;max-width: 80%;cursor: zoom-in;"> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">其他自动触发机制 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">除了save m n 以外，还有一些其他情况会触发bgsave： <ul style="" class=" list-paddingleft-2"> <li>在主从复制场景下，如果从节点执行全量复制操作，则主节点会执行bgsave命令，并将rdb文件发送给从节点</li> <li>执行shutdown命令时，自动执行rdb持久化，如下图所示：</li> </ul> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);"><img class="zoom-in-cursor" data-ratio="0.1299638989169675" src="/upload/21f810414e314c4d39903e7d742549a4.png" data-type="png" data-w="554" style="box-sizing: inherit;border-style: none;margin: auto;max-width: 80%;cursor: zoom-in;"> <h2 style="box-sizing: inherit;font-family: "PingFang SC", "Helvetica Neue", "Microsoft YaHei UI", "Microsoft YaHei", "Noto Sans CJK SC", Sathu, EucrosiaUPC, Arial, Helvetica, sans-serif;line-height: 1.28571em;margin-top: 1.2em;margin-bottom: 0.8em;font-size: 22px;color: rgb(61, 70, 77);white-space: normal;background-color: rgb(255, 255, 255);">2. 执行流程</h2> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">前面介绍了触发bgsave的条件，下面将说明bgsave命令的执行流程，如下图所示(图片来源：https://blog.csdn.net/a1007720052/article/details/79126253)： <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);"><img class="zoom-in-cursor" data-ratio="0.6353790613718412" src="/upload/43876a69809c7a5c501948fd9823ff03.png" data-type="png" data-w="554" style="box-sizing: inherit;border-style: none;margin: auto;max-width: 80%;cursor: zoom-in;"> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">图片中的5个步骤所进行的操作如下： <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">1)  Redis父进程首先判断：当前是否在执行save，或bgsave/bgrewriteaof（后面会详细介绍该命令）的子进程，如果在执行则bgsave命令直接返回。bgsave/bgrewriteaof 的子进程不能同时执行，主要是基于性能方面的考虑：两个并发的子进程同时执行大量的磁盘写操作，可能引起严重的性能问题。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">2)  父进程执行fork操作创建子进程，这个过程中父进程是阻塞的，Redis不能执行来自客户端的任何命令 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">3)  父进程fork后，bgsave命令返回”Background saving started”信息并不再阻塞父进程，并可以响应其他命令 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">4)  子进程创建RDB文件，根据父进程内存快照生成临时快照文件，完成后对原有文件进行原子替换 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">5)  子进程发送信号给父进程表示完成，父进程更新统计信息 <h2 style="box-sizing: inherit;font-family: "PingFang SC", "Helvetica Neue", "Microsoft YaHei UI", "Microsoft YaHei", "Noto Sans CJK SC", Sathu, EucrosiaUPC, Arial, Helvetica, sans-serif;line-height: 1.28571em;margin-top: 1.2em;margin-bottom: 0.8em;font-size: 22px;color: rgb(61, 70, 77);white-space: normal;background-color: rgb(255, 255, 255);">3. RDB文件</h2> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">RDB文件是经过压缩的二进制文件，下面介绍关于RDB文件的一些细节。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">存储路径 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">RDB文件的存储路径既可以在启动前配置，也可以通过命令动态设定。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">配置：dir配置指定目录，dbfilename指定文件名。默认是Redis根目录下的dump.rdb文件。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">动态设定：Redis启动后也可以动态修改RDB存储路径，在磁盘损害或空间不足时非常有用；执行命令为config set dir {newdir}和config set dbfilename {newFileName}。如下所示(Windows环境)： <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);"><img class="zoom-in-cursor" data-ratio="0.17724867724867724" src="/upload/286aaa67a2be7d263b90d00ad15cca0d.png" data-type="png" data-w="378" style="box-sizing: inherit;border-style: none;margin: auto;max-width: 80%;cursor: zoom-in;"> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">RDB文件格式 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">RDB文件格式如下图所示（图片来源：《Redis设计与实现》）： <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);"><img class="zoom-in-cursor" data-ratio="0.06498194945848375" src="/upload/19226c58e5dc7feb14faf499739a0861.png" data-type="png" data-w="554" style="box-sizing: inherit;border-style: none;margin: auto;max-width: 80%;cursor: zoom-in;"> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">其中各个字段的含义说明如下： <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">1)  REDIS：常量，保存着”REDIS”5个字符。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">2)  db_version：RDB文件的版本号，注意不是Redis的版本号。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">3)  SELECTDB 0 pairs：表示一个完整的数据库(0号数据库)，同理SELECTDB 3 pairs表示完整的3号数据库；只有当数据库中有键值对时，RDB文件中才会有该数据库的信息(上图所示的Redis中只有0号和3号数据库有键值对)；如果Redis中所有的数据库都没有键值对，则这一部分直接省略。其中：SELECTDB是一个常量，代表后面跟着的是数据库号码；0和3是数据库号码；pairs则存储了具体的键值对信息，包括key、value值，及其数据类型、内部编码、过期时间、压缩信息等等。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">4)  EOF：常量，标志RDB文件正文内容结束。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">5)  check_sum：前面所有内容的校验和；Redis在载入RBD文件时，会计算前面的校验和并与check_sum值比较，判断文件是否损坏。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">压缩 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">Redis默认采用LZF算法对RDB文件进行压缩。虽然压缩耗时，但是可以大大减小RDB文件的体积，因此压缩默认开启；可以通过命令关闭： <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);"><img class="zoom-in-cursor" data-ratio="0.10084033613445378" src="/upload/b76f29d299b166d042c8fbb565bf860a.png" data-type="png" data-w="357" style="box-sizing: inherit;border-style: none;margin: auto;max-width: 80%;cursor: zoom-in;"> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">需要注意的是，RDB文件的压缩并不是针对整个文件进行的，而是对数据库中的字符串进行的，且只有在字符串达到一定长度(20字节)时才会进行。 <h2 style="box-sizing: inherit;font-family: "PingFang SC", "Helvetica Neue", "Microsoft YaHei UI", "Microsoft YaHei", "Noto Sans CJK SC", Sathu, EucrosiaUPC, Arial, Helvetica, sans-serif;line-height: 1.28571em;margin-top: 1.2em;margin-bottom: 0.8em;font-size: 22px;color: rgb(61, 70, 77);white-space: normal;background-color: rgb(255, 255, 255);">4. 启动时加载</h2> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">RDB文件的载入工作是在服务器启动时自动执行的，并没有专门的命令。但是由于AOF的优先级更高，因此当AOF开启时，Redis会优先载入AOF文件来恢复数据；只有当AOF关闭时，才会在Redis服务器启动时检测RDB文件，并自动载入。服务器载入RDB文件期间处于阻塞状态，直到载入完成为止。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">Redis启动日志中可以看到自动载入的执行： <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);"><img class="zoom-in-cursor" data-ratio="0.11371841155234658" src="/upload/c992e3b04987258eb2d091e4b5eb816f.png" data-type="png" data-w="554" style="box-sizing: inherit;border-style: none;margin: auto;max-width: 80%;cursor: zoom-in;"> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">Redis载入RDB文件时，会对RDB文件进行校验，如果文件损坏，则日志中会打印错误，Redis启动失败。 <h2 style="box-sizing: inherit;font-family: "PingFang SC", "Helvetica Neue", "Microsoft YaHei UI", "Microsoft YaHei", "Noto Sans CJK SC", Sathu, EucrosiaUPC, Arial, Helvetica, sans-serif;line-height: 1.28571em;margin-top: 1.2em;margin-bottom: 0.8em;font-size: 22px;color: rgb(61, 70, 77);white-space: normal;background-color: rgb(255, 255, 255);">5. RDB常用配置总结</h2> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">下面是RDB常用的配置项，以及默认值；前面介绍过的这里不再详细介绍。 <ul style="" class=" list-paddingleft-2"> <li>save m n：bgsave自动触发的条件；如果没有save m n配置，相当于自动的RDB持久化关闭，不过此时仍可以通过其他方式触发</li> <li>stop-writes-on-bgsave-error yes：当bgsave出现错误时，Redis是否停止执行写命令；设置为yes，则当硬盘出现问题时，可以及时发现，避免数据的大量丢失；设置为no，则Redis无视bgsave的错误继续执行写命令，当对Redis服务器的系统(尤其是硬盘)使用了监控时，该选项考虑设置为no</li> <li>rdbcompression yes：是否开启RDB文件压缩</li> <li>rdbchecksum yes：是否开启RDB文件的校验，在写入文件和读取文件时都起作用；关闭checksum在写入文件和启动文件时大约能带来10%的性能提升，但是数据损坏时无法发现</li> <li>dbfilename dump.rdb：RDB文件名</li> <li>dir ./：RDB文件和AOF文件所在目录</li> </ul> <h1 style="box-sizing: inherit;font-size: 24px;margin-top: 1.2em;margin-bottom: 0.8em;font-family: "PingFang SC", "Helvetica Neue", "Microsoft YaHei UI", "Microsoft YaHei", "Noto Sans CJK SC", Sathu, EucrosiaUPC, Arial, Helvetica, sans-serif;line-height: 1.28571em;min-height: 1rem;color: rgb(61, 70, 77);white-space: normal;background-color: rgb(255, 255, 255);">四、AOF持久化</h1> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">RDB持久化是将进程数据写入文件，而AOF持久化(即Append Only File持久化)，则是将Redis执行的每次写命令记录到单独的日志文件中（有点像MySQL的binlog）；当Redis重启时再次执行AOF文件中的命令来恢复数据。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">与RDB相比，AOF的实时性更好，因此已成为主流的持久化方案。 <h2 style="box-sizing: inherit;font-family: "PingFang SC", "Helvetica Neue", "Microsoft YaHei UI", "Microsoft YaHei", "Noto Sans CJK SC", Sathu, EucrosiaUPC, Arial, Helvetica, sans-serif;line-height: 1.28571em;margin-top: 1.2em;margin-bottom: 0.8em;font-size: 22px;color: rgb(61, 70, 77);white-space: normal;background-color: rgb(255, 255, 255);">1. 开启AOF</h2> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">Redis服务器默认开启RDB，关闭AOF；要开启AOF，需要在配置文件中配置： <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">appendonly yes <h2 style="box-sizing: inherit;font-family: "PingFang SC", "Helvetica Neue", "Microsoft YaHei UI", "Microsoft YaHei", "Noto Sans CJK SC", Sathu, EucrosiaUPC, Arial, Helvetica, sans-serif;line-height: 1.28571em;margin-top: 1.2em;margin-bottom: 0.8em;font-size: 22px;color: rgb(61, 70, 77);white-space: normal;background-color: rgb(255, 255, 255);">2. 执行流程</h2> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">由于需要记录Redis的每条写命令，因此AOF不需要触发，下面介绍AOF的执行流程。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">AOF的执行流程包括： <ul style="" class=" list-paddingleft-2"> <li>命令追加(append)：将Redis的写命令追加到缓冲区aof_buf；</li> <li>文件写入(write)和文件同步(sync)：根据不同的同步策略将aof_buf中的内容同步到硬盘；</li> <li>文件重写(rewrite)：定期重写AOF文件，达到压缩的目的。</li> </ul> <h3 style="box-sizing: inherit;font-family: "PingFang SC", "Helvetica Neue", "Microsoft YaHei UI", "Microsoft YaHei", "Noto Sans CJK SC", Sathu, EucrosiaUPC, Arial, Helvetica, sans-serif;line-height: 1.28571em;margin-top: 1.2em;margin-bottom: 0.8em;font-size: 20px;color: rgb(61, 70, 77);white-space: normal;background-color: rgb(255, 255, 255);">1) 命令追加(append)</h3> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">Redis先将写命令追加到缓冲区，而不是直接写入文件，主要是为了避免每次有写命令都直接写入硬盘，导致硬盘IO成为Redis负载的瓶颈。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">命令追加的格式是Redis命令请求的协议格式，它是一种纯文本格式，具有兼容性好、可读性强、容易处理、操作简单避免二次开销等优点；具体格式略。在AOF文件中，除了用于指定数据库的select命令（如select 0 为选中0号数据库）是由Redis添加的，其他都是客户端发送来的写命令。 <h3 style="box-sizing: inherit;font-family: "PingFang SC", "Helvetica Neue", "Microsoft YaHei UI", "Microsoft YaHei", "Noto Sans CJK SC", Sathu, EucrosiaUPC, Arial, Helvetica, sans-serif;line-height: 1.28571em;margin-top: 1.2em;margin-bottom: 0.8em;font-size: 20px;color: rgb(61, 70, 77);white-space: normal;background-color: rgb(255, 255, 255);">2) 文件写入(write)和文件同步(sync)</h3> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">Redis提供了多种AOF缓存区的同步文件策略，策略涉及到操作系统的write函数和fsync函数，说明如下： <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">为了提高文件写入效率，在现代操作系统中，当用户调用write函数将数据写入文件时，操作系统通常会将数据暂存到一个内存缓冲区里，当缓冲区被填满或超过了指定时限后，才真正将缓冲区的数据写入到硬盘里。这样的操作虽然提高了效率，但也带来了安全问题：如果计算机停机，内存缓冲区中的数据会丢失；因此系统同时提供了fsync、fdatasync等同步函数，可以强制操作系统立刻将缓冲区中的数据写入到硬盘里，从而确保数据的安全性。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">  <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">AOF缓存区的同步文件策略由参数appendfsync控制，各个值的含义如下： <ul style="" class=" list-paddingleft-2"> <li>always：命令写入aof_buf后立即调用系统fsync操作同步到AOF文件，fsync完成后线程返回。这种情况下，每次有写命令都要同步到AOF文件，硬盘IO成为性能瓶颈，Redis只能支持大约几百TPS写入，严重降低了Redis的性能；即便是使用固态硬盘（SSD），每秒大约也只能处理几万个命令，而且会大大降低SSD的寿命。</li> <li>no：命令写入aof_buf后调用系统write操作，不对AOF文件做fsync同步；同步由操作系统负责，通常同步周期为30秒。这种情况下，文件同步的时间不可控，且缓冲区中堆积的数据会很多，数据安全性无法保证。</li> <li>everysec：命令写入aof_buf后调用系统write操作，write完成后线程返回；fsync同步文件操作由专门的线程每秒调用一次。everysec是前述两种策略的折中，是性能和数据安全性的平衡，因此是Redis的默认配置，也是我们推荐的配置。</li> </ul> <h3 style="box-sizing: inherit;font-family: "PingFang SC", "Helvetica Neue", "Microsoft YaHei UI", "Microsoft YaHei", "Noto Sans CJK SC", Sathu, EucrosiaUPC, Arial, Helvetica, sans-serif;line-height: 1.28571em;margin-top: 1.2em;margin-bottom: 0.8em;font-size: 20px;color: rgb(61, 70, 77);white-space: normal;background-color: rgb(255, 255, 255);">3) 文件重写(rewrite)</h3> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">随着时间流逝，Redis服务器执行的写命令越来越多，AOF文件也会越来越大；过大的AOF文件不仅会影响服务器的正常运行，也会导致数据恢复需要的时间过长。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">文件重写是指定期重写AOF文件，减小AOF文件的体积。需要注意的是，AOF重写是把Redis进程内的数据转化为写命令，同步到新的AOF文件；不会对旧的AOF文件进行任何读取、写入操作! <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">关于文件重写需要注意的另一点是：对于AOF持久化来说，文件重写虽然是强烈推荐的，但并不是必须的；即使没有文件重写，数据也可以被持久化并在Redis启动的时候导入；因此在一些实现中，会关闭自动的文件重写，然后通过定时任务在每天的某一时刻定时执行。 <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">  <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);">文件重写之所以能够压缩AOF文件，原因在于： <ul style="" class=" list-paddingleft-2"> <li>过期的数据不再写入文件</li> <li>无效的命令不再写入文件：如有些数据被重复设值(set mykey v1, set mykey v2)、有些数据被删除了(sadd myset v1, del myset)等等</li> <li>多条命令可以合并为一个：如sadd myset v1, sadd myset v2, sadd myset v3可以合并为sadd myset v1 v2 v3。不过为了防止单条命令过大造成客户端缓冲区溢出，对于list、set、hash、zset类型的key，并不一定只使用一条命令；而是以某个常量为界将命令拆分为多条。这个常量在redis.h/REDIS_AOF_REWRITE_ITEMS_PER_CMD中定义，不可更改，3.0版本中值是64。</li> </ul> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC", STHeiti, "Lantinghei SC", "Open Sans", Arial, "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", SimSun, sans-serif;font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);"><img class="" data-ratio="0.05649717514124294" src="/upload/22cfde6257aff86630e3af2632108d06.png" data-type="png" data-w="354"> <p style="box-sizing: inherit;margin-top: 16px;margin-bottom: 14px;line-height: 28px;color: rgb(61, 70, 77);font-family: "Pingfang SC

文章列表