Java学习者

作者：微信小助手

<h2>系统架构中，为什么会存在单点？</h2> (1)存在设计缺陷，出现了单点； (2)能大大简化系统设计，有意为之，设置单点；   典型互联网高可用架构，哪些地方可能存在潜在单点？ <img data-ratio="0.6257928118393234" data-s="300,640" src="/upload/686b9cef6ad8ab7190e02dfb17718d4f.png" data-type="png" data-w="473"> 典型互联网高可用架构： (1)端，通过DNS，由域名拿到nginx的外网IP； (2)反向代理，nginx是后端入口； (3)站点应用，典型的是tomcat或者apache； (4)服务，典型的是dubbo提供RPC服务调用； (5)数据层，典型的是读写分离的db架构； 在这个互联网架构中，站点、服务、数据库的从库都容易通过冗余的方式来保证高可用，但： (1)nginx是一个潜在的单点； (2)数据库写库也是一个潜在的单点；   哪些例子，因为设计需要，有意设置的单点？ 先看GFS（Google File System）架构的例子： <img data-ratio="0.36235955056179775" data-s="300,640" src="/upload/9f1a43be824c19b9d4319df91cca5bbf.png" data-type="png" data-w="356"> GFS的系统架构里主要有这么几种角色： (1)client，就是发起文件读写的调用端； (2)master，这是一个单点服务，它有全局视野，掌握文件元信息； (3)chunk-server，实际存储文件的服务器； 在GFS系统里，master是一个单点服务。 Map-reduce系统里也有类似的角色，协调全局的master就是单点，它的存在，能够大大的简化系统架构设计。   不管是设计缺陷，还是有意为之，像nginx，db-master，GFS-master这样的单点服务，会存在什么问题呢？ 两个大问题： (1)高可用问题：单点一旦发生故障，服务就会受到影响； (2)性能瓶颈：单点不具备良好的扩展性，单点的性能上限往往就是整个系统的性能上限；   “高可用”问题通常怎么优化？ shadow-master是一种很常见的解决单点高可用问题的技术方案。 shadow-master，顾名思义，它只是单点master的一个shadow(影子)： (1)master工作时，shadow-master只备份； (2)master出现故障时，shadow-master会自动变成master，继续提供服务； shadow-master它能够解决高可用的问题，并且故障的转移是自动的，不需要人工介入，但不足是它使资源的利用率降为了50%，业内经常使用keepalived+vip的方式实现这类单点的高可用。   <img data-ratio="0.3502673796791444" data-s="300,640" src="/upload/d417f3cf07727c25df0d2533595879f9.png" data-type="png" data-w="374"> 以GFS的master为例，master正常时： (1)client会连接正常的master，shadow-master不对外提供服务； (2)master与shadow-master之间有一种存活探测机制； (3)master与shadow-master有相同的虚IP；   <img data-ratio="0.3582887700534759" data-s="300,640" src="/upload/659ecd0833de69c85f0603ab60e235dd.png" data-type="png" data-w="374"> 当发现master异常时： shadow-master会自动顶上成为master，虚IP机制可以保证这个过程对调用方是透明的。   除了GFS与MapReduce系统中的主控master，nginx和数据库的主库master亦可用类似的方式来保证高可用： <img data-ratio="0.37037037037037035" data-s="300,640" src="/upload/f3e7dccb4c312984bbe6dae322187a5c.png" data-type="png" data-w="351"> (1)两个主库设置相互同步的双主模式； (2)平时只有一个主库提供服务； (3)异常时，虚IP漂移到另一个主库，shadow-master变成主库继续提供服务； 关于高可用，更多详细的内容，可参考《<a href="http://mp.weixin.qq.com/s?__biz=MjM5ODYxMDA5OQ==&mid=2651959728&idx=1&sn=933227840ec8cdc35d3a33ae3fe97ec5&chksm=bd2d046c8a5a8d7a13551124af36bedf68f7a6e31f6f32828678d2adb108b86b7e08c678f22f&scene=21#wechat_redirect" target="_blank">究竟啥才是互联网架构“高可用”</a>》。   <h2>“性能瓶颈”问题通常怎么优化？</h2> 有时候，单点设计是有意为之，此时单点的性能（例如GFS中的master）有可能成为系统的瓶颈，那么，减少与单点的交互，便成了存在单点的系统优化的核心方向。 如何来减少与单点的交互，有两种常见的方法： (1)批量写； (2)客户端缓存； 如何利用“批量写”减少与单点的交互，提升整体性能？ 举一个单点“ID生成器”的例子，很多公司会利用数据库的auto-inc-id，来作为一个严格递增的ID生成工具。 <img data-ratio="1.375" data-s="300,640" src="/upload/6d9c93700ca2f7e250e027d426c6703b.png" data-type="png" data-w="112"> 其交互流程是： (1)调用方需要ID； (2)插入记录，利用auto-inc-id来生成和返回ID； 此时，ID生成的并发上限，取决于单点数据库的插入性能上限。 如何利用“批量写”提升性能呢？  <img data-ratio="1.3565217391304347" data-s="300,640" src="/upload/10727a90b6c92f0bfb96e08d4bb871d1.png" data-type="png" data-w="115"> 优化如下： (1)增加一个服务，每次从DB拿出100个id； (2)调用方需要ID； (3)服务直接返回100个id中的1个，100个分配完，再访问DB； 这样一来，每分配100个才会写数据库一次，分配id的性能提升了100倍。   如何利用“客户端缓存”减少与单点的交互，提升整体性能？ 还是举GFS文件系统的栗子。 <img data-ratio="0.28225806451612906" data-s="300,640" src="/upload/af321e718bff4aefd73ff2bc4520785d.png" data-type="png" data-w="496"> GFS文件读取的流程如下： (1)GFS的调用客户端client要访问shenjian.txt，先查询本地缓存，miss了； (2)client访问master问说文件在哪里，master告诉client在chunk3上； (3)client把shenjian.txt存放在chunk3上记录到本地的缓存，然后进行文件的读写操作； (4)未来client要访问文件，从本地缓存中查找到对应的记录，就不用再请求master了，可以直接访问chunk-server；   这类缓存的命中非常非常高，在99%以上（因为文件的自动迁移是小概率事件），这样与master的交互次数就降低了100倍。 批量写，客户端缓存，对性能的提升也有极限，单点性能优化还有没有其他方法？ 无论怎么批量写，客户端缓存，单点毕竟是单机，还是有性能上限的。 水平扩展，才能够无限的提升系统性能。 以nginx为例，如何来进行水平扩展呢？ <img data-ratio="0.25" data-s="300,640" src="/upload/644a1d266060910efda091ca3e04aa1c.png" data-type="png" data-w="404"> 第一步的DNS解析，只能返回一个nginx外网IP么？ <img data-ratio="0.22870662460567823" data-s="300,640" src="/upload/f7657393a47bde2a3e2f1156dcff8ea0.png" data-type="png" data-w="634"> 通过DNS轮询，在DNS-server，一个域名可以配置多个IP，每次DNS解析请求，轮询返回不同的IP，就能实现nginx的水平扩展，扩充负载均衡层的整体性能。   数据库单点写库也是同样的道理，在数据量很大的情况下，可以通过水平拆分，来提升写入性能。   关于性能扩展，更多详细的内容，可参考<span style="max-width: 100%;color: rgb(51, 51, 51);font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 1px;text-align: justify;background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;">《<a href="http://mp.weixin.qq.com/s?__biz=MjM5ODYxMDA5OQ==&mid=2651959830&idx=1&sn=ce1c5a58caed227d7dfdbc16d6e1cea4&chksm=bd2d07ca8a5a8edc45cc45c4787cc72cf4c8b96fb43d2840c7ccd44978036a7d39a03dd578b5&scene=21#wechat_redirect" target="_blank" style="color: rgb(87, 107, 149);-webkit-tap-highlight-color: rgba(0, 0, 0, 0);max-width: 100%;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 1px;text-align: justify;white-space: normal;background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;">究竟啥才是互联网架构“可扩展”</a><span style="max-width: 100%;color: rgb(51, 51, 51);font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 1px;text-align: justify;background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;">》。   <h2>总结</h2> 今天的内容很多，希望行文有逻辑： (1)单点系统存在的问题：可用性问题，性能瓶颈问题； (2)shadow-master是一种常见高可用方案； (3)减少与单点的交互，是单点系统优化的核心方向，常见方法有：批量写，客户端缓存； (4)水平扩展，才能做到理论上的无限性能； <p style="max-width: 100%;min-height: 1em;color: rgb(51, 51, 51);font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;letter-spacing: 0.544px;text-align: justify;white-space: normal;background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;">思路比结论重要。 <p style="max-width: 100%;box-sizing: border-box;min-height: 1em;color: rgb(51, 51, 51);font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;letter-spacing: 0.544px;white-space: normal;text-align: center;background-color: rgb(255, 255, 255);line-height: normal;word-wrap: break-word !important;"><img width="auto" data-ratio="1" data-type="jpeg" data-w="250" data-s="300,640" class="" src="/upload/70c6338917b0840a1d6c89c07c078365.jpg" style="max-width: 677px;box-sizing: border-box;word-wrap: break-word;visibility: visible !important;width: 130px !important;"> <p style="max-width: 100%;box-sizing: border-box;min-height: 1em;color: rgb(51, 51, 51);font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;letter-spacing: 0.544px;white-space: normal;text-align: center;background-color: rgb(255, 255, 255);line-height: normal;word-wrap: break-word !important;">架构师之路-分享可落地的技术文章 <p style="max-width: 100%;box-sizing: border-box;min-height: 1em;color: rgb(51, 51, 51);font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;letter-spacing: 0.544px;text-align: justify;white-space: normal;background-color: rgb(255, 255, 255);word-wrap: break-word !important;"> <p style="max-width: 100%;box-sizing: border-box;min-height: 1em;color: rgb(51, 51, 51);font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;letter-spacing: 0.544px;text-align: justify;white-space: normal;background-color: rgb(255, 255, 255);word-wrap: break-word !important;">推荐阅读： <p style="max-width: 100%;box-sizing: border-box;min-height: 1em;color: rgb(51, 51, 51);font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;letter-spacing: 0.544px;text-align: justify;white-space: normal;background-color: rgb(255, 255, 255);word-wrap: break-word !important;">《<a href="http://mp.weixin.qq.com/s?__biz=MjM5ODYxMDA5OQ==&mid=2651960408&idx=1&sn=8f4825caf8183d248c06b87e6bf28a20&chksm=bd2d01848a5a88925c263a24c15ff9c92e17f5486ca27d65c5905590f135d6c241ffe88f214a&scene=21#wechat_redirect" target="_blank" style="color: rgb(87, 107, 149);-webkit-tap-highlight-color: rgba(0, 0, 0, 0);max-width: 100%;box-sizing: border-box !important;word-wrap: break-word !important;">究竟啥才是互联网架构“一致性”</a>》 <p style="max-width: 100%;box-sizing: border-box;min-height: 1em;color: rgb(51, 51, 51);font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;letter-spacing: 0.544px;text-align: justify;white-space: normal;background-color: rgb(255, 255, 255);word-wrap: break-word !important;">《<a href="http://mp.weixin.qq.com/s?__biz=MjM5ODYxMDA5OQ==&mid=2651959728&idx=1&sn=933227840ec8cdc35d3a33ae3fe97ec5&chksm=bd2d046c8a5a8d7a13551124af36bedf68f7a6e31f6f32828678d2adb108b86b7e08c678f22f&scene=21#wechat_redirect" target="_blank" style="color: rgb(87, 107, 149);-webkit-tap-highlight-color: rgba(0, 0, 0, 0);max-width: 100%;box-sizing: border-box !important;word-wrap: break-word !important;">究竟啥才是互联网架构“高可用”</a>》 <p style="max-width: 100%;box-sizing: border-box;min-height: 1em;color: rgb(51, 51, 51);font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;letter-spacing: 0.544px;text-align: justify;white-space: normal;background-color: rgb(255, 255, 255);word-wrap: break-word !important;">《<a href="http://mp.weixin.qq.com/s?__biz=MjM5ODYxMDA5OQ==&mid=2651959830&idx=1&sn=ce1c5a58caed227d7dfdbc16d6e1cea4&chksm=bd2d07ca8a5a8edc45cc45c4787cc72cf4c8b96fb43d2840c7ccd44978036a7d39a03dd578b5&scene=21#wechat_redirect" target="_blank" style="color: rgb(87, 107, 149);-webkit-tap-highlight-color: rgba(0, 0, 0, 0);max-width: 100%;box-sizing: border-box !important;word-wrap: break-word !important;">究竟啥才是互联网架构“可扩展”</a>》

Redis集群高性能缓存服务

作者：じ☆ve宝贝

# Redis 安装步骤 #### 准备工作 (1)确保系统安装zlib,否则gem install会报(no such file to load -- zlib) 下载:zlib-1.2.6.tar ./configure make make install (2)安装ruby1.9.2 cd /文件夹路径/ruby ./configure //指定编译后的路径 make make install (3)安装 rubygems-1.8.16.tgz cd /文件夹路径/rubygems sudo ruby setup.rb (4)安装redis-3.0.0.gem #由于源的原因，可能下载失败，就手动下载下来安装 #download地址:http://rubygems.org/gems/redis/versions/3.0.0 gem install -l /文件路径/redis-3.0.0.gem #### 正式安装（1）下载官方提供的压缩包。（注意：一定要在linux解压，否则出错）（2）使用make编译.c文件（32位系统查看方法getconf LONG_BIT 使用 make CFLAGS="-march=i686"）使用 make install 可以将 redis-server redis-cli redis-benchmark redis-check-dump redis-check-aof 安装在 usr/local/bin下直接使用（3）把redis.conf中的配置修改一下 daemonize yes #是否以后台daemon方式运行 pidfile /usr/local/redis/var/redis.pid #pid文件位置 port 6379 #监听的端口号 timeout 300 #请求超时时间 loglevel debug #log信息级别 logfile /usr/local/redis/var/redis.log #log文件位置 databases 16 #开启数据库的数量 save 900 1 #保存快照的频率，第一个*表示多长时间，第二个*表示执行多少次写操作。在一定时间内执行一定数量的写操作时，自动保存快照。可设置多个条件。 save 300 10 # 在5分钟内执行写的操作超过10次自动保存快照 save 60 10000 # rdbcompression yes # 是否使用压缩 dbfilename dump.rdb #数据快照文件名（只是文件名，不包括目录） dir /usr/local/redis/var/ #数据快照的保存目录（这个是目录） appendonly no #是否开启appendonlylog，开启的话每次写操作会记一条log，这会提高数据抗风险能力，但影响效率。 appendfsync always #appendonlylog如何同步到磁盘（三个选项，分别是每次写都强制调用fsync、每秒启用一次fsync、不调用fsync等待系统自己同步） glueoutputbuf yes # shareobjects no # shareobjectspoolsize 1024 # ####启动 Redis服务 1. src/redis-server 启动redis服务 2. 存值redis-cli set mykey somevalue 3. 取值redis-cli get mykey 4. 关闭服务redis-cli shutdown redis-cli -p 7002 shutdown 关闭端口号为7002的redis服务端 redis-cli -p 7002 debug segfault 让这个节点崩溃 (如果没有提示的话加上./就行了例如：./redis-cli shutdown ./意思是：当前文件夹) ####Windows版 Redis服务启动 redis-server.exe redis.window.conf //会按照你redis.window.conf 配置启动使用 redis-cli.exe -h 192.168.79.110 -p 6379 //启动windos版的客户端 ####Redis主从配置 //在丛机位置配置打开redis.conf 添加上如下的内容 OK slaveof 192.168.223.153 6379 # slaveof（奴隶） master（主人）的ip master的端口 ####Redis集群配置要让集群正常运作至少需要三个主节点和三个从节点 #####1.打开redis.conf 修改如下的内容 OK（最节俭的配置） ``` port 7000 #端口号 cluster-enabled yes #打开实例的集群模式 cluster-config-file nodes-"名字不要重复".conf #设定了保存节点配置文件的路径，默认值为 nodes.conf （节点配置文件无须人为修改，它由 Redis 集群在启动时创建，并在有需要时自动进行更新。） cluster-node-timeout 5000 #连接超时 appendonly yes #是否开启appendonlylog，开启的话每次写操作会记一条log，这会提高数据抗风险能力，但影响效率。 ``` #####2.安装必要的插件一、zlib安装zlib-1.2.6.tar.gz ./configure make make install 二、 Ruby 安装ruby-1.8.7-p174.tar.gz 1）得到Ruby安装包 wget ftp://ftp.ruby-lang.org/pub/ruby/1.8/ruby-1.8.7-p174.tar.gz 安装的1.8.7版本 2）解压安装 tar -xzvf ruby-1.8.7-p174.tar.gz cd ruby-1.8.7-p174 ./configure make make install 通过以上步骤就已经安装好了ruby 3）验证 ruby –v 输出：ruby 1.8.7 (2009-06-12 patchlevel 174) [i686-linux] 这样表示ruby 安装成功了三、 RubyGems 安装ruby安装成共rubygems-1.8.5.tgz 1）得到rubygems包 wget http://rubyforge.org/frs/download.php/73882/rubygems-1.4.2.tgz 2）安装 tar –xzvf rubygems-1.4.2.tgz cd rubygems-1.4.2 ruby setup.rb 3）验证安装成功： gem –v 输出：1.4.2 那么就rubygems就安装成功了三、redis的第三方接口！既然ruby程序要访问redis数据库，总得有个连接接口。 1） gem install redis 到此位置 ok #####3.启动集群程序安装好的软件在 /usr/local/bin下安装完成后使用redis-trib.rb来创建集群 1）启动各个节点进入redis安装的文件使用 src/redis-server redis.conf 来启动redis （注意：不能直接在该终端继续开启，一个终端在没有关闭重新打开的情况下只能开启一个redis，建议不要关闭重新打开一个终端） 2）创建集群 redis-trib.rb create --replicas 1 192.168.223.153:7000 192.168.223.153:7001 192.168.223.153:7002 192.168.223.153:7003 192.168.223.153:7004 192.168.223.153:7005 redis-trib.rb 程序的命令是 create ，这表示我们希望创建一个新的集群。选项 --replicas 1 表示我们希望为集群中的每个主节点创建一个从节点。之后跟着的其他参数则是实例的地址列表，我们希望程序使用这些地址所指示的实例来创建新集群。 3）启动集群 redis-cli -c -p 7000 4）检查集群状态 redis-trib.rb check 127.0.0.1:7001 5）添加新master（主人）节点 a）首先启动redis端口及配置文件src/redis-server redis.conf b）添加新的节点redis-trib.rb add-node 127.0.0.1:7006 127.0.0.1:7000 第一个ip是新增加的第二个是已经存在的（注意：官方add-node没有横线，可能版本不同，大家可以 redis-trib.rb help 来了解里面的命令） c）为新增加节点添加槽数： redis-trib.rb reshard 127.0.0.1:7006 #根据提示选择要迁移的slot（槽）数量(ps:这里选择500) How many slots do you want to move (from 1 to 16384)? 500 #选择要接受这些slot的node-id What is the receiving node ID? f51e26b5d5ff74f85341f06f28f125b7254e61bf （7006端口的nodeid） #选择slot来源: #all表示从所有的master重新分配， #或者数据要提取slot的master节点id,最后用done结束 Please enter all the source node IDs. Type 'all' to use all the nodes as source nodes for the hash slots. Type 'done' once you entered all the source nodes IDs. Source node #1:all #打印被移动的slot后，输入yes开始移动slot以及对应的数据. #Do you want to proceed with the proposed reshard plan (yes/no)? yes #结束（哈希槽：一个 Redis 集群包含 16384 个哈希槽（hash slot），数据库中的每个键都属于这 16384 个哈希槽的其中一个） 6）添加slave（奴隶）节点 a）b）和上面相同 c）输入redis-cli -p 7006 连接上新节点shell ，输入命令:cluster replicate 对应master的node-id 如果我们打算让新节点（7006）成为 127.0.0.1:7005 的从节点，那么我们只要用客户端连接上新节点 cluster replicate 2b9ebcbd627ff0fd7a7bbcc5332fb09e72788835 （主节点 127.0.0.1:7005 的节点 ID ）注意: note:在线添加slave 时，需要dump(将整个储存装置记录在另一储存装置中)整个master进程，并传递到slave，再由 slave加载rdb文件到内存，rdb传输过程中Master可能无法提供服务,整个过程消耗大量io,小心操作 7）对负载均衡的处理对于负载/数据不均匀的情况，可以在线reshard slot来解决,方法与添加新master的reshard一样，只是需要reshard的master节点是老节点 8）删除一个slave（奴隶）节点 #redis-trib del-node ip地址:端口号 '<节点的id（启动服务的时候在图的上面 I'f51e26b5d5ff74f85341f06f28f125b7254e61bf>' redis-trib.rb del-node 127.0.0.1:7006 'f51e26b5d5ff74f85341f06f28f125b7254e61bf' 9）删除一个master（主人）节点 a)删除master节点之前首先要使用reshard移除master的全部slot（哈希槽的数据）,然后再删除当前节点(目前只能把被删除 master的slot迁移到一个节点上) b）为删除的节点移动槽数： #把127.0.0.1:7006当前master迁移到127.0.0.1:7000上 redis-trib.rb reshard 127.0.0.1:7000 #根据提示选择要迁移的slot数量(ps:这里选择500) How many slots do you want to move (from 1 to 16384)? 500(被删除master的所有slot数量) #选择要接受这些slot的node-id(10.10.34.14:6380) What is the receiving node ID? c4a31c852f81686f6ed8bcd6d1b13accdc947fd2 #(ps:127.0.0.1:7000的node-id) Please enter all the source node IDs. Type 'all' to use all the nodes as source nodes for the hash slots. Type 'done' once you entered all the source nodes IDs. Source node #1:f51e26b5d5ff74f85341f06f28f125b7254e61bf#(被删除master的node-id，也就是7006端口号的nodeid) Source node #2:done #打印被移动的slot后，输入yes开始移动slot以及对应的数据. #Do you want to proceed with the proposed reshard plan (yes/no)? yes c）删除该空节点 redis-trib.rb del-node 127.0.0.1:7006 'f51e26b5d5ff74f85341f06f28f125b7254e61bf' 10）获得节点的运行 ID redis-cli -p 7001 cluster nodes | grep myself #查看自己的id redis-cli -p 7001 cluster nodes | grep master #查看所有的主节点id 测试 redis-cli -h 192.168.223.153 -p 7000//进入端口号为的7000节点 redis-cli -c -p 7000 //进入集群错误总结 1. 问题: [ERR]Node 127.0.0.1:7006 is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0. 描述： ``` 删除了一个节点，我再一次添加，他会提示错误！ ``` 解决： cluster-config-file nodes-"名字不要重复".conf #设定了保存节点配置文件的路径）把这个路径里node-xxx.conf删除掉就行如果还是报错换个生成后的路径/usr/xx/nodes-xx.conf 或者删除该redis文件夹重新生成！ 2. 问题： ERROR: Invalid configuration for cluster creation. Redis Cluster requires at least 3 master nodes. This is not possible with 4 nodes and 1 replicas per node. At least 6 nodes are required. 描述： redis集群启动个数不够解决： Redis官说，至少3+3 3. 问题 Either the node already knows other nodes 描述：由于单机测试，产生垃圾数据解决： db和log下能清空的都清空了。 linux centOS6.5不支持中文解决？ 1）# vi /etc/sysconfig/i18n 修改LANG="en_US.UTF-8"为LANG="zh_CN.UTF-8"保存 2） # export LC_ALL=zh_CN.UTF-8 OK 重新启动电脑即可有中文乱码问题？ http://www.cnblogs.com/ylqmf/archive/2011/09/05/2167458.html

redis 总结——重构版

作者：微信小助手

<h3 style="box-sizing: border-box;margin-bottom: 1rem;color: rgb(21, 153, 87);line-height: 1.35;font-size: 20px;white-space: normal;font-family: Menlo, Monaco, "Source Code Pro", Consolas, Inconsolata, "Ubuntu Mono", "DejaVu Sans Mono", "Courier New", "Droid Sans Mono", "Hiragino Sans GB", 微软雅黑, monospace !important;">点击上方蓝字即可关注我，如果觉得我的文章不错的话，建议将该公众号置顶/星标（点击作者蓝字然后点击右上角），有惊喜哦！</h3> <h3 style="box-sizing: border-box;margin-bottom: 1rem;color: rgb(21, 153, 87);line-height: 1.35;font-size: 20px;white-space: normal;font-family: Menlo, Monaco, "Source Code Pro", Consolas, Inconsolata, "Ubuntu Mono", "DejaVu Sans Mono", "Courier New", "Droid Sans Mono", "Hiragino Sans GB", 微软雅黑, monospace !important;">主要内容</h3> <ol style="" class=" list-paddingleft-2"> <li>redis 简介</li> <li>为什么要用 redis /为什么要用缓存</li> <li>为什么要用 redis 而不用 map/guava 做缓存?</li> <li>redis 和 memcached 的区别</li> <li>redis 常见数据结构以及使用场景分析</li> <li>redis 设置过期时间</li> <li>redis 内存淘汰机制</li> <li>redis 持久化机制（怎么保证 redis 挂掉之后再重启数据可以进行恢复）</li> <li>redis 事务</li> <li>缓存雪崩和缓存穿透问题解决方案</li> <li>如何解决 Redis 的并发竞争 Key 问题</li> <li>如何保证缓存与数据库双写时的数据一致性？</li> </ol> <h3 style="box-sizing: border-box;margin-top: 1.5rem;margin-bottom: 1rem;color: rgb(21, 153, 87);line-height: 1.35;font-size: 20px;white-space: normal;font-family: Menlo, Monaco, "Source Code Pro", Consolas, Inconsolata, "Ubuntu Mono", "DejaVu Sans Mono", "Courier New", "Droid Sans Mono", "Hiragino Sans GB", 微软雅黑, monospace !important;">redis 简介</h3> 简单来说 redis 就是一个数据库，不过与传统数据库不同的是 redis 的数据是存在内存中的，所以存写速度非常快，因此 redis 被广泛应用于缓存方向。另外，redis 也经常用来做分布式锁。redis 提供了多种数据类型来支持不同的业务场景。除此之外，redis 支持事务、持久化、LUA脚本、LRU驱动事件、多种集群方案。 <h3 style="box-sizing: border-box;margin-top: 1.5rem;margin-bottom: 1rem;color: rgb(21, 153, 87);line-height: 1.35;font-size: 20px;white-space: normal;font-family: Menlo, Monaco, "Source Code Pro", Consolas, Inconsolata, "Ubuntu Mono", "DejaVu Sans Mono", "Courier New", "Droid Sans Mono", "Hiragino Sans GB", 微软雅黑, monospace !important;">为什么要用 redis /为什么要用缓存</h3> <p style="box-sizing: border-box;margin-top: 15px;margin-bottom: 15px;font-size: 16px;white-space: pre-line;line-height: 30px;color: rgb(74, 74, 74);font-family: Avenir, -apple-system-font, 微软雅黑, sans-serif;">主要从“高性能”和“高并发”这两点来看待这个问题。 <p style="box-sizing: border-box;margin-top: 15px;margin-bottom: 15px;font-size: 16px;white-space: pre-line;line-height: 30px;color: rgb(74, 74, 74);font-family: Avenir, -apple-system-font, 微软雅黑, sans-serif;">高性能： <p style="box-sizing: border-box;margin-top: 15px;margin-bottom: 15px;font-size: 16px;white-space: pre-line;line-height: 30px;color: rgb(74, 74, 74);font-family: Avenir, -apple-system-font, 微软雅黑, sans-serif;">假如用户第一次访问数据库中的某些数据。这个过程会比较慢，因为是从硬盘上读取的。将该用户访问的数据存在数缓存中，这样下一次再访问这些数据的时候就可以直接从缓存中获取了。操作缓存就是直接操作内存，所以速度相当快。如果数据库中的对应数据改变的之后，同步改变缓存中相应的数据即可！ <p style="box-sizing: border-box;margin-top: 15px;margin-bottom: 15px;font-size: 16px;white-space: pre-line;line-height: 30px;color: rgb(74, 74, 74);font-family: Avenir, -apple-system-font, 微软雅黑, sans-serif;"><img class="" data-ratio="0.6433470507544582" src="/upload/9d23d1226203e548b0e02175bc4ffaaa.png" data-type="png" data-w="729" style="box-sizing: border-box;border-width: 2px;border-style: solid;border-color: rgb(238, 238, 238);border-radius: 6px;"> <p style="box-sizing: border-box;margin-top: 15px;margin-bottom: 15px;font-size: 16px;white-space: pre-line;line-height: 30px;color: rgb(74, 74, 74);font-family: Avenir, -apple-system-font, 微软雅黑, sans-serif;">高并发： <p style="box-sizing: border-box;margin-top: 15px;margin-bottom: 15px;font-size: 16px;white-space: pre-line;line-height: 30px;color: rgb(74, 74, 74);font-family: Avenir, -apple-system-font, 微软雅黑, sans-serif;">直接操作缓存能够承受的请求是远远大于直接访问数据库的，所以我们可以考虑把数据库中的部分数据转移到缓存中去，这样用户的一部分请求会直接到缓存这里而不用经过数据库。 <p style="box-sizing: border-box;margin-top: 15px;margin-bottom: 15px;font-size: 16px;white-space: pre-line;line-height: 30px;color: rgb(74, 74, 74);font-family: Avenir, -apple-system-font, 微软雅黑, sans-serif;"><img class="" data-ratio="0.8465703971119134" src="/upload/7c45f5a09ec0562e54d4cb032759add5.png" data-type="png" data-w="554" style="box-sizing: border-box;border-width: 2px;border-style: solid;border-color: rgb(238, 238, 238);border-radius: 6px;"> <h3 style="box-sizing: border-box;margin-top: 1.5rem;margin-bottom: 1rem;color: rgb(21, 153, 87);line-height: 1.35;font-size: 20px;white-space: normal;font-family: Menlo, Monaco, "Source Code Pro", Consolas, Inconsolata, "Ubuntu Mono", "DejaVu Sans Mono", "Courier New", "Droid Sans Mono", "Hiragino Sans GB", 微软雅黑, monospace !important;">为什么要用 redis 而不用 map/guava 做缓存?</h3> <blockquote style="box-sizing: border-box;margin-top: 1em;margin-bottom: 1.2em;padding: 15px 15px 15px 1rem;color: rgb(129, 145, 152);border-left-width: 6px;border-left-color: rgb(220, 230, 240);font-size: 14px;line-height: 22px;background: rgb(242, 247, 251);font-family: Avenir, -apple-system-font, 微软雅黑, sans-serif;white-space: normal;"> 下面的内容来自 segmentfault 一位网友的提问，地址：https://segmentfault.com/q/1010000009106416 </blockquote> <p style="box-sizing: border-box;margin-top: 15px;margin-bottom: 15px;font-size: 16px;white-space: pre-line;line-height: 30px;color: rgb(74, 74, 74);font-family: Avenir, -apple-system-font, 微软雅黑, sans-serif;">缓存分为本地缓存和分布式缓存。以 Java 为例，使用自带的 map 或者 guava 实现的是本地缓存，最主要的特点是轻量以及快速，生命周期随着 jvm 的销毁而结束，并且在多实例的情况下，每个实例都需要各自保存一份缓存，缓存不具有一致性。 <p style="box-sizing: border-box;margin-top: 15px;margin-bottom: 15px;font-size: 16px;white-space: pre-line;line-height: 30px;color: rgb(74, 74, 74);font-family: Avenir, -apple-system-font, 微软雅黑, sans-serif;">使用 redis 或 memcached 之类的称为分布式缓存，在多实例的情况下，各实例共用一份缓存数据，缓存具有一致性。缺点是需要保持 redis 或 memcached服务的高可用，整个程序架构上较为复杂。 <h3 style="box-sizing: border-box;margin-top: 1.5rem;margin-bottom: 1rem;color: rgb(21, 153, 87);line-height: 1.35;font-size: 20px;white-space: normal;font-family: Menlo, Monaco, "Source Code Pro", Consolas, Inconsolata, "Ubuntu Mono", "DejaVu Sans Mono", "Courier New", "Droid Sans Mono", "Hiragino Sans GB", 微软雅黑, monospace !important;">redis 和 memcached 的区别</h3> <p style="box-sizing: border-box;margin-top: 15px;margin-bottom: 15px;font-size: 16px;white-space: pre-line;line-height: 30px;color: rgb(74, 74, 74);font-family: Avenir, -apple-system-font, 微软雅黑, sans-serif;">对于 redis 和 memcached 我总结了下面四点。现在公司一般都是用 redis 来实现缓存，而且 redis 自身也越来越强大了！ <ol style="" class=" list-paddingleft-2"> <li>redis支持更丰富的数据类型（支持更复杂的应用场景）：Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，zset，hash等数据结构的存储。memcache支持简单的数据类型，String。</li> <li>Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用,而Memecache把数据全部存在内存之中。</li> <li>集群模式：memcached没有原生的集群模式，需要依靠客户端来实现往集群中分片写入数据；但是 redis 目前是原生支持 cluster 模式的.</li> <li>Memcached是多线程，非阻塞IO复用的网络模型；Redis使用单线程的多路 IO 复用模型。</li> </ol> <blockquote style="box-sizing: border-box;margin-top: 1em;margin-bottom: 1.2em;padding: 15px 15px 15px 1rem;color: rgb(129, 145, 152);border-left-width: 6px;border-left-color: rgb(220, 230, 240);font-size: 14px;line-height: 22px;background: rgb(242, 247, 251);font-family: Avenir, -apple-system-font, 微软雅黑, sans-serif;white-space: normal;"> 来自网络上的一张图，这里分享给大家！ </blockquote> <p style="box-sizing: border-box;margin-top: 15px;margin-bottom: 15px;font-size: 16px;white-space: pre-line;line-height: 30px;color: rgb(74, 74, 74);font-family: Avenir, -apple-system-font, 微软雅黑, sans-serif;"><img class="" data-ratio="0.6086956521739131" src="/upload/d0cc3706880fa86a191297677ea4be61.jpg" data-type="jpeg" data-w="621" style="box-sizing: border-box;border-width: 2px;border-style: solid;border-color: rgb(238, 238, 238);border-radius: 6px;"> <h3 style="box-sizing: border-box;margin-top: 1.5rem;margin-bottom: 1rem;color: rgb(21, 153, 87);line-height: 1.35;font-size: 20px;white-space: normal;font-family: Menlo, Monaco, "Source Code Pro", Consolas, Inconsolata, "Ubuntu Mono", "DejaVu Sans Mono", "Courier New", "Droid Sans Mono", "Hiragino Sans GB", 微软雅黑, monospace !important;">redis 常见数据结构以及使用场景分析</h3> <h4 style="box-sizing: border-box;margin-top: 1.5rem;margin-bottom: 1rem;color: rgb(21, 153, 87);line-height: 1.35;font-size: 18px;white-space: normal;font-family: Menlo, Monaco, "Source Code Pro", Consolas, Inconsolata, "Ubuntu Mono", "DejaVu Sans Mono", "Courier New", "Droid Sans Mono", "Hiragino Sans GB", 微软雅黑, monospace !important;">1. String</h4> <blockquote style="box-sizing: border-box;margin-top: 1em;margin-bottom: 1.2em;padding: 15px 15px 15px 1rem;color: rgb(129, 145, 152);border-left-width: 6px;border-left-color: rgb(220, 230, 240);font-size: 14px;line-height: 22px;background: rgb(242, 247, 251);font-family: Avenir, -apple-system-font, 微软雅黑, sans-serif;white-space: normal;"> 常用命令: set,get,decr,incr,mget 等。 </blockquote> <p style="box-sizing: border-box;margin-top: 15px;margin-bottom: 15px;font-size: 16px;white-space: pre-line;line-height: 30px;color: rgb(74, 74, 74);font-family: Avenir, -apple-system-font, 微软雅黑, sans-serif;">String数据结构是简单的key-value类型，value其实不仅可以是String，也可以是数字。常规key-value缓存应用；常规计数：微博数，粉丝数等。 <h4 style="box-sizing: border-box;margin-top: 1.5rem;margin-bottom: 1rem;color: rgb(21, 153, 87);line-height: 1.35;font-size: 18px;white-space: normal;font-family: Menlo, Monaco, "Source Code Pro", Consolas, Inconsolata, "Ubuntu Mono", "DejaVu Sans Mono", "Courier New", "Droid Sans Mono", "Hiragino Sans GB", 微软雅黑, monospace !important;">2.Hash</h4> <blockquote style="box-sizing: border-box;margin-top: 1em;margin-bottom: 1.2em;padding: 15px 15px 15px 1rem;color: rgb(129, 145, 152);border-left-width: 6px;border-left-color: rgb(220, 230, 240);font-size: 14px;line-height: 22px;background: rgb(242, 247, 251);font-family: Avenir, -apple-system-font, 微软雅黑, sans-serif;white-space: normal;"> 常用命令： hget,hset,hgetall 等。 </blockquote> <p style="box-sizing: border-box;margin-top: 15px;margin-bottom: 15px;font-size: 16px;white-space: pre-line;line-height: 30px;color: rgb(74, 74, 74);font-family: Avenir, -apple-system-font, 微软雅黑, sans-serif;">Hash 是一个 string 类型的 field 和 value 的映射表，hash 特别适合用于存储对象，后续操作的时候，你可以直接仅仅修改这个对象中的某个字段的值。比如我们可以Hash数据结构来存储用户信息，商品信息等等。比如下面我就用 hash 类型

什么是 binlog？

作者：微信小助手

本文转载自公众号   打杂的ZRJ <h2 style="margin-top: 1.6em;margin-bottom: 1.6em;font-weight: bold;font-size: 1.4em;color: inherit;font-variant-numeric: normal;font-variant-east-asian: normal;white-space: normal;max-width: 100%;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 2px;text-align: justify;widows: 1;word-spacing: 2px;line-height: inherit;background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;">引言</h2> <h3 style="margin-top: 1.6em;margin-bottom: 1.6em;font-weight: bold;font-size: 1.3em;color: inherit;font-variant-numeric: normal;font-variant-east-asian: normal;white-space: normal;max-width: 100%;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 2px;text-align: justify;widows: 1;word-spacing: 2px;line-height: inherit;border-bottom: 2px solid rgb(239, 112, 96);background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;"><span style="margin-right: 3px;padding: 3px 10px 1px;max-width: 100%;font-size: inherit;line-height: inherit;display: inline-block;font-weight: normal;color: rgb(255, 255, 255);border-top-right-radius: 3px;border-top-left-radius: 3px;background: rgb(239, 112, 96);box-sizing: border-box !important;word-wrap: break-word !important;">为什么写这篇文章?<span style="max-width: 100%;display: inline-block;vertical-align: bottom;border-bottom: 36px solid rgb(239, 235, 233);border-right: 20px solid transparent;box-sizing: border-box !important;word-wrap: break-word !important;"></h3> <p style="margin-top: 1.7em;margin-bottom: 1.7em;color: inherit;font-size: inherit;font-variant-numeric: normal;font-variant-east-asian: normal;white-space: normal;max-width: 100%;min-height: 1em;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 2px;line-height: inherit;text-align: justify;widows: 1;word-spacing: 2px;background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;">大家当年在学MySQL的时候，为了能够迅速就业，一般是学习一下MySQL的基本语法，差不多就出山找工作了。水平稍微好一点的童鞋呢还会懂一点存储过程的编写，又或者是懂一点索引的创建和使用。但是呢，基本上大家都忽略了对底层知识的学习。为什么呢？因为工作中很少用到嘛。然后呢，市面上流传的大部分这种底层的知识，又比较偏运维，研发懂这么多意义也不是太大，很多知识可能这辈子都不会用到。 因此，我整理了一部分相关的知识，希望大家有所收获。 <h3 style="margin-top: 1.6em;margin-bottom: 1.6em;font-weight: bold;font-size: 1.3em;color: inherit;font-variant-numeric: normal;font-variant-east-asian: normal;white-space: normal;max-width: 100%;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 2px;text-align: justify;widows: 1;word-spacing: 2px;line-height: inherit;border-bottom: 2px solid rgb(239, 112, 96);background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;"><span style="margin-right: 3px;padding: 3px 10px 1px;max-width: 100%;font-size: inherit;line-height: inherit;display: inline-block;font-weight: normal;color: rgb(255, 255, 255);border-top-right-radius: 3px;border-top-left-radius: 3px;background: rgb(239, 112, 96);box-sizing: border-box !important;word-wrap: break-word !important;">研发究竟要懂哪些?<span style="max-width: 100%;display: inline-block;vertical-align: bottom;border-bottom: 36px solid rgb(239, 235, 233);border-right: 20px solid transparent;box-sizing: border-box !important;word-wrap: break-word !important;"></h3> <p style="margin-top: 1.7em;margin-bottom: 1.7em;color: inherit;font-size: inherit;font-variant-numeric: normal;font-variant-east-asian: normal;white-space: normal;max-width: 100%;min-height: 1em;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 2px;line-height: inherit;text-align: justify;widows: 1;word-spacing: 2px;background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;">主要分为两个部分 <ul class=" list-paddingleft-2" style=""> <li><code style="margin-right: 2px;margin-left: 2px;padding: 2px 4px;max-width: 100%;font-size: inherit;line-height: inherit;overflow-wrap: break-word;border-radius: 4px;color: rgb(248, 35, 117);background: rgb(248, 248, 248);box-sizing: border-box !important;word-wrap: break-word !important;">binlog</code>的相关概念</li> <li>怎么解析<code style="margin-right: 2px;margin-left: 2px;padding: 2px 4px;max-width: 100%;font-size: inherit;line-height: inherit;overflow-wrap: break-word;border-radius: 4px;color: rgb(248, 35, 117);background: rgb(248, 248, 248);box-sizing: border-box !important;word-wrap: break-word !important;">binlog</code></li> </ul> <p style="margin-top: 1.7em;margin-bottom: 1.7em;color: inherit;font-size: inherit;font-variant-numeric: normal;font-variant-east-asian: normal;white-space: normal;max-width: 100%;min-height: 1em;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 2px;line-height: inherit;text-align: justify;widows: 1;word-spacing: 2px;background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;">计划分上下两个部分来叙述。上部分讲述binlog的相关概念这部分的知识，我们不需要像运维懂的那么深，我会列举一些常见概念和常见配置，大家匆匆扫一眼，有个概念即可。这样大家以后和运维讨论问题的时候，也不会一脸的懵逼。正所谓 <blockquote style="margin-top: 1em;margin-bottom: 1em;padding: 15px 15px 15px 1rem;border-left-width: 5px;border-left-color: rgb(239, 112, 96);font-variant-numeric: normal;font-variant-east-asian: normal;white-space: normal;max-width: 100%;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 2px;text-align: justify;widows: 1;word-spacing: 2px;line-height: inherit;font-size: 0.9em;overflow: auto;overflow-wrap: normal;word-break: normal;background: rgb(239, 235, 233);box-sizing: border-box !important;word-wrap: break-word !important;"> 懵逼树上懵逼果,懵逼树下你和我。    懵逼树前排排坐,一人一个懵逼果。 </blockquote> <p style="margin-top: 1.7em;margin-bottom: 1.7em;color: inherit;font-size: inherit;font-variant-numeric: normal;font-variant-east-asian: normal;white-space: normal;max-width: 100%;min-height: 1em;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 2px;line-height: inherit;text-align: justify;widows: 1;word-spacing: 2px;background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;">博主一个人默默的把懵逼果收走独享就好，各位读者还是懂点基本概念，以后方便和运维沟通。下半部分讲怎么解析binlog。 <p style="margin-top: 1.7em;margin-bottom: 1.7em;color: inherit;font-size: inherit;font-variant-numeric: normal;font-variant-east-asian: normal;white-space: normal;max-width: 100%;min-height: 1em;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 2px;line-height: inherit;text-align: justify;widows: 1;word-spacing: 2px;background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;">另外，这篇文章是给研发大大看的，可能有些概念我理解的也不对，请运维大大轻喷。 <h2 style="margin-top: 1.6em;margin-bottom: 1.6em;font-weight: bold;font-size: 1.4em;color: inherit;font-variant-numeric: normal;font-variant-east-asian: normal;white-space: normal;max-width: 100%;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 2px;text-align: justify;widows: 1;word-spacing: 2px;line-height: inherit;background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;">正文</h2> <p style="margin-top: 1.7em;margin-bottom: 1.7em;color: inherit;font-size: inherit;font-variant-numeric: normal;font-variant-east-asian: normal;white-space: normal;max-width: 100%;min-height: 1em;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 2px;line-height: inherit;text-align: justify;widows: 1;word-spacing: 2px;background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;">记得我的"一个定义,两个误解,三个用途,四个常识" <h3 style="margin-top: 1.6em;margin-bottom: 1.6em;font-weight: bold;font-size: 1.3em;color: inherit;font-variant-numeric: normal;font-variant-east-asian: normal;white-space: normal;max-width: 100%;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 2px;text-align: justify;widows: 1;word-spacing: 2px;line-height: inherit;border-bottom: 2px solid rgb(239, 112, 96);background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;"><span style="margin-right: 3px;padding: 3px 10px 1px;max-width: 100%;font-size: inherit;line-height: inherit;display: inline-block;font-weight: normal;color: rgb(255, 255, 255);border-top-right-radius: 3px;border-top-left-radius: 3px;background: rgb(239, 112, 96);box-sizing: border-box !important;word-wrap: break-word !important;">一个定义<span style="max-width: 100%;display: inline-block;vertical-align: bottom;border-bottom: 36px solid rgb(239, 235, 233);border-right: 20px solid transparent;box-sizing: border-box !important;word-wrap: break-word !important;"></h3> <p style="margin-top: 1.7em;margin-bottom: 1.7em;color: inherit;font-size: inherit;font-variant-numeric: normal;font-variant-east-asian: normal;white-space: normal;max-width: 100%;min-height: 1em;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 2px;line-height: inherit;text-align: justify;widows: 1;word-spacing: 2px;background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;">先从定义开始讲起 <blockquote style="margin-top: 1em;margin-bottom: 1em;padding: 15px 15px 15px 1rem;border-left-width: 5px;border-left-color: rgb(239, 112, 96);font-variant-numeric: normal;font-variant-east-asian: normal;white-space: normal;max-width: 100%;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 2px;text-align: justify;widows: 1;word-spacing: 2px;line-height: inherit;font-size: 0.9em;overflow: auto;overflow-wrap: normal;word-break: normal;background: rgb(239, 235, 233);box-sizing: border-box !important;word-wrap: break-word !important;"> binlog是记录所有数据库表结构变更（例如CREATE、ALTER TABLE…）以及表数据修改（INSERT、UPDATE、DELETE…）的二进制日志。 binlog不会记录SELECT和SHOW这类操作，因为这类操作对数据本身并没有修改，但你可以通过查询通用日志来查看MySQL执行过的所有语句。 </blockquote> <p style="margin-top: 1.7em;margin-bottom: 1.7em;color: inherit;font-size: inherit;font-variant-numeric: normal;font-variant-east-asian: normal;white-space: normal;max-width: 100%;min-height: 1em;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 2px;line-height: inherit;text-align: justify;widows: 1;word-spacing: 2px;background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;">多说一句，如果<code style="margin-right: 2px;margin-left: 2px;padding: 2px 4px;max-width: 100%;font-size: inherit;line-height: inherit;overflow-wrap: break-word;border-radius: 4px;color: rgb(248, 35, 117);background: rgb(248, 248, 248);box-sizing: border-box !important;word-wrap: break-word !important;">update</code>操作没有造成数据变化，也是会记入<code style="margin-right: 2px;margin-left: 2px;padding: 2px 4px;max-width: 100%;font-size: inherit;line-height: inherit;overflow-wrap: break-word;border-radius: 4px;color: rgb(248, 35, 117);background: rgb(248, 248, 248);box-sizing: border-box !important;word-wrap: break-word !important;">binlog</code>。 <h3 style="margin-top: 1.6em;margin-bottom: 1.6em;font-weight: bold;font-size: 1.3em;color: inherit;font-variant-numeric: normal;font-variant-east-asian: normal;white-space: normal;max-width: 100%;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 2px;text-align: justify;widows: 1;word-spacing: 2px;line-height: inherit;border-bottom: 2px solid rgb(239, 112, 96);background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;"><span style="margin-right: 3px;padding: 3px 10px 1px;max-width: 100%;font-size: inherit;line-height: inherit;display: inline-block;font-weight: normal;color: rgb(255, 255, 255);border-top-right-radius: 3px;border-top-left-radius: 3px;background: rgb(239, 112, 96);box-sizing: border-box !important;word-wrap: break-word !important;">两个误解<span style="max-width: 100%;display: inline-block;vertical-align: bottom;border-bottom: 36px solid rgb(239, 235, 233);border-right: 20px solid transparent;box-sizing: border-box !important;word-wrap: break-word !important;"></h3> <p style="margin-top: 1.7em;margin-bottom: 1.7em;color: inherit;font-size: inherit;font-variant-numeric: normal;font-variant-east-asian: normal;white-space: normal;max-width: 100%;min-height: 1em;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 2px;line-height: inherit;text-align: justify;widows: 1;word-spacing: 2px;background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;">误解一:binlog只是一类记录操作内容的日志文件 因为<code style="margin-right: 2px;margin-left: 2px;padding: 2px 4px;max-width: 100%;font-size: inherit;line-height: inherit;overflow-wrap: break-word;border-radius: 4px;color: rgb(248, 35, 117);background: rgb(248, 248, 248);box-sizing: border-box !important;word-wrap: break-word !important;">binlog</code>称之为二进制日志，很多研发会把这个二进制日志和我们平时在代码里写的代码日志联系在一起。因为我们的代码日志，只有一类记录操作容的文件，并不包含索引文件。然而，这个二进制日志包括两类文件： <ul class=" list-paddingleft-2" style=""> <li>索引文件（文件名后缀为.index）用于记录哪些日志文件正在被使用</li> <li>日志文件（文件名后缀为.00000*）记录数据库所有的DDL和DML(除了数据查询语句)语句事件。</li> </ul> <p style="margin-top: 1.7em;margin-bottom: 1.7em;color: inherit;font-size: inherit;font-variant-numeric: normal;font-variant-east-asian: normal;white-space: normal;max-width: 100%;min-height: 1em;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 2px;line-height: inherit;text-align: justify;widows: 1;word-spacing: 2px;background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;">这么说可能还有一点抽象，假设文件<code style="margin-right: 2px;margin-left: 2px;padding: 2px 4px;max-width: 100%;font-size: inherit;line-height: inherit;overflow-wrap: break-word;border-radius: 4px;color: rgb(248, 35, 117);background: rgb(248, 248, 248);box-sizing: border-box !important;word-wrap: break-word !important;">my.cnf</code>中有这么三条配置 <pre style="margi

文章列表