Java学习者

作者：微信小助手

<section> <section class="V5" powered-by="xiumi.us"> <section> <section> <section> <section class="V5" powered-by="xiumi.us"> <section> <section> <section> <section class="V5" powered-by="xiumi.us"> <section> <section> <section> <section class="V5" powered-by="xiumi.us"> <section> <section> <section style="box-sizing: border-box;"> <section class="V5" style="box-sizing: border-box;" powered-by="xiumi.us"> <section style="margin-top: 10px;margin-bottom: 10px;box-sizing: border-box;"> <section style="padding-top: 10px;padding-right: 10px;padding-left: 10px;box-sizing: border-box;background-color: rgb(239, 239, 239);"> <section style="box-sizing: border-box;"> “ </section> <section style="display: inline-block;vertical-align: top;float: right;width: 90%;line-height: 1.5;font-size: 15px;color: rgb(89, 89, 89);box-sizing: border-box;"> API 网关可以看做系统与外界联通的入口，我们可以在网关处理一些非业务逻辑的逻辑，比如权限验证，监控，缓存，请求路由等等。 </section> </section> </section> </section> </section> </section> </section> </section> </section> </section> </section> </section> </section> </section> </section> </section> </section> </section> </section> </section> </section> <img class="" data-copyright="0" data-ratio="0.45864661654135336" data-s="300,640" src="/upload/e9274560ed8e78f0d990a5e8508eaadf.png" data-type="png" data-w="798" style=""> <section style="box-sizing: border-box;"> <section class="V5" style="box-sizing: border-box;" powered-by="xiumi.us"> <section style="border-bottom-width: 1px;border-bottom-style: solid;border-bottom-color: black;margin-top: 0.5em;margin-bottom: 0.5em;line-height: 1.2;box-sizing: border-box;"> <section style="display: inline-block;border-bottom-width: 6px;border-bottom-style: solid;border-color: rgb(89, 89, 89);margin-bottom: -1px;font-size: 20px;color: rgb(89, 89, 89);box-sizing: border-box;"> 为什么需要 API 网关 </section> </section> </section> </section> 为什么需要 API 网关？有如下几点原因： <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>RPC 协议转成 HTTP。由于在内部开发中我们都是以 RPC 协议(thrift or dubbo)去做开发，暴露给内部服务，当外部服务需要使用这个接口的时候往往需要将 RPC 协议转换成 HTTP 协议。</li> <li>请求路由。在我们的系统中由于同一个接口新老两套系统都在使用，我们需要根据请求上下文将请求路由到对应的接口。</li> <li>统一鉴权。因为鉴权操作不涉及到业务逻辑，那么可以在网关层进行处理，不用下层到业务逻辑。</li> <li>统一监控。由于网关是外部服务的入口，所以我们可以在这里监控我们想要的数据，比如入参出参，链路时间。</li> <li>流量控制，熔断降级。对于流量控制，熔断降级非业务逻辑可以统一放到网关层。</li> </ul> 有很多业务都会自己去实现一层网关层，用来接入自己的服务，但是对于整个公司来说这还不够。 <section style="box-sizing: border-box;"> <section class="V5" style="box-sizing: border-box;" powered-by="xiumi.us"> <section style="margin-top: 10px;margin-bottom: 10px;box-sizing: border-box;"> <section style="width: 0.6em;display: inline-block;vertical-align: middle;box-sizing: border-box;"> </section> <section style="display: inline-block;vertical-align: middle;font-size: 18px;padding-left: 5px;color: rgb(89, 89, 89);box-sizing: border-box;"> 统一 API 网关 </section> </section> </section> </section> 统一的 API 网关不仅有 API 网关的所有的特点，还有下面几个好处： <ul class=" list-paddingleft-2" style="list-style-type: disc;margin-left: 8px;margin-right: 8px;"> <li>统一技术组件升级。在公司中如果有某个技术组件需要升级，那么是需要和每个业务线沟通，通常几个月都搞不定。举个例子如果对于入口的安全鉴权有重大安全隐患需要升级，如果速度还是这么慢肯定是不行，那么有了统一的网关升级是很快的。</li> <li>统一服务接入。对于某个服务的接入也比较困难，比如公司已经研发出了比较稳定的服务组件，正在公司大力推广，这个周期肯定也特别漫长，由于有了统一网关，那么只需要统一网关统一接入。</li> <li>节约资源。不同业务不同部门如果按照我们上面的做法应该会都自己搞一个网关层，用来做这个事，可以想象如果一个公司有 100 个这种业务，每个业务配备 4 台机器，那么就需要 400 台机器。并且每个业务的开发 RD 都需要去开发这个网关层，随时去维护，增加人力。如果有了统一网关层，那么也许只需要 50 台机器就可以做这 100 个业务的网关层的事，并且业务 RD 不需要随时关注开发，上线的步骤。</li> </ul> <section style="box-sizing: border-box;"> <section class="V5" style="box-sizing: border-box;" powered-by="xiumi.us"> <section style="border-bottom-width: 1px;border-bottom-style: solid;border-bottom-color: black;margin-top: 0.5em;margin-bottom: 0.5em;line-height: 1.2;box-sizing: border-box;"> <section style="display: inline-block;border-bottom-width: 6px;border-bottom-style: solid;border-color: rgb(89, 89, 89);margin-bottom: -1px;font-size: 20px;color: rgb(89, 89, 89);box-sizing: border-box;"> 统一网关的设计 </section> </section> </section> </section> <section style="box-sizing: border-box;"> <section class="V5" style="box-sizing: border-box;" powered-by="xiumi.us"> <section style="margin-top: 10px;margin-bottom: 10px;box-sizing: border-box;"> <section style="width: 0.6em;display: inline-block;vertical-align: middle;box-sizing: border-box;"> </section> <section style="display: inline-block;vertical-align: middle;font-size: 18px;padding-left: 5px;color: rgb(89, 89, 89);box-sizing: border-box;"> 异步化请求 </section> </section> </section> </section> 对于我们自己实现的网关层，由于只有我们自己使用，对于吞吐量的要求并不高，所以我们一般同步请求调用即可。 对于我们统一的网关层，如何用少量的机器接入更多的服务，这就需要我们的异步，用来提高更多的吞吐量。 对于异步化一般有下面两种策略： <ul class=" list-paddingleft-2" style="list-style-type: disc;margin-left: 8px;margin-right: 8px;"> <li>Tomcat/Jetty+NIO+servlet3。这种策略使用的比较普遍，京东，有赞，Zuul，都选取的是这个策略，这种策略比较适合 HTTP。在 Servlet3 中可以开启异步。</li> <li>Netty+NIO。Netty 为高并发而生，目前唯品会的网关使用这个策略，在唯品会的技术文章中在相同的情况下 Netty 是每秒 30w+ 的吞吐量，Tomcat 是 13w+。可以看出它们是有一定的差距的，但是 Netty 需要自己处理 HTTP 协议，这一块比较麻烦。</li> </ul> 对于网关是 HTTP 请求场景比较多的情况可以采用 Servlet，毕竟可以更加成熟的处理 HTTP 协议。如果更加重视吞吐量那么可以采用 Netty。 <h4 style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 1.75em;">全链路异步</h4> 对于来的请求我们已经使用异步了，为了达到全链路异步我们需要对去的请求也进行异步处理。对于去的请求我们可以利用 RPC 的异步支持进行异步请求。 所以基本可以达到下图： <img class="" data-copyright="0" data-ratio="0.36923076923076925" data-s="300,640" src="/upload/cbc964d964361015223a50ce53ac2c28.png" data-type="png" data-w="1300" style=""> 先在 Web 容器中开启 Servlet 异步，然后进入到网关的业务线程池中进行业务处理，然后进行 RPC 的异步调用并注册需要回调的业务，最后在回调线程池中进行回调处理。 <section style="box-sizing: border-box;"> <section class="V5" style="box-sizing: border-box;" powered-by="xiumi.us"> <section style="margin-top: 10px;margin-bottom: 10px;box-sizing: border-box;"> <section style="width: 0.6em;display: inline-block;vertical-align: middle;box-sizing: border-box;"> </section> <section style="display: inline-block;vertical-align: middle;font-size: 18px;padding-left: 5px;color: rgb(89, 89, 89);box-sizing: border-box;"> 链式处理 </section> </section> </section> </section> 在设计模式中有一个模式叫责任链模式，它的作用是避免请求发送者与接收者耦合在一起，让多个对象都有可能接收请求，将这些对象连接成一条链，并且沿着这条链传递请求，直到有对象处理它为止。 通过这种模式将请求的发送者和请求的处理者解耦了。在我们的各个框架中对此模式都有实现，比如 Servlet 里面的 Filter，SpringMVC 里面的 Interceptor。 在 Netflix Zuul 中也应用了这种模式，如下图所示： <img class="" data-copyright="0" data-ratio="0.75" data-s="300,640" src="/upload/a734ab49c5242094e0c4b9b1f476f754.png" data-type="png" data-w="960" style=""> 这种模式在网关的设计中我们可以借鉴到自己的网关设计： <ul class=" list-paddingleft-2" style="margin-left: 8px;margin-right: 8px;"> <li>preFilters：前置过滤器，用来处理一些公共的业务，比如统一鉴权，统一限流，熔断降级，缓存处理等，并且提供业务方扩展。</li> <li>routingFilters：用来处理一些泛化调用，主要是做协议的转换，请求的路由工作。</li> <li>postFilters：后置过滤器，主要用来做结果的处理，日志打点，记录时间等等。</li> <li>errorFilters：错误过滤器，用来处理调用异常的情况。</li> </ul> 这种设计在有赞的网关也有应用。 <section style="box-sizing: border-box;"> <section class="V5" style="box-sizing: border-box;" powered-by="xiumi.us"> <section style="margin-top: 10px;margin-bottom: 10px;box-sizing: border-box;"> <section style="width: 0.6em;display: inline-block;vertical-align: middle;box-sizing: border-box;"> </section> <section style="display: inline-block;vertical-align: middle;font-size: 18px;padding-left: 5px;color: rgb(89, 89, 89);box-sizing: border-box;"> 业务隔离 </section> </section> </section> </section> 上面在全链路异步的情况下不同业务之间的影响很小，但是如果在提供的自定义 Filter 中进行了某些同步调用，一旦超时频繁那么就会对其他业务产生影响。所以我们需要采用隔离之术，降低业务之间的互相影响。 <h4 style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 1.75em;">信号量隔离</h4> 信号量隔离只是限制了总的并发数，服务还是主线程进行同步调用。这个隔离如果远程调用超时依然会影响主线程，从而会影响其他业务。 因此，如果只是想限制某个服务的总并发调用量或者调用的服务不涉及远程调用的话，可以使用轻量级的信号量来实现。有赞的网关由于没有自定义 Filter，所以选取的是信号量隔离。 <h4 style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 1.75em;">线程池隔离</h4> 最简单的就是不同业务之间通过不同的线程池进行隔离，就算业务接口出现了问题由于线程池已经进行了隔离，那么也不会影响其他业务。 在京东的网关实现之中就是采用的线程池隔离，比较重要的业务比如商品或者订单，都是单独的通过线程池去处理。 但是由于是统一网关平台，如果业务线众多，大家都觉得自己的业务比较重要，则需要单独的线程池隔离。 如果使用的是 Java 语言开发的话，那么在 Java 中线程是比较重的资源，比较受限，如果需要隔离的线程池过多不是很适用。 如果使用一些其他语言比如 Golang 进行开发网关的话，线程是比较轻的资源，所以比较适合使用线程池隔离。 <h4 style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 1.75em;">集群隔离</h4> 如果有某些业务就需要使用隔离但是统一网关又没有线程池隔离，那么应该怎么办呢？ 那么可以使用集群隔离，如果你的某些业务真的很重要那么可以为这一系列业务单独申请一个集群或者多个集群，通过机器之间进行隔离。 <section style="box-sizing: border-box;"> <section class="V5" style="box-sizing: border-box;" powered-by="xiumi.us"> <section style="margin-top: 10px;margin-bottom: 10px;box-sizing: border-box;"> <section style="width: 0.6em;display: inline-block;vertical-align: middle;box-sizing: border-box;"> </section> <section style="display: inline-block;vertical-align: middle;font-size: 18px;padding-left: 5px;color: rgb(89, 89, 89);box-sizing: border-box;"> 请求限流 </section> </section> </section> </section> 流量控制可以采用很多开源的实现，比如阿里最近开源的 Sentinel 和比较成熟的 Hystrix。 一般限流分为集群限流和单机限流： <ul class=" list-paddingleft-2" style="margin-left: 8px;margin-right: 8px;"> <li>集群限流：利用统一存储保存当前流量的情况，一般可以采用 Redis，这个一般会有一些性能损耗。</li> <li>单机限流：限流每台机器我们可以直接利用 Guava 的令牌桶去做，由于没有远程调用性能消耗较小。</li> </ul> <h2 style="line-height: normal;"> </h2> <section style="box-sizing: border-box;"> <section class="V5" style="box-sizing: border-box;" powered-by="xiumi.us"> <section style="margin-top: 10px;margin-bottom: 10px;box-sizing: border-box;"> <section style="width: 0.6em;display: inline-block;vertical-align: middle;box-sizing: border-box;"> </section> <section style="display: inline-block;vertical-align: middle;font-size: 18px;padding-left: 5px;color: rgb(89, 89, 89);box-sizing: border-box;"> 熔断降级 </section> </section> </section> </section> 这一块也可以参照开源的实现 Sentinel 和 Hystrix，这里不是重点就不多提了。 <section style="box-sizing: border-box;"> <section class="V5" style="box-sizing: border-box;" powered-by="xiumi.us"> <section style="margin-top: 10px;margin-bottom: 10px;box-sizing: border-box;"> <section style="width: 0.6em;display: inline-block;vertical-align: middle;box-sizing: border-box;"> </section> <section style="display: inline-block;vertical-align: middle;font-size: 18px;padding-left: 5px;color: rgb(89, 89, 89);box-sizing: border-box;"> 泛化调用 </section> </section> </section> </section> 泛化调用指的是一些通信协议的转换，比如将 HTTP 转换成 Thrift。在一些开源的网关中比如 Zuul 是没有实现的，因为各个公司的内部服务通信协议都不同。 比如在唯品会中支持 HTTP1、HTTP2、以及二进制的协议，然后转化成内部的协议。 淘宝的支持 HTTPS、HTTP1、HTTP2 这些协议都可以转换成 HTTP、HSF、Dubbo 等协议。 如何去实现泛化调用呢？由于协议很难自动转换，那么其实每个协议对应的接口需要提供一种映射。 简单来说就是把两个协议都能转换成共同语言，从而互相转换，如下图： <img class="" data-copyright="0" data-ratio="0.7197309417040358" data-s="300,640" src="/upload/8da8d8621abda343c432780a190c2138.png" data-type="png" data-w="1338" style=""> 一般来说共同语言有三种方式指定： json：json 数据格式比较简单,解析速度快，较轻量级。在 Dubbo 的生态中有一个 HTTP 转 Dubbo 的项目是用 JsonRpc 做的，将 HTTP 转化成 JsonRpc 再转化成 Dubbo。 比如可以将一个 www.baidu.com/id = 1 GET 映射为 json： <img class="" data-copyright="0" data-ratio="0.19175911251980982" data-s="300,640" src="/upload/857e70ac7b6a4a329b34eb1a8130bd66.png" data-type="png" data-w="631" style=""> xml：xml 数据比较重，解析比较困难，这里不过多讨论。 自定义描述语言：一般来说这个成本比较高，需要自己定义语言来进行描述并进行解析，但是其扩展性，自定义个性化性都是最高。例：Spring 自定义了一套自己的 SPEL 表达式语言。 对于泛化调用如果要自己设计的话 json 基本可以满足，如果对于个性化的需要特别多的话倒是可以自己定义一套语言。 <section style="box-sizing: border-box;"> <section class="V5" style="box-sizing: border-box;" powered-by="xiumi.us"> <section style="margin-top: 10px;margin-bottom: 10px;box-sizing: border-box;"> <section style="width: 0.6em;display: inline-block;vertical-align: middle;box-sizing: border-box;"> </section> <section style="display: inline-block;vertical-align: middle;font-size: 18px;padding-left: 5px;color: rgb(89, 89, 89);box-sizing: border-box;"> 管理平台 </section> </section> </section> </section> 上面介绍的都是如何实现一个网关的技术关键。这里需要介绍网关的一个业务关键。 有了网关之后，需要一个管理平台去对我们上面所描述的技术关键进行配置，包括但不限于下面这些配置： <ul class=" list-paddingleft-2" style="margin-left: 8px;margin-right: 8px;"> <li>限流</li> <li>熔断</li> <li>缓存</li> <li>日志</li> <li>自定义 Filter</li> <li>泛化调用</li> </ul> <h3 style="line-height: normal;"> </h3> <section style="box-sizing: border-box;"> <section class="V5" style="box-sizing: border-box;" powered-by="xiumi.us"> <section style="border-bottom-width: 1px;border-bottom-style: solid;border-bottom-color: black;margin-top: 0.5em;margin-bottom: 0.5em;line-height: 1.2;box-sizing: border-box;"> <section style="display: inline-block;border-bottom-width: 6px;border-bottom-style: solid;border-color: rgb(89, 89, 89);margin-bottom: -1px;font-size: 20px;color: rgb(89, 89, 89);box-sizing: border-box;"> 总结 </section> </section> </section> </section> 最后一个合理的标准网关应该按照如下去实现： <img class="" data-copyright="0" data-ratio="0.5002483854942872" data-s="300,640" src="/upload/8cf3b24eb70a56a7c1dafa43e4db7dac.png" data-type="png" data-w="2013" style=""> <img class="" data-copyright="0" data-ratio="0.5935550935550935" data-s="300,640" src="/upload/222578fda74a57ddc25ac4085cefe7dd.png" data-type="png" data-w="962" style=""> <h3 style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 1.75em;">参考资料：</h3> <ul class=" list-paddingleft-2" style="margin-left: 8px;margin-right: 8px;"> <li>京东：http://www.yunweipai.com/archives/23653.html</li> <li>有赞网关：https://tech.youzan.com/api-gateway-in-practice/</li> <li>唯品会：https://mp.weixin.qq.com/s/gREMe-G7nqNJJLzbZ3ed3A</li> <li>Zuul：http://www.scienjus.com/api-gateway-and-netflix-zuul/</li> </ul> 作者：李钊 编辑：陶家龙、孙淑娟 来源：转载自公众号咖啡拿铁（ID：close_3092860495） <img class="" data-copyright="0" data-ratio="0.3939393939393939" src="/upload/70dc65115d35e7d4c78cd84ded7bacac.gif" data-type="gif" data-w="660" style=""> <mp-miniprogram class="miniprogram_element" data-miniprogram-appid="wxc58e6e4759a08388" data-miniprogram-path="pages/index" data-miniprogram-nickname="51CTO播客" data-miniprogram-avatar="http://mmbiz.qpic.cn/mmbiz_png/M3DmwKCWDnP2VudjoA84HWJSg9Ige9Gfy7AKjdzNgmUkbYqIEIagHNoAGmSBibBxEMRNEjOJJArsoFchiakzmtxg/640?wx_fmt=png&wxfrom=200" data-miniprogram-title="51CTO播客，随时随地，碎片化学习" data-miniprogram-imageurl="http://mmbiz.qpic.cn/mmbiz_jpg/MOwlO0INfQr9Q3mtOgKB1pDhwGk6wSq1rzef4CwViaBKDhCHlrlWxqm6gyJB64j3j1STM8vTicHzuQUzoDKGgTCg/0?wx_fmt=jpeg"></mp-miniprogram> <section style="box-sizing: border-box;"> <section class="V5" style="box-sizing: border-box;" powered-by="xiumi.us"> <section style="margin-top: 0.5em;margin-bottom: 0.5em;box-sizing: border-box;"> <section style="font-size: 15px;border-style: solid;border-width: 0px 0px 1px;color: rgb(89, 89, 89);border-bottom-color: rgba(215, 215, 215, 0.960784);box-sizing: border-box;"> 精彩文章推荐： </section> </section> </section> </section> <a href="http://mp.weixin.qq.com/s?__biz=MjM5ODI5Njc2MA==&mid=2655811899&idx=1&sn=fbeb7d99c3dd5cbb3c51a1163b0a6f10&chksm=bd7434ec8a03bdfadf62cde157289ed1e7154734ed6f7e45c89f814fbcc7a659da536dac1096&scene=21#wechat_redirect" target="_blank" style="font-size: 14px;color: rgb(89, 89, 89);letter-spacing: 1px;text-decoration: none;">京东10亿级调用量背后的高可用网关系统架构实践！</a> <a href="http://mp.weixin.qq.com/s?__biz=MjM5ODI5Njc2MA==&mid=2655813593&idx=1&sn=579c6bed2f6944485a91463fb2b8abee&chksm=bd74320e8a03bb1883a24fcb8eeecda0e718c299fe225e740d2f632c989ffa5f58181d8f44e2&scene=21#wechat_redirect" target="_blank" style="font-size: 14px;color: rgb(89, 89, 89);letter-spacing: 1px;text-decoration: none;">饿了么高稳定、高性能、高可用、高容错API架构实践！</a> <a href="http://mp.weixin.qq.com/s?__biz=MjM5ODI5Njc2MA==&mid=2655820821&idx=1&sn=45a9339150f0c815423845cf0fc5c4a7&chksm=bd74d1c28a0358d47933d1d74c007c31053e1348afd6d167d4ac4e2d7b24c15a24baa86b034c&scene=21#wechat_redirect" target="_blank" style="font-size: 14px;color: rgb(89, 89, 89);letter-spacing: 1px;text-decoration: none;">终于有人把“TCC分布式事务”实现原理讲明白了！</a>

这 8 条职场「明规则」，大家藏在心里不说，但你必须知道

作者：微信小助手

<section class="xmteditor" style="display:none;" data-tools="新媒体管家" data-label="powered by xmt.cn"></section> <section data-role="outer" label="Powered by 135editor.com" style="font-size: 16px;font-family: 微软雅黑;"> <section data-role="outer" label="Powered by 135editor.com"> <section style="background-repeat: repeat;background-position: center center;padding: 10px;background-size: auto;background-image: url("https://mmbiz.qpic.cn/mmbiz_png/hFB4FUPIIlJF1ok7Sx3p3L9Ax808rCIyYEOLHglJiayLG1b8P4JJSziarETsYBImZVFibvZiciavOfQvWx2847bm71g/640?wx_fmt=png");box-sizing: border-box;"> <section> <img class="" data-copyright="0" data-ratio="0.2671875" src="/upload/c164f8ab6c1beb7073d641edf10e8cfb.gif" data-type="gif" data-w="640" style=""> <img class="" data-copyright="0" data-ratio="0.66640625" data-s="300,640" src="/upload/418286dfa2ed7edc43e421444f26a696.jpg" data-type="jpeg" data-w="1280" style=""> 题图：《实习生》 有哪些大家不说，但需要知道的社会规则？ <section class="_135editor" data-tools="135编辑器" data-id="1" data-color="rgb(15, 136, 235)" style="border-width: 0px;border-style: none;border-color: initial;box-sizing: border-box;"> <section class="135brush" style="border-left: 5px solid #0f88eb;font-weight: bold;line-height: 32px;padding: 5px 10px;margin-top: 10px;margin-bottom: 10px;box-sizing: border-box;"> 知友：Sean Ye（17000+ 赞同，人力资源话题优秀回答者，知乎编辑推荐） </section> </section> 整理几条职场明规则，这几条不但很少人提，更多时候有人希望用所谓「职场潜规则」来反向误导我们，希望大家提高警惕： <section class="_135editor" data-tools="135编辑器" data-id="93962" style="border-width: 0px;border-style: none;border-color: initial;box-sizing: border-box;"> <section style="text-align: center;padding-top: 10px;padding-bottom: 10px;box-sizing: border-box;"> <section style="display:flex;justify-content: center;align-items: center;"> <section style="height: 0px;width: 0px;border-left: 10px solid #0f88eb;border-bottom: 18px solid transparent;margin-bottom: -30px;margin-right: -10px;border-top-color: #0f88eb;border-right-color: #0f88eb;transform: rotate(25deg);-webkit-transform: rotate(25deg);-moz-transform: rotate(25deg);-o-transform: rotate(25deg);"></section> <section style="display: inline-block;background: rgb(15, 136, 235);padding-top: 4px;padding-bottom: 4px;color: rgb(255, 255, 255);box-sizing: border-box;"> <section style="font-size: 18px;padding-right: 12px;padding-left: 12px;box-sizing: border-box;" class="autonum" data-original-title="" title=""> 1 </section> </section> <section style="display: inline-block;margin-left: 4px;padding-top: 2px;padding-bottom: 2px;border-bottom: 3px solid rgb(15, 136, 235);border-top-color: rgb(15, 136, 235);border-left-color: rgb(15, 136, 235);border-right-color: rgb(15, 136, 235);box-sizing: border-box;"> <section class="135brush" data-brushtype="text" style="color: rgb(51, 51, 51);padding-right: 4px;padding-left: 4px;font-weight: bold;letter-spacing: 1px;box-sizing: border-box;"> 毕业能去大公司的，别去小公司 </section> </section> </section> </section> </section> （这条肯定被喷，但还是得说） 很多小公司招人都会说：与其去大公司做螺丝钉，只精通一块，不如到我们小公司，学得更多，成长更快。 我呸。 成长？你那是做杂务做得多，能学到啥精华。相反在成体系的大公司，专精一个领域之后，你完全有轮岗的机会，去其他领域继续专精。大公司预算多平台大，经历的事情天然就比小公司更多，小公司预算有限能做的也就那几样，放在大公司面前根本没法比。 我一个 HR 朋友，从 GE 跳槽到了小公司，说自己很心虚。我问原因，她说： <blockquote> 我原来在 GE 管上万人的薪资福利，现在来了小公司薪水翻上去了，但管的人就两三百。同事说忙死了，我天天下午 3 点就没事做了…… </blockquote> 职业发展？肯定是大公司好啊，你看那些招人时口口声声我这里学得多的小公司，一到融资就会喊我这里有 BAT 背景员工，为什么？大公司的光环背书啊。 钱？一般来说大公司更多，小公司画的饼就别想了，能分应届毕业生多少期权？行权价多优惠？小公司就算能多给一两千块，那咱也得看未来的钱不是吗？ 我在<a class="weapp_text_link" style="font-size:15px;" data-miniprogram-appid="wxeb39b10e39bf6b54" data-miniprogram-path="zhihu/answer?id=147717382" data-miniprogram-nickname="知乎热榜" href="">你有什么道理后悔没有早点知道？</a>分享过自己的教训，和《How Google Works》里谷歌创始人的建议： <blockquote> 在你职业生涯初期，能够获得的股权激励很有限，因此在正确的行业磨练技能要比在某家公司赌上自己的命运更加合算。在此之后，随着经验（以及年龄）的积累，挑选合适的企业变得越发重要。因为那时，股票在你的薪酬构成中所占比例大幅提升，因此你也应该相应的将对公司的挑选放在优先位置。 </blockquote> <section class="_135editor" data-tools="135编辑器" data-id="93962" style="border-width: 0px;border-style: none;border-color: initial;box-sizing: border-box;"> <section style="text-align: center;padding-top: 10px;padding-bottom: 10px;box-sizing: border-box;"> <section style="display:flex;justify-content: center;align-items: center;"> <section style="height: 0px;width: 0px;border-left: 10px solid #0f88eb;border-bottom: 18px solid transparent;margin-bottom: -30px;margin-right: -10px;border-top-color: #0f88eb;border-right-color: #0f88eb;transform: rotate(25deg);-webkit-transform: rotate(25deg);-moz-transform: rotate(25deg);-o-transform: rotate(25deg);"></section> <section style="display: inline-block;background: rgb(15, 136, 235);padding-top: 4px;padding-bottom: 4px;color: rgb(255, 255, 255);box-sizing: border-box;"> <section style="font-size: 18px;padding-right: 12px;padding-left: 12px;box-sizing: border-box;" class="autonum" data-original-title="" title="" data-num="2"> 2 </section> </section> <section style="display: inline-block;margin-left: 4px;padding-top: 2px;padding-bottom: 2px;border-bottom: 3px solid rgb(15, 136, 235);border-top-color: rgb(15, 136, 235);border-left-color: rgb(15, 136, 235);border-right-color: rgb(15, 136, 235);box-sizing: border-box;"> <section class="135brush" data-brushtype="text" style="color: rgb(51, 51, 51);padding-right: 4px;padding-left: 4px;font-weight: bold;letter-spacing: 1px;box-sizing: border-box;"> 为自己的前途熬夜，不为公司熬夜 </section> </section> </section> </section> </section> 年轻人说一点不加班，真的不太容易，我如今 35 岁朝上了，加班还是逃不掉的。 只要身体还算好，偶尔加几次班是可以接受的。 但我们需要弄清楚，我们的加班是不是有价值。方法很简单，问自己三个问题： <ul class=" list-paddingleft-2" style=""> <li>通过加班，我的职场技能 / 专业知识能成长吗？</li> </ul> 如果这个项目有我一直很想学习的领域，或者能显著提升自己的能力，未来还能给自己的职业发展背书，那么何乐而不为呢？ 当初张小龙的团队是在腾讯众多团队的竞争中用加班抢出微信这个产品，这个团队里的成员得到了实打实的实惠，就算是跳槽也有微信背书，这班加得值得。 <ul class=" list-paddingleft-2" style=""> <li>通过加班，能赢得更多的机会吗？</li> </ul> 有时候我们加班做的是一些杂务，但是我们知道我们的领导是靠谱的，这次我帮了领导，下回有好的培训机会，或者是轮岗机会，领导会优先想到我，考虑我，那这样的加班为什么不去呢？ <ul class=" list-paddingleft-2" style=""> <li>加班是常态性的吗？加了班能轮休吗？</li> </ul> 职场和生活一样，我帮你一把你帮我一把，如果老板急需的时候我加了班，那么我家里有事需要请假的时候，领导会毫不犹豫的批假吗？  <a class="weapp_text_link" style="font-size:15px;" data-miniprogram-appid="wxeb39b10e39bf6b54" data-miniprogram-path="zhihu/answer?id=125929932" data-miniprogram-nickname="知乎热榜" href="">员工不愿意加班，老板该怎么办？</a>里我提过自己的观点：所谓弹性工作制，是种互利模式。你希望员工可以为公司救急，企业也得给员工提供便利吧。 996 常态化加班的公司，最为可怕：它以制度剥夺了员工的私人时间和个人成长的时间，而并不觉得有任何问题，这种加班对员工的伤害最重。 <section class="_135editor" data-tools="135编辑器" data-id="93962" style="border-width: 0px;border-style: none;border-color: initial;box-sizing: border-box;"> <section style="text-align: center;padding-top: 10px;padding-bottom: 10px;box-sizing: border-box;"> <section style="display:flex;justify-content: center;align-items: center;"> <section style="height: 0px;width: 0px;border-left: 10px solid #0f88eb;border-bottom: 18px solid transparent;margin-bottom: -30px;margin-right: -10px;border-top-color: #0f88eb;border-right-color: #0f88eb;transform: rotate(25deg);-webkit-transform: rotate(25deg);-moz-transform: rotate(25deg);-o-transform: rotate(25deg);"></section> <section style="display: inline-block;background: rgb(15, 136, 235);padding-top: 4px;padding-bottom: 4px;color: rgb(255, 255, 255);box-sizing: border-box;"> <section style="font-size: 18px;padding-right: 12px;padding-left: 12px;box-sizing: border-box;" class="autonum" data-original-title="" title="" data-num="3"> 3 </section> </section> <section style="display: inline-block;margin-left: 4px;padding-top: 2px;padding-bottom: 2px;border-bottom: 3px solid rgb(15, 136, 235);border-top-color: rgb(15, 136, 235);border-left-color: rgb(15, 136, 235);border-right-color: rgb(15, 136, 235);box-sizing: border-box;"> 即使你不想跳槽 也要定期看看工作机会 </section> </section> </section> </section> 哎，这贴写得真是得罪开公司的老总。 定期看工作机的核心好处是：能跳出自己的圈子，看整个市场在做什么——保持市场敏感度。 （1）保持市场前沿科技和趋势的嗅觉： 在公司里你看到的永远只是周边一小部分事情，你的项目越多事情越忙，就更腾不出手去看整个市场，但职场发展，无论走专家路线还是管理路线，你都要了解市场。否则很容易被市场淘汰。 （2）更清晰认识自己的不足和优势： 出去面试，了解用人公司为什么想要你，这是你的核心优势；了解用人公司认为你还有哪些不足。 （3）了解自己的价格 <img class="" data-ratio="0.66" src="/upload/39de8220af3f1a961870b0e8772fc5f8.jpg" data-type="jpeg" data-w="600"> 2016 年年终的调薪幅度，市场中位值是 6%，而且这个数据已经连续五年下滑。正常来说，我们如果五年没跳槽，内部也没有特殊调薪的话，我们的薪水老早被市场水平甩出 8 条长安街了。 美世有薪酬调研报告，能精准到每个岗位每个城市不同级别员工的薪水的市场中位值。最便宜的报告也得 5-8 万，咱求职者又买不起，最简单的方法就是通过面试。 当然，除此以外，还可以多交一些猎头朋友，详细的可以看这一篇：<a class="weapp_text_link" style="font-size:15px;" data-miniprogram-appid="wxeb39b10e39bf6b54" data-miniprogram-path="zhihu/article?id=21558028" data-miniprogram-nickname="知乎热榜" href="">工作五年，给名企投简历却石沉大海，怎么办？</a>其中将不同时期不同类型的猎头做了分类，对猎头好一点，交几个靠谱的猎头朋友，是职场人必须要做的，就算你不跳槽。 （4）提升面试技能和沟通技巧 这个不多说了，面试技巧也要靠实操训练嘛。精细的面试准备，不但能让我们更好的应对面试，也能更清楚的了解（目标）行业内企业的现状。 <section class="_135editor" data-tools="135编辑器" data-id="93962" style="border-width: 0px;border-style: none;border-color: initial;box-sizing: border-box;"> <section style="text-align: center;padding-top: 10px;padding-bottom: 10px;box-sizing: border-box;"> <section style="display:flex;justify-content: center;align-items: center;"> <section style="height: 0px;width: 0px;border-left: 10px solid #0f88eb;border-bottom: 18px solid transparent;margin-bottom: -30px;margin-right: -10px;border-top-color: #0f88eb;border-right-color: #0f88eb;transform: rotate(25deg);-webkit-transform: rotate(25deg);-moz-transform: rotate(25deg);-o-transform: rotate(25deg);"></section> <section style="display: inline-block;background: rgb(15, 136, 235);padding-top: 4px;padding-bottom: 4px;color: rgb(255, 255, 255);box-sizing: border-box;"> <section style="font-size: 18px;padding-right: 12px;padding-left: 12px;box-sizing: border-box;" class="autonum" data-original-title="" title="" data-num="4"> 4 </section> </section> <section style="display: inline-block;margin-left: 4px;padding-top: 2px;padding-bottom: 2px;border-bottom: 3px solid rgb(15, 136, 235);border-top-color: rgb(15, 136, 235);border-left-color: rgb(15, 136, 235);border-right-color: rgb(15, 136, 235);box-sizing: border-box;"> <section class="135brush" data-brushtype="text" style="color: rgb(51, 51, 51);padding-right: 4px;padding-left: 4px;font-weight: bold;letter-spacing: 1px;box-sizing: border-box;"> 不要一味看高薪跳槽 </section> </section> </section> </section> </section> 这话得罪的是职场人，不是说好的不要搞毒鸡汤的吗？你怎么反而站在老板那边忽悠咱不要看薪水？ 知乎有个问题：<a class="weapp_text_link" style="font-size:15px;" data-miniprogram-appid="wxeb39b10e39bf6b54" data-miniprogram-path="zhihu/answer?id=122271142" data-miniprogram-nickname="知乎热榜" href="">提离职被老板加薪挽留，该怎么办？</a> 我一直认为这是个伪命题，对于职场人来说，跳槽首先看的是职业发展，说俗一点就是未来的钱。 刚毕业的同学，几个公司比价，真能高个 2000-3000 的薪水，已经是雇主能给出的最优厚价码了；如果能选择一条正确的发展路径，到了 35-40 岁时，薪水差距能达到 50 万以上。 我有和我同岁的大学同学已经年薪百万了，我这厢还只是人一半……让我哭一会儿去。 如果在一家企业，我们确定我们会有好的发展，那么就应该去，无论给的钱是不是多，即使不多，未来我们能把这钱捞回来。 如果要细分，那么未来的钱，还要看行业的未来和具体岗位的细分，请各位移步：<a class="weapp_text_link" style="font-size:15px;" data-miniprogram-appid="wxeb39b10e39bf6b54" data-miniprogram-path="zhihu/answer?id=165065421" data-miniprogram-nickname="知乎热榜" href="">年轻时一味追求高工资会给自己带来什么？这样真的有利吗？</a> <section class="_135editor" data-tools="135编辑器" data-id="93962" style="border-width: 0px;border-style: none;border-color: initial;box-sizing: border-box;"> <section style="text-align: center;padding-top: 10px;padding-bottom: 10px;box-sizing: border-box;"> <section style="display:flex;justify-content: center;align-items: center;"> <section style="height: 0px;width: 0px;border-left: 10px solid #0f88eb;border-bottom: 18px solid transparent;margin-bottom: -30px;margin-right: -10px;border-top-color: #0f88eb;border-right-color: #0f88eb;transform: rotate(25deg);-webkit-transform: rotate(25deg);-moz-transform: rotate(25deg);-o-transform: rotate(25deg);"></section> <section style="display: inline-block;background: rgb(15, 136, 235);padding-top: 4px;padding-bottom: 4px;color: rgb(255, 255, 255);box-sizing: border-box;"> <section style="font-size: 18px;padding-right: 12px;padding-left: 12px;box-sizing: border-box;" class="autonum" data-original-title="" title="" data-num="5"> 5 </section> </section> <section style="display: inline-block;margin-left: 4px;padding-top: 2px;padding-bottom: 2px;border-bottom: 3px solid rgb(15, 136, 235);border-top-color: rgb(15, 136, 235);border-left-color: rgb(15, 136, 235);border-right-color: rgb(15, 136, 235);box-sizing: border-box;"> <section class="135brush" data-brushtype="text" style="color: rgb(51, 51, 51);padding-right: 4px;padding-left: 4px;font-weight: bold;letter-spacing: 1px;box-sizing: border-box;"> 别太早想着斜杠青年 </section> </section> </section> </section> </section> 南都周刊今年找我约稿写「斜杠青年」，而我的态度是年轻人的目标应该是成为斜杠中年。 《双重职业》这本书的作者麦瑞克·阿尔伯最初用的词是 Slash——斜杠可以，青年完全是译者的发挥啊。 去互联网上搜索一下知名的职场「斜杠青年」，但凡做出些成绩的大多是 30+ 的中年人： 企业家／登山爱好者／滑翔伞玩家的王石，美赞臣高管同时写出 10 万 + 微信文章的薇安； PPT 专家／大学生导师／社团运营专家的秋叶大叔，创业者 / 生涯规划师 / 畅销书作者的古典； 就算是天时地利人和一帆风顺的李叫兽（自媒体／营销咨询顾问／百度副总裁）也要将近 30 岁了。 哪有刚毕业就杠上开花的？ 先把专业做精细了。 所谓斜杠，应当是百尺竿头再进一步的飞跃，而非焦头烂额慌乱之下的逃窜。 有些自诩为「斜杠青年」的小伙伴们，可能从头到尾就没有读过麦瑞克·阿尔伯的《双重职业》这本书，仅仅凭听到的道听途说和自己的猜测，树立了一个自己眼里所谓的「斜杠青年」。 作者表示这个锅她不背。麦瑞克对于想做斜杠青年的小伙伴们提出过忠告： <blockquote> 你可以斜杠，但别一拥而上。不要指望同时以三个身份开展三个职业。大多数斜杠，需要经过时间的洗礼和岁月的磨砺，从基础做起逐渐成就卓越。只有在坚实的基础上，才能进一步添砖加瓦，斜出特色，杠上开花。 </blockquote> <section class="_135editor" data-tools="135编辑器" data-id="93962" style="border-width: 0px;border-style: none;border-color: initial;box-sizing: border-box;"> <section style="text-align: center;padding-top: 10px;padding-bottom: 10px;box-sizing: border-box;"> <section style="display:flex;justify-content: center;align-items: center;"> <section style="height: 0px;width: 0px;border-left: 10px solid #0f88eb;border-bottom: 18px solid transparent;margin-bottom: -30px;margin-right: -10px;border-top-color: #0f88eb;border-right-color: #0f88eb;transform: rotate(25deg);-webkit-transform: rotate(25deg);-moz-transform: rotate(25deg);-o-transform: rotate(25deg);"></section> <section style="display: inline-block;background: rgb(15, 136, 235);padding-top: 4px;padding-bottom: 4px;color: rgb(255, 255, 255);box-sizing: border-box;"> <section style="font-size: 18px;padding-right: 12px;padding-left: 12px;box-sizing: border-box;" class="autonum" data-original-title="" title="" data-num="6"> 6 </section> </section> <section style="display: inline-block;margin-left: 4px;padding-top: 2px;padding-bottom: 2px;border-bottom: 3px solid rgb(15, 136, 235);border-top-color: rgb(15, 136, 235);border-left-color: rgb(15, 136, 235);border-right-color: rgb(15, 136, 235);box-sizing: border-box;"> <section class="135brush" data-brushtype="text" style="color: rgb(51, 51, 51);padding-right: 4px;padding-left: 4px;font-weight: bold;letter-spacing: 1px;box-sizing: border-box;"> 打磨自己的沟通技能 </section> </section> </section> </section> </section> 我打过交道的不少年轻小伙伴都认为：善于沟通 = 性格外向，能聊天能侃大山。认为自己很能聊的小伙伴们当然不吝惜将出色的沟通能力放在自己的简历上就来投递咨询公司的岗位了。 沟通能力并不仅仅说你口吐莲花，拽上客户吧啦吧啦侃上小半天，唬得客户一愣一愣滴。 在我看来，沟通能力首先在于听，听懂客户的需求，更能听懂弦外之音——客户真正想要的是什么。 我参加过一个培训，隐约记得考官出过一题：如果客户做出错误决策时，应该如何说服他？ 有人说讲述过去的成功案例；有人说用数据分析的结果说服客户；而正确答案是继续听，了解客户为什么会这么说，而非急于说服客户。 提问也是重要的能力：客户说准备来年上一套弹性福利体系，身为咨询顾问可不能点头回家做方案去了。为什么客户会有这种想法？是全球总部的要求？还是员工调研的反馈？抑或是竞争对手上了这样的福利？ 出色的顾问能够提出有效的问题（ask effective question 是顾问培训中的必修课），迅速了解客户决策背后的原因。只有了解了客户需求背后的动因才能提出靠谱的解决方案。 刚刚进入职场的小伙伴们，很容易想当然，又怕问多了露怯（我当年也这样），于是乎，干活就靠猜：领导应该是这个意思 / 客户估计要的是那个东西。闷头苦干，然后发现完全不是对方要的东西，遇上脾气暴的主，还会发火训自己。 小伙伴不免怀疑人生，我这么努力，为什么没人看到？ 我教各位从一个小技巧入手，每次别人在说的时候，立即拿笔记下来；别人说完，你确认一遍：「领导您希望我们做的是 ABC 三点，对不对？」，等到领导 / 客户确认后，再接着邮件补刀：我们刚刚开会达成三点内容，分别是 ABC。接下来，保持定期更新：A 完成了 B 还在做 C 还没开始启动。让对方心里有底。 <section class="_135editor" data-tools="135编辑器" data-id="93962" style="border-width: 0px;border-style: none;border-color: initial;box-sizing: border-box;"> <section style="text-align: center;padding-top: 10px;padding-bottom: 10px;box-sizing: border-box;"> <section style="display:flex;justify-content: center;align-items: center;"> <section style="height: 0px;width: 0px;border-left: 10px solid #0f88eb;border-bottom: 18px solid transparent;margin-bottom: -30px;margin-right: -10px;border-top-color: #0f88eb;border-right-color: #0f88eb;transform: rotate(25deg);-webkit-transform: rotate(25deg);-moz-transform: rotate(25deg);-o-transform: rotate(25deg);"></section> <section style="display: inline-block;background: rgb(15, 136, 235);padding-top: 4px;padding-bottom: 4px;color: rgb(255, 255, 255);box-sizing: border-box;"> <section style="font-size: 18px;padding-right: 12px;padding-left: 12px;box-sizing: border-box;" class="autonum" data-original-title="" title="" data-num="7"> 7 </section> </section> <section style="display: inline-block;margin-left: 4px;padding-top: 2px;padding-bottom: 2px;border-bottom: 3px solid rgb(15, 136, 235);border-top-color: rgb(15, 136, 235);border-left-color: rgb(15, 136, 235);border-right-color: rgb(15, 136, 235);box-sizing: border-box;"> <section class="135brush" data-brushtype="text" style="color: rgb(51, 51, 51);padding-right: 4px;padding-left: 4px;font-weight: bold;letter-spacing: 1px;box-sizing: border-box;"> 不要盲目崇拜别人开的挂 </section> </section> </section> </section> </section> 之前有一阵子开始吹开挂的人生，知乎有一个问题：<a class="weapp_text_link" style="font-size:15px;" data-miniprogram-appid="wxeb39b10e39bf6b54" data-miniprogram-path="zhihu/question?id=37106162" data-miniprogram-nickname="知乎热榜" href="">为什么有人的人生跟开了挂一样？</a> 的确，这个世界上有不少开挂的主，但和我们有半毛钱关系吗？ 那些开了挂的人，不会告诉你为什么她开挂背后的各种因素，甚至会故意隐藏部分关键信息；更不愿意让吃瓜群众知道，即使再怎么努力，也很难复制他的开挂人生。更可怕的是，单纯迷恋别人的开挂，很可能被人收智商税。 举个例子： <blockquote> 罗振宇在多个场合说明拒绝被存量绑架的观点时，最常举的例子是，2013 年，自己卖掉了房子和车。 但在今年年初，罗振宇在一场演讲中又说，当时自己确实卖掉了房子，「但后半句我没有说，我到香港买了腾讯的股票，实际上，比北京房价涨得好，然后，在这一轮房价上涨之前，我又把北京的房子买回来了。」 由此得出结论：「对创业者来说，最重要一条：甭管听谁忽悠你的，责任你自己负，因为，别人不会把他选择的所有维度参数都告诉你。」 提及此事，罗振宇满脸的「我就喜欢你看不惯我又干不掉我的样子」：「我当时一直在说（买股票），只不过没有公开说而已……我就算没有这些，我先卖了，然后我改主意了，买了，不行吗，这不是公民的权利吗？」 </blockquote> 还有那位知乎上被热议的 Molly 妹子，一年 300 多天在旅游，成绩从来不耽误。都因为人家一边旅游一边学习，不用睡觉啊，你服不服？ 你能不睡觉吗？我反正不行，我不睡觉就是一坨行走的五花肉，毫无生气可言。 我建议各位刚进入社会的小伙伴们：不要太花精力迷恋别人怎么开的挂，你学不到什么有价值的东西。不如多看失败者的经历，从中吸取教训。 <section class="_135editor" data-tools="135编辑器" data-id="93962" style="border-width: 0px;border-style: none;border-color: initial;box-sizing: border-box;"> <section style="text-align: center;padding-top: 10px;padding-bottom: 10px;box-sizing: border-box;"> <section style="display:flex;justify-content: center;align-items: center;"> <section style="height: 0px;width: 0px;border-left: 10px solid #0f88eb;border-bottom: 18px solid transparent;margin-bottom: -30px;margin-right: -10px;border-top-color: #0f88eb;border-right-color: #0f88eb;transform: rotate(25deg);-webkit-transform: rotate(25deg);-moz-transform: rotate(25deg);-o-transform: rotate(25deg);"></section> <section style="display: inline-block;background: rgb(15, 136, 235);padding-top: 4px;padding-bottom: 4px;color: rgb(255, 255, 255);box-sizing: border-box;"> <section style="font-size: 18px;padding-right: 12px;padding-left: 12px;box-sizing: border-box;" class="autonum" data-original-title="" title="" data-num="8"> 8 </section> </section> <section style="display: inline-block;margin-left: 4px;padding-top: 2px;padding-bottom: 2px;border-bottom: 3px solid rgb(15, 136, 235);border-top-color: rgb(15, 136, 235);border-left-color: rgb(15, 136, 235);border-right-color: rgb(15, 136, 235);box-sizing: border-box;"> <section class="135brush" data-brushtype="text" style="color: rgb(51, 51, 51);padding-right: 4px;padding-left: 4px;font-weight: bold;letter-spacing: 1px;box-sizing: border-box;"> 职场上不要全靠自己摸索，要找师傅 </section> </section> </section> </section> </section> 职场上很流行一句毒鸡汤，在问题：<a class="weapp_text_link" style="font-size:15px;" data-miniprogram-appid="wxeb39b10e39bf6b54" data-miniprogram-path="zhihu/answer?id=134724986" data-miniprogram-nickname="知乎热榜" href="">有哪些典型的「学生思维」？</a>问题里我也亲眼目睹过： <blockquote> 学生时代有老师，到职场上就要靠自己，别指望有人教你。 </blockquote> 咪蒙在《职场不相信眼泪，要哭回家哭》里也说过类似的话：没有任何人有义务来指导你。 胡说八道。职场上同样需要老师，需要有人教我们，公司有义务指导我们。 没有老师，我们也许也能摸索出成功的路，但那必然更加艰辛。实际上职场导师，不但对新人有价值，对公司的发展也很有价值：新人迅速融入，企业当然受益。 企业也没有意识到培训新人，让新人迅速上手的重要性，而有些老员工担心新人抢了饭碗，故意不教新人，反而编出毒鸡汤：职场都别指望有人教你。 对于这种人和这种企业，职场新人能躲就躲——这是不欢迎新人的文化。你在这里即使能通过百倍努力获得成功，但这种程度的努力可能已经让你在一个友好环境下，取得 3-5 倍的成就了。 新人进入职场后，要以谦虚的态度抓紧时间找自己的导师，如果找到，别人给了你帮助和提点，记在心里。未来有机会，记得感恩。 职场在不断发展，公司和员工的关系也在调整，多年来坚持要求员工着正装上班的 IBM 如今也主动建议员工日常只需休闲装办公。更不要说那些为老板挡酒才能晋升的胡说八道。 戳小程序查看剩下的 2,518 个回答：<a class="weapp_text_link" style="font-size:15px;" data-miniprogram-appid="wxeb39b10e39bf6b54" data-miniprogram-path="zhihu/question?id=64351318" data-miniprogram-nickname="知乎热榜" href="">有哪些大家不说，但需要知道的社会规则？</a> <img class="" data-copyright="0" data-ratio="0.22476190476190477" data-s="300,640" src="/upload/9ce34a7619143b03522caa3314779f12.png" data-type="png" data-w="525"> <section class="_135editor" data-tools="135编辑器" data-id="93662" style="font-size: medium;white-space: normal;border-width: 0px;border-style: none;border-color: initial;box-sizing: border-box;"> <section style="margin: 5px 5px 15px;"> <section style="margin-bottom: -20px;display: inline-block;background-color: rgba(151, 228, 249, 0.7);width: 30px;height: 30px;transform: rotate(45deg);-webkit-transform: rotate(45deg);-moz-transform: rotate(45deg);-o-transform: rotate(45deg);"></section> <section style="margin-bottom: -20px;margin-left: -3px;display: inline-block;background-color: rgba(175, 178, 249, 0.7);width: 30px;height: 30px;transform: rotate(45deg);-webkit-transform: rotate(45deg);-moz-transform: rotate(45deg);-o-transform: rotate(45deg);"></section> <section data-width="100%" style="padding: 10px;width: 100%;vertical-align: top;border-width: 1px;border-style: solid;border-radius: 5px;border-color: rgb(13, 10, 10);overflow: hidden;box-sizing: border-box;"> <section style="padding: 1em 0.8em;text-align: justify;letter-spacing: 1.5px;color: rgb(63, 63, 63);font-size: 14px;line-height: 1.75em;box-sizing: border-box;"> <section class="135brush"> 我们精选了 16 个和人类恋爱、情感有关的故事。 它们不能教你恋爱，也不是所有故事都有美满的结局； 看完你会感受到——「啧，感情啊，真是复杂的东西」。 不要期待通过它们来理解爱情。 恋爱难，开头难、中间难、结尾难。 在这里，让我们当一个人间情爱的围观者。 识别图中二维码，回复「感情」获取 </section> </section> </section> <section style="margin-right: 10px;display: flex;justify-content: flex-end;"> <section style="margin-top: -20px;margin-bottom: 10px;line-height: 1;transform: translate3d(10px, 0px, 0px);-webkit-transform: translate3d(10px, 0px, 0px);-moz-transform: translate3d(10px, 0px, 0px);-o-transform: translate3d(10px, 0px, 0px);"> <section style="margin-bottom: -20px;display: inline-block;background-color: rgba(151, 228, 249, 0.7);width: 30px;height: 30px;transform: rotate(45deg);-webkit-transform: rotate(45deg);-moz-transform: rotate(45deg);-o-transform: rotate(45deg);"></section> <section style="margin-bottom: -20px;margin-left: -3px;display: inline-block;background-color: rgba(175, 178, 249, 0.7);width: 30px;height: 30px;transform: rotate(45deg);-webkit-transform: rotate(45deg);-moz-transform: rotate(45deg);-o-transform: rotate(45deg);"></section> </section> </section> </section> </section> <img class="" data-copyright="0" data-ratio="1.509375" data-s="300,640" src="/upload/7d404aba6e7e91cca82706fa62f6a12.jpg" data-type="jpeg" data-w="1280"> </section> </section> </section> </section>

一个牛逼的创业公司后台技术栈搭建方案

作者：微信小助手

<section style="box-sizing: border-box;font-size: 16px;"> <section style="box-sizing: border-box;" powered-by="xiumi.us"> <section style="margin-top: 10px;margin-bottom: 10px;box-sizing: border-box;"> <section style="padding-top: 10px;padding-right: 10px;padding-left: 10px;box-sizing: border-box;background-color: rgb(239, 239, 239);"> <section style="box-sizing: border-box;"> “ </section> <section style="display: inline-block;vertical-align: top;float: right;width: 90%;line-height: 1.5;font-size: 15px;color: rgb(89, 89, 89);box-sizing: border-box;"> 在大多数创业公司，因为没有大公司那些完善的基础设施，需要从开源界的一个个系统和组件做选型，最终形成整个的后台技术栈。 </section> <section style="clear: both;box-sizing: border-box;"></section> </section> </section> </section> </section> <img class="rich_pages" data-copyright="0" data-ratio="0.5622254758418741" data-s="300,640" src="/upload/ca4c80875b0da40196a44bf0682b0d6.png" data-type="png" data-w="683" style=""> <section class="" mpa-from-tpl="t"> 说到后台技术栈，脑海中是不是浮现的下面这样一幅图？ <section mpa-from-tpl="t" mpa-is-content="t"> <img class="" data-ratio="0.504424778761062" data-type="png" data-w="904" src="/upload/c9f991515978673c0cf31276bafd8fdb.png" style="top: 0px;left: 0px;right: 0px;bottom: 0px;box-sizing: border-box !important;word-wrap: break-word !important;width: 677px !important;visibility: visible !important;"> </section> 图 1 有点眼晕，以下只是我们会用到的一些语言的合集，而且只是语言层面的一部分，就整个后台技术栈来说，这只是一个开始，从语言开始，还有很多很多的内容。 今天要说的后台是大后台的概念，放在服务器上的东西都属于后台的东西，比如使用的框架，语言，数据库，服务，操作系统等等。 整个后台技术栈，我的理解包括四个层面的内容： <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>语言：用了哪些开发语言，如：C++/Java/Go/PHP/Python/Ruby 等等。</li> <li>组件：用了哪些组件，如：MQ 组件，数据库组件等等。</li> <li>流程：怎样的流程和规范，如：开发流程，项目流程，发布流程，监控告警流程，代码规范等等。</li> <li> <section class="" mpa-from-tpl="t"> 系统：系统化建设，上面的流程需要有系统来保证，如：规范发布流程的发布系统，代码管理系统等等。 </section></li> </ul> 结合以上的的 4 个层面的内容，整个后台技术栈的结构如图 2 所示： <img class="" data-ratio="0.5490196078431373" data-type="png" data-w="918" src="/upload/6bf197bb5651536a18f51f48a2aea96.png" style="max-width: 625px;border: 0px;vertical-align: middle;top: 0px;left: 0px;right: 0px;bottom: 0px;box-sizing: border-box !important;word-wrap: break-word !important;width: 677px !important;visibility: visible !important;"> 图 2：后台技术栈结构 以上的这些内容都需要我们从零开始搭建，在创业公司，没有大公司那些完善的基础设施，需要我们从开源界，从云服务商甚至有些需要自己去组合，去拼装，去开发一个适合自己的组件或系统以达成我们的目标。 咱们一个个系统和组件的做选型，最终形成我们的后台技术栈。 </section> <section class="" mpa-from-tpl="t"> <section style="box-sizing: border-box;font-size: 16px;"> <section style="box-sizing: border-box;" powered-by="xiumi.us"> <section style="border-bottom-width: 1px;border-bottom-style: solid;border-bottom-color: black;margin-top: 0.5em;margin-bottom: 0.5em;line-height: 1.2;box-sizing: border-box;"> <section style="display: inline-block;border-bottom-width: 6px;border-bottom-style: solid;border-color: rgb(89, 89, 89);margin-bottom: -1px;font-size: 20px;color: rgb(89, 89, 89);box-sizing: border-box;"> 各系统组件选型 </section> </section> </section> </section> </section> <section class="" mpa-from-tpl="t"> <section style="box-sizing: border-box;font-size: 16px;"> <section style="box-sizing: border-box;" powered-by="xiumi.us"> <section style="margin-top: 10px;margin-bottom: 10px;box-sizing: border-box;"> <section style="width: 0.6em;display: inline-block;vertical-align: middle;box-sizing: border-box;"> </section> <section style="display: inline-block;vertical-align: middle;font-size: 18px;padding-left: 5px;color: rgb(89, 89, 89);box-sizing: border-box;"> 项目管理/Bug 管理/问题管理 </section> </section> </section> </section> 项目管理软件是整个业务的需求，问题，流程等等的集中地，大家的跨部门沟通协同大多依赖于项目管理工具。 有一些 SaaS 的项目管理服务可以使用，但是很多时间不满足需求，此时我们可以选择一些开源的项目，这些项目本身有一定的定制能力，有丰富的插件可以使用。 一般的创业公司需求基本上都能得到满足，常用的项目如下： <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>Redmine：用 Ruby 开发的，有较多的插件可以使用，能自定义字段，集成了项目管理，Bug 问题跟踪，WiKi 等功能，不过好多插件 N 年没有更新了。</li> <li>Phabricator：用 PHP 开发的，Facebook 之前的内部工具，开发这工具的哥们离职后自己搞了一个公司专门做这个软件，集成了代码托管， Code Review，任务管理，文档管理，问题跟踪等功能，强烈推荐较敏捷的团队使用。</li> <li>Jira：用 Java 开发的，有用户故事，Task 拆分，燃尽图等等，可以做项目管理，也可以应用于跨部门沟通场景，较强大。</li> <li> <section class="" mpa-from-tpl="t"> 悟空 CRM ：这个不是项目管理，这个是客户管理，之所以在这里提出来，是因为在 To B 的创业公司里面，往往是以客户为核心来做事情的，可以将项目管理和问题跟进的在悟空 CRM 上面来做。 </section>它的开源版本已经基本实现了 CRM 的核心功能，还带有一个任务管理功能，用于问题跟进，不过用这个的话，还是需要另一个项目管理的软件协助，顺便说一嘴，这个系统的代码写得很难维护，只能适用于客户规模小（1 万以内）时。 </li> </ul> <section style="box-sizing: border-box;font-size: 16px;"> <section style="box-sizing: border-box;" powered-by="xiumi.us"> <section style="margin-top: 10px;margin-bottom: 10px;box-sizing: border-box;"> <section style="width: 0.6em;display: inline-block;vertical-align: middle;box-sizing: border-box;"> </section> <section style="display: inline-block;vertical-align: middle;font-size: 18px;padding-left: 5px;color: rgb(89, 89, 89);box-sizing: border-box;"> DNS </section> </section> </section> </section> DNS 是一个很通用的服务，创业公司基本上选择一个合适的云厂商就行了，国内主要是两家： <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>阿里万网：阿里 2014 年收购了万网，整合了其域名服务，最终形成了现在的阿里万网，其中就包含 DNS 这块的服务。</li> <li> <section class="" mpa-from-tpl="t"> 腾讯 DNSPod：腾讯 2012 年以 4000 万收购 DNSPod 100% 股份，主要提供域名解析和一些防护功能。 </section></li> </ul> 如果你的业务是在国内，主要就是这两家，选一个就好，像今日头条这样的企业用的也是 DNSPod 的服务，除非一些特殊的原因才需要自建，比如一些 CDN 厂商，或者对区域有特殊限制的。 要实惠一点用阿里最便宜的基础版就好了，要成功率高一些，还是用 DNSPod 的贵的那种。 在国外还是选择亚马逊吧，阿里的 DNS 服务只有在日本和美国有节点，东南亚最近才开始部点，DNSPod 也只有美国和日本，像一些出海的企业，其选择的云服务基本都是亚马逊。 如果是线上产品，DNS 强烈建议用付费版，阿里的那几十块钱的付费版基本可以满足需求。 如果还需要一些按省份或按区域调试的逻辑，则需要加钱，一年也就几百块，省钱省力。 如果是国外，优先选择亚马逊，如果需要国内外互通并且有自己的 App 的话，建议还是自己实现一些容灾逻辑或者智能调度。 因为没有一个现成的 DNS 服务能同时较好的满足国内外场景，或者用多个域名，不同的域名走不同的 DNS 。 <section style="box-sizing: border-box;font-size: 16px;"> <section style="box-sizing: border-box;" powered-by="xiumi.us"> <section style="margin-top: 10px;margin-bottom: 10px;box-sizing: border-box;"> <section style="width: 0.6em;display: inline-block;vertical-align: middle;box-sizing: border-box;"> </section> <section style="display: inline-block;vertical-align: middle;font-size: 18px;padding-left: 5px;color: rgb(89, 89, 89);box-sizing: border-box;"> LB（负载均衡） </section> </section> </section> </section> LB（负载均衡）是一个通用服务，一般云厂商的 LB 服务基本都有如下功能： <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>支持四层协议请求（包括 TCP、UDP 协议）</li> <li>支持七层协议请求（包括 HTTP、HTTPS 协议）</li> <li>集中化的证书管理系统支持 HTTPS 协议</li> <li> <section class="" mpa-from-tpl="t"> 健康检查 </section></li> </ul> 如果你线上的服务机器都是用的云服务，并且是在同一个云服务商的话，可以直接使用云服务商提供的 LB 服务，如阿里云的 SLB，腾讯云的 CLB，亚马逊的 ELB 等等。如果是自建机房基本都是 LVS + Nginx。 <section style="box-sizing: border-box;font-size: 16px;"> <section style="box-sizing: border-box;" powered-by="xiumi.us"> <section style="margin-top: 10px;margin-bottom: 10px;box-sizing: border-box;"> <section style="width: 0.6em;display: inline-block;vertical-align: middle;box-sizing: border-box;"> </section> <section style="display: inline-block;vertical-align: middle;font-size: 18px;padding-left: 5px;color: rgb(89, 89, 89);box-sizing: border-box;"> CDN </section> </section> </section> </section> CDN 现在已经是一个很红很红的市场，基本上只能挣一些辛苦钱，都是贴着成本在卖。 国内以网宿为龙头，他们家占据整个国内市场份额的 40% 以上，后面就是腾讯，阿里。网宿有很大一部分是因为直播的兴起而崛起。 国外，Amazon 和 Akamai 合起来占比大概在 50%，曾经的国际市场老大 Akamai 拥有全球超一半的份额，在 Amazon CDN入局后，份额跌去了将近 20%，众多中小企业都转向后者，Akamai 也是无能为力。 国内出海的 CDN 厂商，更多的是为国内的出海企业服务，三家大一点的 CDN 服务商里面也就网宿的节点多一些，但是也多不了多少。阿里和腾讯还处于前期阶段，仅少部分国家有节点。 就创业公司来说，CDN 用腾讯云或阿里云即可，其相关系统较完善，能轻松接入，网宿在系统支持层面相对较弱一些，而且还贵一些。 并且，当流量上来后，CDN 不能只用一家，需要用多家，不同的 CDN 在全国的节点覆盖不一样。 而且针对不同的客户云厂商内部有些区分客户集群，并不是全节点覆盖（但有些云厂商说自己是全网节点），除了节点覆盖的问题，多 CDN 也在一定程度上起到容灾的作用。 <section style="box-sizing: border-box;font-size: 16px;"> <section style="box-sizing: border-box;" powered-by="xiumi.us"> <section style="margin-top: 10px;margin-bottom: 10px;box-sizing: border-box;"> <section style="width: 0.6em;display: inline-block;vertical-align: middle;box-sizing: border-box;"> </section> <section style="display: inline-block;vertical-align: middle;font-size: 18px;padding-left: 5px;color: rgb(89, 89, 89);box-sizing: border-box;"> RPC 框架 </section> </section> </section> </section> 维基百科对 RPC 的定义是：远程过程调用（Remote Procedure Call，RPC）是一个计算机通信协议。 该协议允许运行于一台计算机的程序调用另一台计算机的子程序，而程序员无需额外地为这个交互作用编程。 通俗来讲，一个完整的 RPC 调用过程，就是 Server 端实现了一个函数，客户端使用 RPC 框架提供的接口，调用这个函数的实现，并获取返回值的过程。 业界 RPC 框架大致分为两大流派，一种侧重跨语言调用，另一种是偏重服务治理。 跨语言调用型的 RPC 框架有 Thrift、gRPC、Hessian、Hprose 等。这类 RPC 框架侧重于服务的跨语言调用，能够支持大部分的语言进行语言无关的调用，非常适合多语言调用场景。 但这类框架没有服务发现相关机制，实际使用时需要代理层进行请求转发和负载均衡策略控制。 其中，gRPC 是 Google 开发的高性能、通用的开源 RPC 框架，其由 Google 主要面向移动应用开发并基于 HTTP/2 协议标准而设计，基于 ProtoBuf（Protocol Buffers）序列化协议开发，且支持众多开发语言。本身它不是分布式的，所以要实现框架的功能需要进一步的开发。 Hprose（High Performance Remote Object Service Engine）是一个 MIT 开源许可的新型轻量级跨语言跨平台的面向对象的高性能远程动态通讯中间件。 服务治理型的 RPC 框架的特点是功能丰富，提供高性能的远程调用、服务发现及服务治理能力，适用于大型服务的服务解耦及服务治理，对于特定语言(Java)的项目可以实现透明化接入。 缺点是语言耦合度较高，跨语言支持难度较大。国内常见的冶理型 RPC 框架如下： <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>Dubbo：Dubbo 是阿里巴巴公司开源的一个 Java 高性能优秀的服务框架，使得应用可通过高性能的 RPC 实现服务的输出和输入功能，可以和 Spring 框架无缝集成。当年在淘宝内部，Dubbo 由于跟淘宝另一个类似的框架 HSF 有竞争关系，导致 Dubbo 团队解散，最近又活过来了，有专职同学投入。</li> <li>DubboX：DubboX 是由当当在基于 Dubbo 框架扩展的一个 RPC 框架，支持 REST 风格的远程调用、Kryo/FST 序列化，增加了一些新的 feature。Motan：Motan 是新浪微博开源的一个 Java 框架。它诞生的比较晚，起于 2013 年，2016 年 5 月开源。Motan 在微博平台中已经广泛应用，每天为数百个服务完成近千亿次的调用。</li> <li> <section class="" mpa-from-tpl="t"> RPCX：RPCX 是一个类似阿里巴巴 Dubbo 和微博 Motan 的分布式的 RPC 服务框架，基于 Golang NET/RPC 实现。 </section>但是 RPCX 基本只有一个人在维护，没有完善的社区，使用前要慎重，之前做 Golang 的 RPC 选型时也有考虑这个，最终还是放弃了，选择了 gRPC，如果想自己自研一个 RPC 框架，可以参考学习一下。 </li> </ul> <section style="box-sizing: border-box;font-size: 16px;"> <section style="box-sizing: border-box;" powered-by="xiumi.us"> <section style="margin-top: 10px;margin-bottom: 10px;box-sizing: border-box;"> <section style="width: 0.6em;display: inline-block;vertical-align: middle;box-sizing: border-box;"> </section> <section style="display: inline-block;vertical-align: middle;font-size: 18px;padding-left: 5px;color: rgb(89, 89, 89);box-sizing: border-box;"> 名字发现/服务发现 </section> </section> </section> </section> 名字发现和服务发现分为两种模式，一个是客户端发现模式，一种是服务端发现模式。框架中常用的服务发现是客户端发现模式。 所谓服务端发现模式是指客户端通过一个负载均衡器向服务发送请求，负载均衡器查询服务注册表并把请求路由到一台可用的服务实例上。现在常用的负载均衡器都是此类模式，常用于微服务中。 所有的名字发现和服务发现都要依赖于一个可用性非常高的服务注册表，业界常用的服务注册表有如下三个： <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>Etcd：一个高可用、分布式、一致性、Key-Value 方式的存储，被用在分享配置和服务发现中。两个著名的项目使用了它：Kubernetes 和 Cloud Foundry。</li> <li>Consul：一个发现和配置服务的工具，为客户端注册和发现服务提供了API，Consul 还可以通过执行健康检查决定服务的可用性。</li> <li> <section class="" mpa-from-tpl="t"> Apache ZooKeeper：一个广泛使用、高性能的针对分布式应用的协调服务。Apache ZooKeeper 本来是 Hadoop 的子工程，现在已经是顶级工程了。 </section></li> </ul> 除此之外也可以自己实现服务实现，或者用 Redis 也行，只是需要自己实现高可用性。 <section style="box-sizing: border-box;font-size: 16px;"> <section style="box-sizing: border-box;" powered-by="xiumi.us"> <section style="margin-top: 10px;margin-bottom: 10px;box-sizing: border-box;"> <section style="width: 0.6em;display: inline-block;vertical-align: middle;box-sizing: border-box;"> </section> <section style="display: inline-block;vertical-align: middle;font-size: 18px;padding-left: 5px;color: rgb(89, 89, 89);box-sizing: border-box;"> 关系数据库 </section> </section> </section> </section> 关系数据库分为两种，一种是传统关系数据库，如 Oracle，MySQL，Maria，DB2，PostgreSQL 等等。 另一种是 NewSQL，即至少要满足以下五点的新型关系数据库： <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>完整地支持 SQL，支持 JOIN / GROUP BY /子查询等复杂 SQL 查询。</li> <li>支持传统数据标配的 ACID 事务，支持强隔离级别。</li> <li>具有弹性伸缩的能力，扩容缩容对于业务层完全透明。</li> <li>真正的高可用，异地多活、故障恢复的过程不需要人为的接入，系统能够自动地容灾和进行强一致的数据恢复。</li> <li> <section class="" mpa-from-tpl="t"> 具备一定的大数据分析能力。 </section></li> </ul> 传统关系数据库用得最多的是 MySQL，因为成熟，稳定，一些基本的需求都能满足，在一定数据量级之前基本单机传统数据库都可以搞定。 而且现在较多的开源系统都是基于 MySQL，开箱即用，再加上主从同步和前端缓存，百万 PV 的应用都可以搞定了。 不过 CentOS 7 已经放弃了 MySQL，而改使用 MariaDB。MariaDB 数据库管理系统是 MySQL 的一个分支，主要由开源社区在维护，采用 GPL 授权许可。 开发这个分支的原因之一是：甲骨文公司收购了 MySQL 后，有将 MySQL 闭源的潜在风险，因此社区采用分支的方式来避开这个风险。 在 Google 发布了 F1: A Distributed SQL Database That Scales 和 Spanner: Google’s Globally-Distributed Databasa 之后，业界开始流行起 NewSQL。 于是有了 CockroachDB，然后有了奇叔公司的 TiDB。国内已经有比较多的公司使用 TiDB，之前在创业公司时在大数据分析时已经开始应用 TiDB，当时应用的主要原因是 MySQL 要使用分库分表，逻辑开发比较复杂，扩展性不够。 <section style="box-sizing: border-box;font-size: 16px;"> <section style="box-sizing: border-box;" powered-by="xiumi.us"> <section style="margin-top: 10px;margin-bottom: 10px;box-sizing: border-box;"> <section style="width: 0.6em;display: inline-block;vertical-align: middle;box-sizing: border-box;"> </section> <section style="display: inline-block;vertical-align: middle;font-size: 18px;padding-left: 5px;color: rgb(89, 89, 89);box-sizing: border-box;"> NoSQL </section> </section> </section> </section> NoSQL 顾名思义就是 Not-Only SQL，也有人说是 No–SQL，个人偏向于 Not-Only SQL，它并不是用来替代关系库，而是作为关系型数据库的补充而存在。 常见 NoSQL 有四个类型： <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>键值，适用于内容缓存，适合混合工作负载并发高扩展要求大的数据集，其优点是简单，查询速度快，缺点是缺少结构化数据，常见的有 Redis，Memcache，BerkeleyDB 和 Voldemort 等等。</li> <li>列式，以列簇式存储，将同一列数据存在一起，常见于分布式的文件系统，其中以 Hbase，Cassandra 为代表。Cassandra 多用于写多读少的场景，国内用得比较多的有 360，大概 1500 台机器的集群，国外大规模使用的公司比较多，如 eBay，Instagram，Apple 和沃尔玛等等。</li> <li>文档，数据存储方案非常适用承载大量不相关且结构差别很大的复杂信息。性能介于 KV 和关系数据库之间，它的灵感来自 Lotus Notes，常见的有 MongoDB，CouchDB 等等。</li> <li> <section class="" mpa-from-tpl="t"> 图形，图形数据库擅长处理任何涉及关系的状况，比如社交网络，推荐系统等。专注于构建关系图谱，需要对整个图做计算才能得出结果，不容易做分布式的集群方案，常见的有 Neo4J，InfoGrid 等。 </section></li> </ul> 除了以上 4 种类型，还有一些特种的数据库，如对象数据库，XML 数据库，这些都有针对性对某些存储类型做了优化的数据库。 在实际应用场景中，何时使用关系数据库，何时使用 NoSQL，使用哪种类型的数据库，这是我们在做架构选型时一个非常重要的考量，甚至会影响整个架构的方案。 <section style="box-sizing: border-box;font-size: 16px;"> <section style="box-sizing: border-box;" powered-by="xiumi.us"> <section style="margin-top: 10px;margin-bottom: 10px;box-sizing: border-box;"> <section style="width: 0.6em;display: inline-block;vertical-align: middle;box-sizing: border-box;"> </section> <section style="display: inline-block;vertical-align: middle;font-size: 18px;padding-left: 5px;color: rgb(89, 89, 89);box-sizing: border-box;"> 消息中间件 </section> </section> </section> </section> 消息中间件在后台系统中是必不可少的一个组件，一般我们会在以下场景中使用消息中间件： <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li><span style="font-size: 15px;color: rgb(89, 89,

Google MapReduce架构设计

作者：微信小助手

前情回顾 <a href="http://mp.weixin.qq.com/s?__biz=MjM5ODYxMDA5OQ==&mid=2651961826&idx=1&sn=98f6ec5271c7a4153c3e50c7b8be4f33&chksm=bd2d0c3e8a5a8528177b34db26876e510486c78f331bd5e51082a22eda9d65b9bfc35abe1c53&scene=21#wechat_redirect" target="_blank">Google MapReduce到底解决什么问题？</a> Google MapReduce是Google产出的一个编程模型，同时Google也给出架构实现，它能够解决“能用分治法解决的问题”。   <a href="http://mp.weixin.qq.com/s?__biz=MjM5ODYxMDA5OQ==&mid=2651961851&idx=1&sn=56e85dc9bd82d48577e487f42876748d&chksm=bd2d0c278a5a85313431f6ad7ba47f1721f6d5823e4c072d77cdc9fe18bac53dc1a1e8a6fc3a&scene=21#wechat_redirect" target="_blank">Google MapReduce有啥巧妙优化？</a> <img class="" data-copyright="0" data-ratio="0.37316176470588236" data-s="300,640" src="/upload/451f94289123b0e721ccc4669309dfbd.png" data-type="png" data-w="544" style=""> <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>分区函数：保证不同map输出的相同key，落到同一个reduce里</li> <li>合并函数：在map结束时，对相同key的多个输出做本地合并，节省总体资源</li> <li>输入文件到map如何切分：随意，切分均匀就行</li> </ul> 画外音：看懂了这个流程，对工程架构的理解，会容易很多。   上述执行流程，Google MapReduce通过怎样的工程架构实现的呢？ <img class="" data-copyright="0" data-ratio="0.7485604606525912" data-s="300,640" src="/upload/73ce0d1630c8a47434e4aad53fac82f3.png" data-type="png" data-w="521" style=""> 先看下总体架构图，有个直观的印象。   用户使用GoogleMR系统，必须输入的是什么？ <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>输入数据，必选</li> </ul> 画外音：否则系统处理啥。 <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>map函数，必选</li> <li>reduce函数，必选</li> </ul> 画外音：分治法，分与合的业务逻辑。 <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>分区函数，必选</li> </ul> 画外音：保证同一个key，在合并阶段，必须落到同一个reduce上，系统提供默认hash(key)法。 <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>合并函数，可选</li> </ul> 画外音：看用户是否需要在map结束阶段进行优化。   用户提供各个输入后，GoogleMR的执行流程是什么？ 画外音： 不妨假设，用户设置了M个map节点，R个reduce节点；例如：M=500，R=200   (1) 在集群中创建大量可执行实例副本(fork)； (2) 这些副本中有一个master，其他均为worker，任务的分配由master完成， M个map实例和R个reduce实例由worker完成； (3) 将输入数据分成M份，然后被分配到map任务的worker，从其中一份读取输入数据，执行用户的map函数处理，并在本地内存生成临时数据； (4) 本地内存临时数据，通过分区函数，被分成R份，周期性的写到本地磁盘，由master调度，传给被分配到reduce任务的worker； (5) 负责reduce任务的worker，从远程读取多个map输出的数据，执行用户的reduce函数处理，处理结果写入输出文件； 画外音：可能对key要进行外部排序。 (6) 所有map和reduce的worker都结束工作后，master唤醒用户程序，MapReduce调用返回，结果被输出到了R个文件中。   GoogleMR系统里的master和worker是啥？ (1) master：单点master会存储一些元数据，监控所有map与reduce的状态，记录哪个数据要给哪个map，哪个数据要给哪个reduce，掌控全局视野，做中控； 画外音：是不是和GFS的master非常像？ (2) worker：多个worker进行业务逻辑处理，具体一个worker是用来执行map还是reduce，是由master调度的； 画外音：是不是和工作线程池非常像？这里的worker是分布在多台机器上的而已。   master的高可用是如何保证的？ 一个简单的方法是，将元数据固化到磁盘上，用一个shadow-master来做高可用。 画外音：GFS不就是这么干的么？   然而现实情况是：没有将元数据固化到磁盘上，元数据被存放在master的内存里用以提高工作效率，当master挂掉后，通知用户“任务执行失败”，让其选择重新执行。 画外音： (1) 单点master，掌控全局视野，能让系统的复杂性降低非常多； (2) master挂掉的概率很小； (3) 不做高可用，能让系统的复杂性降低非常多；   worker的高可用是如何保证的？ master会周期性的ping每个worker，如果超时未返回，master会把对应的worker置为无效，把这个worker的工作任务重新执行： <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>如果重新执行的是reduce任务，不需要有额外的通知</li> <li>如果重新执行的是map任务，需要通知执行reduce的worker节点，输入数据换了一个worker</li> </ul>   随时都可能有map或者reduce挂掉，任务完成前重新被执行，会不会影响MR的最终结果？ 在用户输入不变的情况下，MR的输出一定是不变的，这就要求MR系统必须具备幂等性： <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>对相同的输入，不管哪个负责map的worker执行的结果，一定是不变的，产出的R个本地输出文件内容也一定是不变的</li> <li>对于M个map，每个map输出的R个本地文件，只要这些输入不变，对应接收这些数据的reduce的worker执行结果，一定是不变的，输出文件内容也也一定是不变的</li> </ul>   长尾效应怎么解决？ 一个MR执行时间的最大短板，往往是“长尾worker”。   导致“长尾worker”的原因有很多： (1) 用户的分区函数设计得不合理，导致某些reduce负载不均，要处理大量的数据； 画外音： 最坏的情况，所有数据最终都落到一个reduce上，分布式并行处理，转变为了单机串行处理； 所以，分区函数的负载均衡性，是用户需要考虑的。   (2) 因为系统的原因，worker所在的机器磁盘坏了，CPU有问题，也可能导致任务执行很慢；   GoogleMR有一个“备用worker”的机制，当某些worker的执行时间超出预期时，会启动另一个worker执行相同的任务，以尝试解决长尾效应。 总结 Google MapReduce架构，提现了很多经典架构实践： <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>单点master简化系统复杂度</li> <li>单点master不高可用，简化系统复杂度</li> <li>master对worker的监控以及重启，保证worker高可用</li> <li>幂等性，保证结果的正确性</li> <li>多个worker执行同一个任务优化长尾问题</li> </ul> <p style="max-width: 100%;min-height: 1em;color: rgb(51, 51, 51);font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;letter-spacing: 0.544px;white-space: normal;background-color: rgb(255, 255, 255);text-align: center;line-height: normal;box-sizing: border-box !important;word-wrap: break-word !important;"><img width="auto" data-ratio="1" data-w="250" data-type="jpeg" data-s="300,640" class="" src="/upload/7ddc9700032e2c5cee163f1f1a37b46c.jpg" style="max-width: 677px;box-sizing: border-box;word-wrap: break-word;visibility: visible !important;width: 130px !important;"> <p style="max-width: 100%;min-height: 1em;color: rgb(51, 51, 51);font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;letter-spacing: 0.544px;white-space: normal;background-color: rgb(255, 255, 255);text-align: center;line-height: normal;box-sizing: border-box !important;word-wrap: break-word !important;">架构师之路-分享可落地的技术文章 <p style="max-width: 100%;min-height: 1em;color: rgb(51, 51, 51);font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;letter-spacing: 0.544px;text-align: justify;white-space: normal;background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;"> <p style="max-width: 100%;min-height: 1em;color: rgb(51, 51, 51);font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;letter-spacing: 0.544px;text-align: justify;white-space: normal;background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;">相关推荐： <p style="max-width: 100%;min-height: 1em;color: rgb(51, 51, 51);font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;letter-spacing: 0.544px;text-align: justify;white-space: normal;background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;">《<a href="http://mp.weixin.qq.com/s?__biz=MjM5ODYxMDA5OQ==&mid=2651961812&idx=1&sn=592e3cc722bdfc4201d07cb1b087ed06&chksm=bd2d0c088a5a851eec1e01cea1d68a365edab46bc6985c469adb4b0df17f0e6c2f07bda8da47&scene=21#wechat_redirect" target="_blank" style="color: rgb(87, 107, 149);-webkit-tap-highlight-color: rgba(0, 0, 0, 0);max-width: 100%;box-sizing: border-box !important;word-wrap: break-word !important;">GFS架构启示</a>》 <p style="max-width: 100%;min-height: 1em;color: rgb(51, 51, 51);font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;letter-spacing: 0.544px;text-align: justify;white-space: normal;background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;">《<a href="http://mp.weixin.qq.com/s?__biz=MjM5ODYxMDA5OQ==&mid=2651961826&idx=1&sn=98f6ec5271c7a4153c3e50c7b8be4f33&chksm=bd2d0c3e8a5a8528177b34db26876e510486c78f331bd5e51082a22eda9d65b9bfc35abe1c53&scene=21#wechat_redirect" target="_blank" style="color: rgb(87, 107, 149);-webkit-tap-highlight-color: rgba(0, 0, 0, 0);max-width: 100%;box-sizing: border-box !important;word-wrap: break-word !important;">Google MapReduce解决什么问题？</a>》 <p style="max-width: 100%;min-height: 1em;color: rgb(51, 51, 51);font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;letter-spacing: 0.544px;text-align: justify;white-space: normal;background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;">《<a href="http://mp.weixin.qq.com/s?__biz=MjM5ODYxMDA5OQ==&mid=2651961851&idx=1&sn=56e85dc9bd82d48577e487f42876748d&chksm=bd2d0c278a5a85313431f6ad7ba47f1721f6d5823e4c072d77cdc9fe18bac53dc1a1e8a6fc3a&scene=21#wechat_redirect" target="_blank" style="color: rgb(87, 107, 149);-webkit-tap-highlight-color: rgba(0, 0, 0, 0);max-width: 100%;box-sizing: border-box !important;word-wrap: break-word !important;">Google MapReduce巧妙优化思路？</a>》 <p style="max-width: 100%;min-height: 1em;color: rgb(51, 51, 51);font-size: 17px;letter-spacing: 0.544px;text-align: justify;white-space: normal;background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;">《<a href="http://mp.weixin.qq.com/s?__biz=MjM5ODYxMDA5OQ==&mid=2651961863&idx=2&sn=5060b9971b4d1a702747a01ed553c674&chksm=bd2d0fdb8a5a86cde2e29f9ed8ad6b689974ad6f48f900e96aae9b5887dfe97a47f356abf784&scene=21#wechat_redirect" target="_blank">过载保护+异构服务器的负载均衡</a>》  <p style="max-width: 100%;min-height: 1em;color: rgb(51, 51, 51);font-size: 17px;letter-spacing: 0.544px;text-align: justify;white-space: normal;background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;"><span style="color: rgb(51, 51, 51);font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 1px;text-align: justify;background-color: rgb(255, 255, 255);">《<a href="http://mp.weixin.qq.com/s?__biz=MjM5ODYxMDA5OQ==&mid=2651961856&idx=2&sn=fc7fc8cbe7b76029dadcc0f717c65298&chksm=bd2d0fdc8a5a86cae199e80018cbe847afd14985dddaa172b6aca9da4de026789f8162aa2964&scene=21#wechat_redirect" target="_blank" style="color: rgb(87, 107, 149);font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 1px;text-align: justify;white-space: normal;background-color: rgb(255, 255, 255);-webkit-tap-highlight-color: rgba(0, 0, 0, 0);max-width: 100%;box-sizing: border-box !important;word-wrap: break-word !important;">程序员养女儿的四大要点！</a><span style="color: rgb(51, 51, 51);font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 1px;text-align: justify;background-color: rgb(255, 255, 255);">》 <p style="max-width: 100%;min-height: 1em;color: rgb(51, 51, 51);font-size: 17px;letter-spacing: 0.544px;text-align: justify;white-space: normal;background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;"><span style="color: rgb(51, 51, 51);font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 1px;text-align: justify;background-color: rgb(255, 255, 255);"> <p style="max-width: 100%;min-height: 1em;color: rgb(51, 51, 51);font-size: 17px;letter-spacing: 0.544px;text-align: justify;white-space: normal;background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;"><span style="color: rgb(51, 51, 51);font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 1px;text-align: justify;background-color: rgb(255, 255, 255);">作业<span style="color: rgb(51, 51, 51);font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 1px;text-align: justify;background-color: rgb(255, 255, 255);">： <p style="max-width: 100%;min-height: 1em;color: rgb(51, 51, 51);font-size: 17px;letter-spacing: 0.544px;text-align: justify;white-space: normal;background-color: rgb(255, 255, 255);box-sizing: border-box !important;word-wrap: break-word !important;"><span style="color: rgb(51, 51, 51);font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 1px;text-align: justify;background-color: rgb(255, 255, 255);">MR中有<span style="text-align: justify;background-color: rgb(255, 255, 255);font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 1px;color: rgb(255, 76, 0);">大量的数据进行传输<span style="color: rgb(51, 51, 51);font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 1px;text-align: justify;background-color: rgb(255, 255, 255);">，如何进行优化呢？

Hadoop+Hbase 分布式集群架构“完全篇”

作者：微信小助手

1. 认识 Hadoop 和 Hbase <h2></h2> <h3> </h3> <h3>1.1 Hadoop 简单介绍</h3> Hadoop 是一个使用 Java 编写的 Apache 开放源代码框架，它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理。Hadoop 框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境中工作。Hadoop 旨在从单一服务器扩展到数千台机器，每台机器都提供本地计算和存储。 <h3>1.2 Hadoop 架构</h3> Hadoop 框架包括以下四个模块： <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>Hadoop Common：这些是其他 Hadoop 模块所需的 Java 库和实用程序。这些库提供文件系统和操作系统级抽象，并包含启动 Hadoop 所需的必要 Java 文件和脚本。</li> <li>Hadoop YARN：这是作业调度和集群资源管理的框架。</li> <li>Hadoop 分布式文件系统（HDFS）：提供对应用程序数据的高吞吐量访问的分布式文件系统。</li> <li>Hadoop MapReduce：这是基于 YARN 的大型数据集并行处理系统。</li> </ul> 我们可以使用下图来描述 Hadoop 框架中可用的这四个组件。 <img class="rich_pages" data-copyright="0" data-ratio="1.18" data-s="300,640" src="/upload/b6210c97fcec5682b0d69c3b97ca89ea.png" data-type="png" data-w="400" style=""> 自 2012 年以来，术语“Hadoop”通常不仅指向上述基本模块，而且还指向可以安装在 Hadoop 之上或之外的其他软件包，例如 Apache Pig、Apache Hive、Apache HBase、Apache 火花等。   <h3>1.3 Hadoop 如何工作？</h3> （1）阶段1 用户/应用程序可以通过指定以下项目向 Hadoop（Hadoop 作业客户端）提交所需的进程： <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>分布式文件系统中输入和输出文件的位置。</li> <li>Java类以 JAR 文件的形式包含了 Map 和 Reduce 功能的实现。</li> <li>通过设置作业特定的不同参数来进行作业配置。</li> </ul> （2）阶段2 然后，Hadoop 作业客户端将作业（JAR/可执行文件等）和配置提交给 JobTracker，JobTracker 负责将软件/配置分发到从站，调度任务和监视它们，向作业客户端提供状态和诊断信息。 （3）阶段3 不同节点上的 TaskTrackers 根据 MapReduce 实现执行任务，并将 reduce 函数的输出存储到文件系统的输出文件中。   <h3>1.4 Hadoop 的优点</h3> <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>Hadoop 框架允许用户快速编写和测试分布式系统。它是高效的，它自动分配数据并在机器上工作，反过来利用 CPU 核心的底层并行性。</li> </ul> <ul style="list-style-type: none;" class=" list-paddingleft-2"> <li> </li> </ul> <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>Hadoop 不依赖硬件提供容错和高可用性（FTHA），而是 Hadoop 库本身被设计为检测和处理应用层的故障。</li> </ul> <ul style="list-style-type: none;" class=" list-paddingleft-2"> <li> </li> </ul> <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>服务器可以动态添加或从集群中删除，Hadoop 继续运行而不会中断。</li> </ul> <ul style="list-style-type: none;" class=" list-paddingleft-2"> <li> </li> </ul> <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>Hadoop 的另一大优点是，除了是开放源码，它是所有平台兼容的，因为它是基于 Java 的。</li> </ul>   <h3>1.5 HBase 介绍</h3> Hbase 全称为 Hadoop Database，即 Hbase 是 Hadoop 的数据库，是一个分布式的存储系统。Hbase 利用 Hadoop 的 HDFS 作为其文件存储系统，利用 Hadoop 的 MapReduce 来处理 Hbase 中的海量数据。利用 ZooKeeper 作为其协调工具。    <h3>1.6 HBase 体系架构</h3> <img class="rich_pages" data-copyright="0" data-ratio="0.5397536394176932" data-s="300,640" src="/upload/9777ac47a74d4e3fa5d5e1ad05f02f82.png" data-type="png" data-w="893" style=""> Client <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>包含访问 HBase 的接口并维护 Cache 来加快对 HBase 的访问</li> </ul> ZooKeeper <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>保证任何时候，集群中只有一个 Master</li> <li>存贮所有 Region 的寻址入口。</li> <li>实时监控 Region Server 的上线和下线信息。并实时通知 Master</li> <li>存储 HBase 的 Schema 和 table 元数据 </li> </ul> Master <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>为 Region Server 分配 region</li> <li>负责 Region Server 的负载均衡</li> <li>发现失效的 Region Server 并重新分配其上的 region</li> <li>管理用户对 table 的增删改操作</li> </ul> RegionServer <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>Region Server 维护 region，处理对这些 region 的 IO 请求</li> <li>Region Server 负责切分在运行过程中变得过大的 region　</li> </ul> HLog（WAL log） <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>HLog 文件就是一个普通的 Hadoop Sequence File，Sequence File  的 Key 是  HLogKey 对象，HLogKey 中记录了写入数据的归属信息，除了 table 和 region 名字外，同时还包括 Sequence Number 和 Timestamp，Timestamp 是” 写入时间”，Sequence Number 的起始值为 0，或者是最近一次存入文件系统中 Sequence Number。</li> </ul> <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>HLog SequeceFile 的 Value 是 HBase 的 KeyValue 对象，即对应 HFile 中的  KeyValue</li> </ul> Region <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>HBase 自动把表水平划分成多个区域（Rregion），每个 Region 会保存一个表里面某段连续的数据；每个表一开始只有一个 Region，随着数据不断插 入表，region 不断增大，当增大到一个阀值的时候，Region 就会等分会 两个新的 Region（裂变）；</li> </ul> <ul style="list-style-type: none;" class=" list-paddingleft-2"> <li> </li> </ul> <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>当 table 中的行不断增多，就会有越来越多的 Region。这样一张完整的表被保存在多个 Regionserver 上。</li> </ul> Memstore 与 StoreFile <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>一个 Region 由多个 Store 组成，一个 Store 对应一个 CF（列族）</li> </ul> <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>store 包括位于内存中的 Memstore 和位于磁盘的 StoreFile 写操作先写入 Memstore，当 MemStore 中的数据达到某个阈值，HRegionServer 会启动  FlashCache 进程写入 StoreFile，每次写入形成单独的一个 StoreFile</li> </ul> <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>当 StoreFile 文件的数量增长到一定阈值后，系统会进行合并（minor、 major compaction），在合并过程中会进行版本合并和删除工作 ，形成更大的  StoreFile。</li> </ul> <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>当一个 Region 所有 StoreFile 的大小和超过一定阈值后，会把当前的 region 分割为两个，并由 HMaster 分配到相应的 RegionServer 服务器，实现负载均衡。</li> </ul> <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>客户端检索数据，先在 MemStore 找，找不到再找 StoreFile。</li> </ul> <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>HRegion 是 HBase 中分布式存储和负载均衡的最小单元。最小单元就表示不同的 HRegion 可以分布在不同的 HRegion Server上。</li> </ul> <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>HRegion 由一个或者多个 Store 组成，每个 Store 保存一个 Columns Family。</li> </ul> <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>每个 Strore 又由一个 MemStore 和 0 至多个 StoreFile 组成。</li> </ul> <h2>2. 安装搭建 Hadoop</h2> <h3> </h3> <h3>2.1 配置说明</h3> 本次集群搭建共三台机器，具体说明下： <table width="682" style="width: 556px;"> <tbody style="border-collapse: collapse;border-width: 1px;border-style: solid;border-color: silver;"> <tr style="border-collapse: collapse;border-width: 1px;border-style: solid;border-color: silver;"> <td style="border-collapse: collapse;border-color: silver;padding: 8px 14px;">主机名</td> <td style="border-collapse: collapse;border-color: silver;padding: 8px 14px;">IP</td> <td style="border-collapse: collapse;border-color: silver;padding: 8px 14px;">说明</td> </tr> <tr style="border-collapse: collapse;border-width: 1px;border-style: solid;border-color: silver;"> <td style="border-collapse: collapse;border-color: silver;padding: 8px 14px;">hadoop01</td> <td style="border-collapse: collapse;border-color: silver;padding: 8px 14px;">192.168.10.101</td> <td style="border-collapse: collapse;border-color: silver;padding: 8px 14px;">DataNode、NodeManager、ResourceManager、NameNode</td> </tr> <tr style="border-collapse: collapse;border-width: 1px;border-style: solid;border-color: silver;"> <td style="border-collapse: collapse;border-color: silver;padding: 8px 14px;">hadoop02</td> <td style="border-collapse: collapse;border-color: silver;padding: 8px 14px;">192.168.10.102</td> <td style="border-collapse: collapse;border-color: silver;padding: 8px 14px;">DataNode、NodeManager、SecondaryNameNode</td> </tr> <tr style="border-collapse: collapse;border-width: 1px;border-style: solid;border-color: silver;"> <td style="border-collapse: collapse;border-color: silver;padding: 8px 14px;">hadoop03</td> <td style="border-collapse: collapse;border-color: silver;padding: 8px 14px;">192.168.10.106</td> <td style="border-collapse: collapse;border-color: silver;padding: 8px 14px;">DataNode、NodeManager</td> </tr> </tbody> </table>   <h3>2.2 安装前准备</h3> <h4> </h4> <h4>2.2.1 机器配置说明</h4> <img class="rich_pages" data-ratio="0.2982456140350877" data-s="300,640" src="/upload/9ec79fc17e690e773791385b6e10ee34.png" data-type="png" data-w="456" style="width: 291px;height: 87px;"> 注：本集群内所有进程均由 CLSN 用户启动；要在集群所有服务器都进行操作。   <h4>2.2.2 关闭 SELinux、防火墙</h4> <img class="rich_pages" data-ratio="0.25822532402791626" data-s="300,640" src="/upload/30abef6ae9278921492f2e5af82375ef.png" data-type="png" data-w="1003" style=""> <h4>2.2.3 准备用户</h4> <h4> </h4> <img class="rich_pages" data-ratio="0.1265597147950089" data-s="300,640" src="/upload/b91d0dc115a295265035756f72ab6f92.png" data-type="png" data-w="561" style="width: 336px;height: 43px;"> <h4>　　</h4> <h4>2.2.4 修改 Hosts 文件，域名解析</h4> <img class="rich_pages" data-ratio="0.27448609431680776" data-s="300,640" src="/upload/e319de030cd726560c5b0849810f3025.png" data-type="png" data-w="827" style=""> 　　 <h4>2.2.5 同步时间</h4> <img class="rich_pages" data-ratio="0.18414322250639387" data-s="300,640" src="/upload/d20b1e950fb5baa9d5caf2b533c4fd81.png" data-type="png" data-w="391" style="width: 223px;height: 41px;"> 　　 <h4>2.2.6 SSH 互信配置</h4> （1）生成密钥对，一直回车即可 <img class="rich_pages" data-ratio="0.1008174386920981" data-s="300,640" src="/upload/6eee7ea9e00263b7a0034744fcec29f1.png" data-type="png" data-w="367" style="width: 221px;height: 22px;"> （2）保证每台服务器各自都有对方的公钥 <img class="rich_pages" data-ratio="0.47953216374269003" data-s="300,640" src="/upload/1a6313aae7f1be9c48b51450a9e47c62.png" data-type="png" data-w="684" style="width: 431px;height: 207px;"> 注：要在集群所有服务器都进行操作 （3）验证无秘钥认证登录 <img class="rich_pages" data-ratio="0.22666666666666666" data-s="300,640" src="/upload/699601018ff3fffd52572c32efea485b.png" data-type="png" data-w="450" style="width: 287px;height: 65px;"> <h3>2.3 配置 JDK</h3> 在三台机器上都需要操作 <img class="rich_pages" data-ratio="0.4778523489932886" data-s="300,640" src="/upload/4478bb07e43039a45c3c12a4842ceff3.png" data-type="png" data-w="745" style="width: 443px;height: 212px;"> <h3> </h3> <h3>2.4 安装 Hadoop</h3> <section class="code-snippet__fix code-snippet__js"> <ul class="code-snippet__line-index code-snippet__js"> <li></li> <li></li> <li></li> <li></li> </ul> <pre class="code-snippet__js" data-lang="cs"><code>[root@hadoop01 ~]# wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz</code><code>[root@hadoop01 ~]# tar -xvf hadoop-3.2.0.tar.gz -C /usr/local/</code><code>[root@hadoop01 ~]# chown along.along -R /usr/local/hadoop-3.2.0/</code><code>[root@hadoop01 ~]# ln -s /usr/local/hadoop-3.2.0/ /usr/local/hadoop</code></pre> </section> <h2>3. 配置启动 Hadoop</h2> <h3> </h3> <h3>3.1  hadoop-env.sh 配置 Hadoop 环境变量</h3> <img class="rich_pages" data-ratio="0.27986348122866894" data-s="300,640" src="/upload/dde21c06961c499db42fa60490d2840.png" data-type="png" data-w="586" style="width: 353px;height: 99px;"> <h3>3.2 core-site.xml 配置 HDFS</h3> <img class="rich_pages" data-ratio="0.8201834862385321" data-s="300,640" src="/upload/fcba04f6687f5c4254589feb33072234.png" data-type="png" data-w="545" style="width: 369px;height: 303px;"> <h3>3.3 hdfs-site.xml 配置 NameNode</h3> <section class="code-snippet__fix code-snippet__js"> <ul class="code-snippet__line-index code-snippet__js"> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> </ul> <pre class="code-snippet__js" data-lang="xml"><code>[along@hadoop01 hadoop]$ vim hdfs-site.xml</code><code><configuration></code><code> </code><code> <property></code><code> <name>dfs.namenode.http-address</name></code><code> <value>hadoop01:50070</value></code><code> </property></code><code> </code><code> </code><code> <property></code><code> <name>dfs.namenode.secondary.http-address</name></code><code> <value>hadoop02:50090</value></code><code> </property></code><code> </code><code> </code><code> <property></code><code> <name>dfs.namenode.name.dir</name></code><code> <value>/data/hadoop/name</value></code><code> </property></code><code> </code><code> </code><code> <property></code><code> <name>dfs.replication</name></code><code> <value>2</value></code><code> </property></code><code> </code><code> <property></code><code> <name>dfs.datanode.data.dir</name></code><code> <value>/data/hadoop/datanode</value></code><code> </property></code><code> </code><code> <property></code><code> <name>dfs.permissions</name></code><code> <value>false</value></code><code> </property></code><code></configuration></code><code>[root@hadoop01 ~]# mkdir /data/hadoop/name -p</code><code>[root@hadoop01 ~]# mkdir /data/hadoop/datanode -p</code></pre> </section> 　 <h3>3.4 mapred-site.xml 配置框架</h3> <img class="rich_pages" data-ratio="1.1615008156606852" data-s="300,640" src="/upload/3d6c2cb1c8ddff7d24abb8d383736a55.png" data-type="png" data-w="613" style="width: 438px;height: 509px;"> <h3>3.5 yarn-site.xml 配置 ResourceManager</h3> <section class="code-snippet__fix code-snippet__js"> <ul class="code-snippet__line-index code-snippet__js"> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> <li></li> </ul> <pre class="code-snippet__js" data-lang="xml"><code>[along@hadoop01 hadoop]$ vim yarn-site.xml</code><code><configuration></code><code> <property></code><code> <name>yarn.resourcemanager.hostname</name></code><code> <value>hadoop01</value></code><code> </property></code><code> </code><code> <property></code><code> <description>The http address of the RM web application.</description></code><code> <name>yarn.resourcemanager.webapp.address</name></code><code> <value>${yarn.resourcemanager.hostname}:8088</value></code><code> </property></code><code> </code><code> <property></code><code> <description>The address of the applications manager interface in the RM.</description></code><code> <name>yarn.resourcemanager.address</name></code><code> <value>${yarn.resourcemanager.hostname}:8032</value></code><code> </property></code><code> </code><code> <property></code><code> <description>The address of the scheduler interface.</description></code><code> <name>yarn.resourcemanager.scheduler.address</name></code><code> <<span class="code-snippet__nam

大厂面试必问的volatile关键字，这一篇文章搞定！

作者：微信小助手

<p style="font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;white-space: normal;background-color: rgb(255, 255, 255);text-size-adjust: auto;font-size: 15px;word-spacing: 2px;text-align: center;" data-mpa-powered-by="yiban.io">点击蓝色“架构文摘”关注我哟 <p style="margin-bottom: 10px;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;white-space: normal;background-color: rgb(255, 255, 255);color: rgb(62, 62, 62);text-size-adjust: auto;font-size: 15px;word-spacing: 2px;text-align: center;">加个“星标”，每天上午 09:25，干货推送！ <p style="margin-bottom: 10px;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;white-space: normal;background-color: rgb(255, 255, 255);color: rgb(62, 62, 62);text-size-adjust: auto;font-size: 15px;word-spacing: 2px;text-align: center;"> <section class="output_wrapper" style="font-size: 15px;color: rgb(62, 62, 62);line-height: 1.6;letter-spacing: 0px;font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;"> 在Java相关的岗位面试中，很多面试官都喜欢考察面试者对Java并发的了解程度，而以volatile关键字作为一个小的切入点，往往可以一问到底，把Java内存模型（JMM），Java并发编程的一些特性都牵扯出来，深入地话还可以考察JVM底层实现以及操作系统的相关知识。 下面我们以一次假想的面试过程，来深入了解下volitile关键字吧！ <h3 style="color: inherit;line-height: inherit;margin-top: 1.5em;margin-bottom: 1.5em;font-weight: bold;font-size: 1.3em;border-bottom: 2px solid rgb(0, 172, 193);"><span style="font-size: inherit;line-height: inherit;display: inline-block;font-weight: normal;background: rgb(0, 172, 193);color: rgb(255, 255, 255);padding-top: 3px;padding-right: 10px;padding-left: 10px;border-top-right-radius: 3px;border-top-left-radius: 4px;margin-right: 2px;">面试官: Java并发这块了解的怎么样？说说你对volatile关键字的理解</h3> 就我理解的而言，被volatile修饰的共享变量，就具有了以下两点特性： <ol style="" class=" list-paddingleft-2"> <li>保证了不同线程对该变量操作的内存可见性;</li> <li>禁止指令重排序</li> </ol> <h3 style="color: inherit;line-height: inherit;margin-top: 1.5em;margin-bottom: 1.5em;font-weight: bold;font-size: 1.3em;border-bottom: 2px solid rgb(0, 172, 193);"><span style="font-size: inherit;line-height: inherit;display: inline-block;font-weight: normal;background: rgb(0, 172, 193);color: rgb(255, 255, 255);padding-top: 3px;padding-right: 10px;padding-left: 10px;border-top-right-radius: 3px;border-top-left-radius: 4px;margin-right: 2px;">面试官: 能不能详细说下什么是内存可见性，什么又是重排序呢？</h3> 这个聊起来可就多了，我还是从Java内存模型说起吧。 Java虚拟机规范试图定义一种Java内存模型（JMM）,来屏蔽掉各种硬件和操作系统的内存访问差异，让Java程序在各种平台上都能达到一致的内存访问效果。简单来说，由于CPU执行指令的速度是很快的，但是内存访问的速度就慢了很多，相差的不是一个数量级，所以搞处理器的那群大佬们又在CPU里加了好几层高速缓存。 在Java内存模型里，对上述的优化又进行了一波抽象。JMM规定所有变量都是存在主存中的，类似于上面提到的普通内存，每个线程又包含自己的工作内存，方便理解就可以看成CPU上的寄存器或者高速缓存。所以线程的操作都是以工作内存为主，它们只能访问自己的工作内存，且工作前后都要把值在同步回主内存。 这么说得我自己都有些不清楚了，拿张纸画一下： <figure style="font-size: inherit;color: inherit;line-height: inherit;"> <img class="" data-ratio="0.5882352941176471" src="/upload/927fe219f31f1afd81ae6065b617765.png" data-type="png" data-w="816" style="font-size: inherit;color: inherit;line-height: inherit;display: block;margin-right: auto;margin-left: auto;height: auto !important;" title=""> </figure> 在线程执行时，首先会从主存中read变量值，再load到工作内存中的副本中，然后再传给处理器执行，执行完毕后再给工作内存中的副本赋值，随后工作内存再把值传回给主存，主存中的值才更新。 使用工作内存和主存，虽然加快的速度，但是也带来了一些问题。比如看下面一个例子： <pre style="font-size: inherit;color: inherit;line-height: inherit;"><code class="hljs ini" style="margin-right: 2px;margin-left: 2px;line-height: 18px;font-size: 14px;letter-spacing: 0px;font-family: Consolas, Inconsolata, Courier, monospace;border-radius: 0px;color: rgb(169, 183, 198);background: rgb(40, 43, 46);padding: 0.5em;overflow-wrap: normal !important;word-break: normal !important;overflow: auto !important;display: -webkit-box !important;">i = i + 1; </code></pre> 假设i初值为0，当只有一个线程执行它时，结果肯定得到1，当两个线程执行时，会得到结果2吗？这倒不一定了。可能存在这种情况： <pre style="font-size: inherit;color: inherit;line-height: inherit;"><code class="hljs sql" style="margin-right: 2px;margin-left: 2px;line-height: 18px;font-size: 14px;letter-spacing: 0px;font-family: Consolas, Inconsolata, Courier, monospace;border-radius: 0px;color: rgb(169, 183, 198);background: rgb(40, 43, 46);padding: 0.5em;overflow-wrap: normal !important;word-break: normal !important;overflow: auto !important;display: -webkit-box !important;">线程1： load i from 主存    // i = 0         i + 1  // i = 1 线程2： load i from主存  // 因为线程1还没将i的值写回主存，所以i还是0         i +  1 //i = 1 线程1:  save i to 主存 线程2： save i to 主存 </code></pre> 如果两个线程按照上面的执行流程，那么i最后的值居然是1了。如果最后的写回生效的慢，你再读取i的值，都可能是0，这就是缓存不一致问题。 下面就要提到你刚才问到的问题了，JMM主要就是围绕着如何在并发过程中如何处理<code style="font-size: inherit;line-height: inherit;overflow-wrap: break-word;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(233, 105, 0);background: rgb(248, 248, 248);">原子性</code>、<code style="font-size: inherit;line-height: inherit;overflow-wrap: break-word;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(233, 105, 0);background: rgb(248, 248, 248);">可见性</code>和<code style="font-size: inherit;line-height: inherit;overflow-wrap: break-word;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(233, 105, 0);background: rgb(248, 248, 248);">有序性</code>这3个特征来建立的，通过解决这三个问题，可以解除缓存不一致的问题。而volatile跟可见性和有序性都有关。 <h3 style="color: inherit;line-height: inherit;margin-top: 1.5em;margin-bottom: 1.5em;font-weight: bold;font-size: 1.3em;border-bottom: 2px solid rgb(0, 172, 193);"><span style="font-size: inherit;line-height: inherit;display: inline-block;font-weight: normal;background: rgb(0, 172, 193);color: rgb(255, 255, 255);padding-top: 3px;padding-right: 10px;padding-left: 10px;border-top-right-radius: 3px;border-top-left-radius: 4px;margin-right: 2px;">面试官：那你具体说说这三个特性呢？</h3> <h4 style="line-height: inherit;margin-top: 1.5em;margin-bottom: 1.5em;font-weight: bold;font-size: 1.2em;color: rgb(0, 172, 193);">原子性(Atomicity)</h4> Java中，对基本数据类型的读取和赋值操作是原子性操作，所谓原子性操作就是指这些操作是不可中断的，要做一定做完，要么就没有执行。比如： <pre st

看动画轻松理解「递归」与「动态规划」

作者：微信小助手

<section class="xmteditor" style="display:none;" data-tools="新媒体管家" data-label="powered by xmt.cn"></section> <section class="output_wrapper" style="font-size: 14px;color: rgb(62, 62, 62);line-height: 1.8;word-spacing: 2px;letter-spacing: 2px;font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', 'Microsoft YaHei', Arial, sans-serif;background-image: linear-gradient(90deg, rgba(50, 0, 0, 0.05) 3%, rgba(0, 0, 0, 0) 3%), linear-gradient(360deg, rgba(50, 0, 0, 0.05) 3%, rgba(0, 0, 0, 0) 3%);background-size: 20px 20px;background-position: center center;"> 在学习「数据结构和算法」的过程中，因为人习惯了平铺直叙的思维方式，所以「递归」与「动态规划」这种带循环概念（绕来绕去）的往往是相对比较难以理解的两个抽象知识点。 程序员小吴打算使用动画的形式来帮助理解「递归」，然后通过「递归」的概念延伸至理解「动态规划」算法思想。 <h3 style="color: inherit;line-height: inherit;margin-top: 1.6em;margin-bottom: 1.6em;font-weight: bold;border-bottom: 2px solid rgb(239, 112, 96);font-size: 1.3em;"><span style="font-size: inherit;line-height: inherit;display: inline-block;font-weight: normal;background: rgb(239, 112, 96);color: rgb(255, 255, 255);padding: 3px 10px 1px;border-top-right-radius: 3px;border-top-left-radius: 3px;margin-right: 3px;">什么是递归 </h3> 先下定义：递归算法是一种直接或者间接调用自身函数或者方法的算法。 通俗来说，递归算法的实质是把问题分解成规模缩小的同类问题的子问题，然后递归调用方法来表示问题的解。它有如下特点： <ul style="" class=" list-paddingleft-2"> <li>1. 一个问题的解可以分解为几个子问题的解</li> <li>2. 这个问题与分解之后的子问题，除了数据规模不同，求解思路完全一样</li> <li>3. 存在递归终止条件，即必须有一个明确的递归结束条件，称之为递归出口</li> </ul> <figure style="font-size: inherit;color: inherit;line-height: inherit;"> <img class="" data-copyright="0" data-cropselx1="0" data-cropselx2="556" data-cropsely1="0" data-cropsely2="313" data-ratio="0.5634837355718783" src="/upload/68c252abc3d7b1644f69000a60427546.gif" data-type="gif" data-w="953" style="font-size: inherit;color: inherit;line-height: inherit;display: block;margin-right: auto;margin-left: auto;width: 556px;height: 313px;" title="递归动画"> <figcaption style="line-height: inherit;margin-top: 10px;text-align: center;color: rgb(153, 153, 153);font-size: 0.7em;"> 递归动画 </figcaption> </figure> 通过动画一个一个特点来进行分析。 <h4 style="color: inherit;line-height: inherit;margin-top: 1.6em;margin-bottom: 1.6em;font-weight: bold;font-size: 1.2em;">1.一个问题的解可以分解为几个子问题的解</h4> 子问题就是相对与其前面的问题数据规模更小的问题。 在动图中①号问题（一块大区域）划分为②号问题，②号问题由两个子问题（两块中区域）组成。 <h4 style="color: inherit;line-height: inherit;margin-top: 1.6em;margin-bottom: 1.6em;font-weight: bold;font-size: 1.2em;">2. 这个问题与分解之后的子问题，除了数据规模不同，求解思路完全一样</h4> 「①号划分为②号」与「②号划分为③号」的逻辑是一致的，求解思路是一样的。 <h4 style="color: inherit;line-height: inherit;margin-top: 1.6em;margin-bottom: 1.6em;font-weight: bold;font-size: 1.2em;">3. 存在递归终止条件，即存在递归出口</h4> 把问题分解为子问题，把子问题再分解为子子问题，一层一层分解下去，不能存在无限循环，这就需要有终止条件。 ①号划分为②号，②号划分为③号，③号划分为④号，划分到④号的时候每个区域只有一个不能划分的问题，这就表明存在递归终止条件。 <h3 style="color: inherit;line-height: inherit;margin-top: 1.6em;margin-bottom: 1.6em;font-weight: bold;border-bottom: 2px solid rgb(239, 112, 96);font-size: 1.3em;"><span style="font-size: inherit;line-height: inherit;display: inline-block;font-weight: normal;background: rgb(239, 112, 96);color: rgb(255, 255, 255);padding: 3px 10px 1px;border-top-right-radius: 3px;border-top-left-radius: 3px;margin-right: 3px;">从递归的经典示例开始 </h3> <h4 style="color: inherit;line-height: inherit;margin-top: 1.6em;margin-bottom: 1.6em;font-weight: bold;font-size: 1.2em;">一.数组求和</h4> <figure style="font-size: inherit;color: inherit;line-height: inherit;"> <img class="" data-copyright="0" data-cropselx1="0" data-cropselx2="556" data-cropsely1="0" data-cropsely2="313" data-ratio="0.5634837355718783" src="/upload/a344655759e884f6a34c2d00f076c016.gif" data-type="gif" data-w="953" style="font-size: inherit;color: inherit;line-height: inherit;display: block;margin-right: auto;margin-left: auto;width: 556px;height: 313px;" title="数组求和"> <figcaption style="line-height: inherit;margin-top: 10px;text-align: center;color: rgb(153, 153, 153);font-size: 0.7em;"> 数组求和 </figcaption> </figure> <pre style="font-size: inherit;color: inherit;line-height: inherit;margin-top: 0px;margin-bottom: 0px;padding: 0px;"><code class="hljs" style="margin-right: 2px;margin-left: 2px;line-height: 18px;word-spacing: 0px;letter-spacing: 0px;font-family: Consolas, Inconsolata, Courier, monospace;border-radius: 0px;color: rgb(169, 183, 198);background: rgb(40, 43, 46);padding: 0.5em;display: block !important;overflow-wrap: normal !important;word-break: normal !important;overflow: auto !important;">1Sum(arr[0...n-1]) = arr[0] + Sum(arr[1...n-1]) </code></pre> 后面的 Sum 函数要解决的就是比前一个 Sum 更小的同一问题。 <pre style="font-size: inherit;color: inherit;line-height: inherit;margin-top: 0px;margin-bottom: 0px;padding: 0px;"><code class="hljs" style="margin-right: 2px;margin-left: 2px;line-height: 18px;word-spacing: 0px;letter-spacing: 0px;font-family: Consolas, Inconsolata, Courier, monospace;border-radius: 0px;color: rgb(169, 183, 198);background: rgb(40, 43, 46);padding: 0.5em;display: block !important;overflow-wrap: normal !important;word-break: normal !important;overflow: auto !important;">1Sum(arr[1...n-1]) = arr[1] + Sum(arr[2...n-1]) </code></pre> 以此类推，直到对一个空数组求和，空数组和为 0 ，此时变成了最基本的问题。 <pre style="font-size: inherit;color: inherit;line-height: inherit;margin-top: 0px;margin-bottom: 0px;padding: 0px;"><code class="hljs" style="margin-right: 2px;margin-left: 2px;line-height: 18px;word-spacing: 0px;letter-spacing: 0px;font-family: Consolas, Inconsolata, Courier, monospace;border-radius: 0px;color: rgb(169, 183, 198);background: rgb(40, 43, 46);padding: 0.5em;display: block !important;overflow-wrap: normal !important;word-break: normal !important;overflow: auto !important;">1Sum(arr[n-1...n-1] ) = arr[n-1] + Sum([]) </code></pre> <h4 style="color: inherit;line-height: inherit;margin-top: 1.6em;margin-bottom: 1.6em;font-weight: bold;font-size: 1.2em;">二.汉诺塔问题</h4> 汉诺塔（Hanoi Tower）问题也是一个经典的递归问题，该问题描述如下： <blockquote style="line-height: inherit;padding: 15px 15px 15px 1rem;font-size: 0.9em;margin-top: 1em;margin-bottom: 1em;color: rgb(0, 0, 0);border-left-width: 5px;border-left-color: rgb(239, 112, 96);background: rgb(239, 235, 233);overflow: auto;overflow-wrap: normal;word-break: normal;"> 汉诺塔问题：古代有一个梵塔，塔内有三个座A、B、C，A座上有64个盘子，盘子大小不等，大的在下，小的在上。有一个和尚想把这个盘子从A座移到B座，但每次只能允许移动一个盘子，并且在移动过程中，3个座上的盘子始终保持大盘在下，小盘在上。 </blockquote> <figure style="font-size: inherit;color: inherit;line-height: inherit;"> <img class="" data-copyright="0" data-cropselx1="0" data-cropselx2="556" data-cropsely1="0" data-cropsely2="313" data-ratio="0.5634837355718783" src="/upload/d9d7966ec40632bb21c81d5363fe5995.gif" data-type="gif" data-w="953" style="font-size: inherit;color: inherit;line-height: inherit;display: block;margin-right: auto;margin-left: auto;width: 556px;height: 313px;" title="两个盘子"> <figcaption style="line-height: inherit;margin-top: 10px;text-align: center;color: rgb(153, 153, 153);font-size: 0.7em;"> 两个盘子 </figcaption> </figure> <figure style="font-size: inherit;color: inherit;line-height: inherit;"> <img class="" data-copyright="0" data-cropselx1="0" data-cropselx2="556" data-cropsely1="0" data-cropsely2="313" data-ratio="0.5634837355718783" src="/upload/f291c4156d0ee6b614b5b101c40aa609.gif" data-type="gif" data-w="953" style="font-size: inherit;color: inherit;line-height: inherit;display: block;margin-right: auto;margin-left: auto;width: 556px;height: 313px;" title="三个盘子"> <figcaption style="line-height: inherit;margin-top: 10px;text-align: center;color: rgb(153, 153, 153);font-size: 0.7em;"> 三个盘子 </figcaption> </figure> <ul style="" class=" list-paddingleft-2"> <li>①  如果只有 1 个盘子，则不需要利用 B 塔，直接将盘子从 A 移动到 C 。</li> <li>② 如果有 2 个盘子，可以先将盘子 2 上的盘子 1 移动到 B ；将盘子 2 移动到 C ；将盘子 1 移动到 C 。这说明了：可以借助 B 将 2 个盘子从 A 移动到 C ，当然，也可以借助 C 将 2 个盘子从 A 移动到 B 。</li> <li>③ 如果有 3 个盘子，那么根据 2 个盘子的结论，可以借助 C 将盘子 3 上的两个盘子从 A 移动到 B ；将盘子 3 从 A 移动到 C ，A 变成空座；借助 A 座，将 B 上的两个盘子移动到 C 。 </li> <li>④ 以此类推，上述的思路可以一直扩展到 n 个盘子的情况，将将较小的 n-1个盘子看做一个整体，也就是我们要求的子问题，以借助 B 塔为例，可以借助空塔 B 将盘子A上面的 n-1 个盘子从 A 移动到 B ；将A 最大的盘子移动到 C ， A 变成空塔；借助空塔 A ，将 B 塔上的 n-2 个盘子移动到 A，将 B 最大的盘子移动到 C， B 变成空塔。。。</li> </ul> <h4 style="color: inherit;line-height: inherit;margin-top: 1.6em;margin-bottom: 1.6em;font-weight: bold;font-size: 1.2em;">三.爬台阶问题</h4> 问题描述： <blockquote style="line-height: inherit;padding: 15px 15px 15px 1rem;font-size: 0.9em;margin-top: 1em;margin-bottom: 1em;color: rgb(0, 0, 0);border-left-width: 5px;border-left-color: rgb(239, 112, 96);background: rgb(239, 235, 233);overflow: auto;overflow-wrap: normal;word-break: normal;"> 一个人爬楼梯，每次只能爬1个或2个台阶，假设有n个台阶，那么这个人有多少种不同的爬楼梯方法？ </blockquote> 先从简单的开始，以 4 个台阶为例，可以通过每次爬 1 个台阶爬完楼梯： <figure style="font-size: inherit;color: inherit;line-height: inherit;"> <img class="" data-copyright="0" data-cropselx1="0" data-cropselx2="556" data-cropsely1="0" data-cropsely2="313" data-ratio="0.5634837355718783" src="/upload/4dc21036c9830afad7340a34bc744aa2.gif" data-type="gif" data-w="953" style="font-size: inherit;color: inherit;line-height: inherit;display: block;margin-right: auto;margin-left: auto;width: 556px;height: 313px;" title="每次爬 1 个台阶"> <figcaption style="line-height: inherit;margin-top: 10px;text-align: center;color: rgb(153, 153, 153);font-size: 0.7em;"> 每次爬 1 个台阶 </figcaption> </figure> 可以通过先爬 2 个台阶，剩下的每次爬 1 个台阶爬完楼梯 <figure style="font-size: inherit;color: inherit;line-height: inherit;"> <img class="" data-copyright="0" data-cropselx1="0" data-cropselx2="556" data-cropsely1="0" data-cropsely2="313" data-ratio="0.5634837355718783" src="/upload/78772af73e22895c9854d1fc0b81da6e.gif" data-type="gif" data-w="953" style="font-size: inherit;color: inherit;line-height: inherit;display: block;margin-right: auto;margin-left: auto;width: 556px;height: 313px;" title="先爬 2 个台阶"> <figcaption style="line-height: inherit;margin-top: 10px;text-align: center;color: rgb(153, 153, 153);font-size: 0.7em;"> 先爬 2 个台阶 </figcaption> </figure> 在这里，可以思考一下：可以根据第一步的走法把所有走法分为两类： <ul style="" class=" list-paddingleft-2"> <li>① 第一类是第一步走了 1 个台阶</li> <li>② 第二类是第一步走了 2 个台阶</li> </ul> 所以 n 个台阶的走法就等于先走 1 阶后，n-1 个台阶的走法，然后加上先走 2 阶后，n-2 个台阶的走法。 用公式表示就是： <blockquote style="line-height: inherit;padding: 15px 15px 15px 1rem;font-size: 0.9em;margin-top: 1em;margin-bottom: 1em;color: rgb(0, 0, 0);border-left-width: 5px;border-left-color: rgb(239, 112, 96);background: rgb(239, 235, 233);overflow: auto;overflow-wrap: normal;word-break: normal;"> <code style="font-size: inherit;line-height: inherit;overflow-wrap: break-word;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(248, 35, 117);background: rgb(248, 248, 248);">f(n) = f(n-1)+f(n-2)</code> </blockquote> 有了递推公式，递归代码基本上就完成了一半。那么接下来考虑递归终止条件。 当有一个台阶时，我们不需要再继续递归，就只有一种走法。 所以 <code style="font-size: inherit;line-height: inherit;overflow-wrap: break-word;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(248, 35, 117);background: rgb(248, 248, 248);">f(1)=1</code>。 通过用 <code style="font-size: inherit;line-height: inherit;overflow-wrap: break-word;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(248, 35, 117);background: rgb(248, 248, 248);">n = 2</code>，<code style="font-size: inherit;line-height: inherit;overflow-wrap: break-word;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(248, 35, 117);background: rgb(248, 248, 248);">n = 3</code> 这样比较小的数试验一下后发现这个递归终止条件还不足够。 <code style="font-size: inherit;line-height: inherit;overflow-wrap: break-word;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(248, 35, 117);background: rgb(248, 248, 248);">n = 2</code> 时，<code style="font-size: inherit;line-height: inherit;overflow-wrap: break-word;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(248, 35, 117);background: rgb(248, 248, 248);">f(2) = f(1) + f(0)</code>。如果递归终止条件只有一个<code style="font-size: inherit;line-height: inherit;overflow-wrap: break-word;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(248, 35, 117);background: rgb(248, 248, 248);">f(1) = 1</code>，那 <code style="font-size: inherit;line-height: inherit;overflow-wrap: break-word;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(248, 35, 117);background: rgb(248, 248, 248);">f(2)</code> 就无法求解，递归无法结束。   所以除了 <code style="font-size: inherit;line-height: inherit;overflow-wrap: break-word;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(248, 35, 117);background: rgb(248, 248, 248);">f(1) = 1</code> 这一个递归终止条件外，还要有 <code style="font-size: inherit;line-height: inherit;overflow-wrap: break-word;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(248, 35, 117);background: rgb(248, 248, 248);">f(0) = 1</code>，表示走 0 个台阶有一种走法，从思维上以及动图上来看，这显得的有点不符合逻辑。所以为了便于理解，把 <code style="font-size: inherit;line-height: inherit;overflow-wrap: break-word;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(248, 35, 117);background: rgb(248, 248, 248);">f(2) = 2</code> 作为一种终止条件，表示走 2 个台阶，有两种走法，一步走完或者分两步来走。 总结如下： <ul style="" class=" list-paddingleft-2"> <li>① 假设只有一个台阶，那么只有一种走法，那就是爬 1 个台阶</li> <li>② 假设有两个个台阶，那么有两种走法，一步走完或者分两步来走</li> </ul> <figure style="font-size: inherit;color: inherit;line-height: inherit;"> <img class="" data-copyright="0" data-cropselx1="0" data-cropselx2="556" data-cropsely1="0" data-cropsely2="313" data-ratio="0.5634837355718783" src="/upload/b25826c0c178da5a00265f2fcd7105b4.gif" data-type="gif" data-w="953" style="font-size: inherit;color: inherit;line-height: inherit;display: block;margin-right: auto;margin-left: auto;width: 556px;height: 313px;" title="递归终止条件"> <figcaption style="line-height: inherit;margin-top: 10px;text-align: center;color: rgb(153, 153, 153);font-size: 0.7em;"> 递归终止条件 </figcaption> </figure> 通过递归条件： <pre style="font-size: inherit;color: inherit;line-height: inherit;margin-top: 0px;margin-bottom: 0px;padding: 0px;"><code class="hljs" style="margin-right: 2px;margin-left: 2px;line-height: 18px;word-spacing: 0px;letter-spacing: 0px;font-family: Consolas, Inconsolata, Courier, monospace;border-radius: 0px;color: rgb(169, 183, 198);background: rgb(40, 43, 46);padding: 0.5em;display: block !important;overflow-wrap: normal !important;word-break: normal !important;overflow: auto !important;">1f(1) = 1; 2f(2) = 2; 3f(n) = f(n-1)+f(n-2) </code></pre> 很容易推导出递归代码： <pre style="font-size: inherit;color: inherit;line-height: inherit;margin-top: 0px;margin-bottom: 0px;padding: 0px;"><code class="hljs cpp" style="margin-right: 2px;margin-left: 2px;line-height: 18px;word-spacing: 0px;letter-spacing: 0px;font-family: Consolas, Inconsolata, Courier, monospace;border-radius: 0px;color: rgb(169, 183, 198);background: rgb(40, 43, 46);padding: 0.5em;display: block !important;overflow-wrap: normal !important;word-break: normal !important;overflow: auto !important;">1int f(int n) { 2  if (n == 1) return 1; 3  if (n == 2) return 2; 4  return f(n-1) + f(n-2); 5} </code></pre> 通过上述三个示例，总结一下如何写递归代码： <ul style="" class=" list-paddingleft-2"> <li>1.找到如何将大问题分解为小问题的规律</li> <li>2.通过规律写出递推公式</li> <li>3.通过递归公式的临界点推敲出终止条件</li> <li>4.将递推公式和终止条件翻译成代码</li> </ul> <h3 style="color: inherit;line-height: inherit;margin-top: 1.6em;margin-bottom: 1.6em;font-weight: bold;border-bottom: 2px solid rgb(239, 112, 96);font-size: 1.3em;"><span style="font-size: inherit;line-height: inherit;display: inline-block;font-weight: normal;background: rgb(239, 112, 96);color: rgb(255, 255, 255);padding: 3px 10px 1px;border-top-right-radius: 3px;border-top-left-radius: 3px;margin-right: 3px;">什么是动态规划 </h3> 介绍动态规划之前先介绍一下分治策略（Divide and Conquer）。 <h4 style="color: inherit;line-height: inherit;margin-top: 1.6em;margin-bottom: 1.6em;font-weight: bold;font-size: 1.2em;">分治策略</h4> 将原问题分解为若干个规模较小但类似于原问题的子问题（Divide），「递归」的求解这些子问题（Conquer），然后再合并这些子问题的解来建立原问题的解。 因为在求解大问题时，需要递归的求小问题，因此一般用「递归」的方法实现，即自顶向下。 <h4 style="color: inherit;line-height: inherit;margin-top: 1.6em;margin-bottom: 1.6em;font-weight: bold;font-size: 1.2em;">动态规划（Dynamic Programming）</h4> 动态规划其实和分治策略是类似的，也是将一个原问题分解为若干个规模较小的子问题，递归的求解这些子问题，然后合并子问题的解得到原问题的解。   区别在于这些子问题会有重叠，一个子问题在求解后，可能会再次求解，于是我们想到将这些子问题的解存储起来，当下次再次求解这个子问题时，直接拿过来就是。   其实就是说，动态规划所解决的问题是分治策略所解决问题的一个子集，只是这个子集更适合用动态规划来解决从而得到更小的运行时间。   即用动态规划能解决的问题分治策略肯定能解决，只是运行时间长了。因此，分治策略一般用来解决子问题相互对立的问题，称为标准分治，而动态规划用来解决子问题重叠的问题。 与「分治策略」「动态规划」概念接近的还有「贪心算法」「回溯算法」，由于篇幅限制，程序员小吴就不在这进行展开，在后续的文章中将分别详细的介绍「贪心算法」、「回溯算法」、「分治算法」，敬请关注：） 将「动态规划」的概念关键点抽离出来描述就是这样的： <ul style="" class=" list-paddingleft-2"> <li>1.动态规划法试图只解决每个子问题一次</li> <li><span style="font-size: inhe

文章列表