如何实现秒级百万TPS?微博WAIC实时流计算平台架构演进

作者:微信小助手

发布时间:2018-09-25T19:11:54

随着新浪微博业务的不断推进,对数据处理的实时性要求越来越高。例如,大家所熟悉的微博热词,需要在很短的时间内完成数据处理以供在线系统使用。


图片来自包图网


WAIC 实时流计算平台为新浪微博提供可靠的毫秒级和秒级实时数据处理服务,通过提供统一的数据源和配置化接入方式,帮助提高新浪微博实时作业的开发效率,降低部门开发与运营的成本。


2018 年 5 月 18-19 日,由 51CTO 主办的全球软件与运维技术峰会在北京召开。


在“高并发与实时处理”分会场,新浪微博实时流技术平台负责人廖博带来了《WAIC 实时流计算平台的成长和繁衍》的主题演讲。


本文将按照如下四个阶段分享微博实时流计算平台的搭建历程,以及在创建过程中的一些问题和解决方案:

  • 初入实时流计算

  • 实时流计算平台初建

  • 实时流计算平台发展

  • 总结 DQRA 设计模式