携程大数据实时计算平台建设实践

-回复 -浏览
楼主 2021-07-20 12:26:31
举报 只看此人 收藏本贴 楼主

本文作者为携程大数据平台负责人张翼。张翼浙江大学硕士毕业,2015年初加入携程,主导了携程实时数据计算平台的建设,以及携程大数据平台整合和平台技术的演进。进入互联网行业近10年,从事大数据平台和架构的工作超过6年。




首先是技术选型五花八门,消息队列有用ActiveMQ的,有用RabbitMQ的,也有用Kafka的,分析平台有用Storm的,有用Spark-streaming的,也有自己写程序处理的;由于业务部门技术力量参差不齐,并且他们的主要精力还是放在业务需求的实现上,所以这些实时数据应用的稳定性往往难以保证。其次就是缺少周边设施,比如说像报警、监控这些东西。最后就是数据和信息的共享不顺畅,如果度假要使用酒店的实时数据,两者分析处理的系统不同就会很难弄。所以在这样前提下,就需要打造一个统一的实时数据平台。



需要怎样的实时数据平台

这个统一的数据平台需要满足4个需求:首先是稳定性,稳定性是任何平台和系统的生命线;其次是完整的配套设施,包括测试环境,上线、监控和报警;再次是方便信息共享,信息共享有两个层面的含义,1、是数据的共享;2、是应用场景也可以共享,比如说一个部门会受到另一个部门的一个实时分析场景的启发,在自己的业务领域内也可以做一些类似的应用;最后服务响应的及时性,用户在开发、测试、上线及维护整个过程都会遇到各种各样的问题,都需要得到及时的帮助和支持。





延伸阅读


昨日热文


 Tip:输入关键字 大数据 可以获得更多内容

CIO之家-CIO的知识库

  • 微信号:imciow 网站: www.ciozj.com

  • CIO必备公众号 | CIO最有影响力公众号之一


可点击下方“阅读原文”获得更多内容


我要推荐
转发到