做一名大数据的“医生”——北京详单云大数据优化之路

-回复 -浏览
楼主 2019-09-15 13:12:52
举报 只看此人 收藏本贴 楼主


企业大数据平台最近病痛不断

内部数据庞大

数据监管失控

系统故障不断

......


想要为这名“病人”治病?

那就急需一名大数据的“医生”啦!


以下为大家分享一则

大数据平台“康复治疗病例”


北京移动详单云云化改造项目



项目

介绍


北京移动详单云云化改造项目主要任务是建设北京移动私有云及hadoop管理平台,实现Hadoop技术在详单存储系统中的引入,该项目集合了BC-CMH、BC-HControl、BC-ETL、BC-LogManager等产品。


此外,管理平台要求能够提供详单云生产系统大数据平台的持续性运维管理,包括驻场巡检和故障处理、部署管理、监控管理、告警管理、任务管理、配置管理等。


项目刚刚上线后,由于数据复杂度高数据量较大,缺少应用与大数据平台的集成架构设计,对大数据平台造成很大压力,面临改造和优化。


项目组成员合影


案例

成果

性能提升

通过该项目进行优化,北京详单云大数据平台能满足集团对查询超时率的考核,单表大小降至原来的15%,大大的节省存储空间,提升平台性能。


投资节省

苏研团队对系统进行优化后,现有系统已经可满足性能需求,无需再扩容,为北京移动公司节省了近千万元的硬件投资。


团队提高

帮助客户团队和友商提高大数据管理水平,同时具备超凡的业务能力和高超的技术水平。



【优化前】


详单云大数据平台优化前,系统存有近8个月的详单数据,按照当时的存储方式计算,大数据平台最多可存储到2018年2月,需要紧急扩容150个节点才能满足存储25个月详单数据的需求。



【优化后】


优化后,现有系统便可满足性能需求,无需扩容,截止目前,数据量是之前的两倍以上,日详单数据扩展为三倍的分时话单数据外,还增加了物联网详单、账单等数据,能满足存储数据保留25个月的需求。




经验

总结

北京公司帐详单业务涉及多个部门管理和衔接口,以及硬件集成商和应用层开发等相关外部单位,为保障此项目能有序推进,各方信息的同步与沟通至关重要。


项目组充分发挥铁三角的优势,集中大数据部门主导响应客户需求,上线实施期间北支全力配合。苏研项目组还坚持每日巡检每周汇报,加强客户侧驻场力量,随时了解部门的要求,协调各方协同予以落实,主动掌握话语权。


运维能力是保障

 

在攻坚阶段力保项目按时验收通过后,马上转入上线保障工作阶段,大数据和北支联合组建项目运维保障团队,经受住多次软硬件故障考验,7*24小时及时处理问题;在节假日和重要日期保障运维无重大故障,同时为经验复制积累了丰富知识库。


技术实力是根本

归根结底,产品和团队的硬实力才是打赢胜仗的决定性因素。拿下北京公司详单云项目,检验了我们的产品和技术实力。在没有先前经验,客情关系弱的情况下,坚持技术改进方案;在客户质疑的情况下,背负压力限时解决问题。客情关系和技术实力的结合是赢得市场之本。


我要推荐
转发到