半岛·体育(BD SPORTS)官方网站

BD半岛新闻中心

金融理财服务管理中国联通智网创新中心自主研发海量网络数据加工软件

2024-04-17
浏览次数:
返回列表

  中国联通智网创新中心是中国联通自主研发网络创新产品、赋能网络运营转型、催化网络能力增值的研发机构,中心坚持以创新为核心价值观,以客户为中心、以产品为主线、以价值为导向,打造数智化、集约化智慧网络中台,强网络能力之基;建设集约化、数字化网络智慧运营平台,固网络运营之本;构建专业化、规模化网络创新研发体系,守网络研发之正;打造差异化金融理财服务管理、价值化网络创新产品,创网络产品之新。

  党的二十大报告中明确提出“坚决打赢关键核心技术攻坚战”要求,为我们做好网络创新研发工作指明了方向。智网创新中心贯彻落实党的二十大精神,深入推进集团公司“1+5+9”战略规划体系,以党建为引领,围绕中心主责主业,识别核心技术“卡脖子”点,寻求自主研发能力的突破,通过党建与研发生产的深度融合,打赢关键核心技术攻坚战,不断提升中心的核心竞争力和可持续发展能力,既是党的二十大精神学习的落脚点之一,也是党的二十大精神学习的最佳实践之一,更是落实公司新定位、新战略的职责所在。

  以网络数据处理技术应用为例,通过智能分析和挖掘用户使用业务感知、设备信息、网络质量等海量数据,提炼价值信息和规律性模式,不仅有助提升运营商的服务质量、商业决策、安全防护效果,也可以为政务、金融、金融理财服务管理新零售等多个行业提供高价值大数据产品,为行业数字化转型赋能。

  但网络数据的加工处理技术长时间掌握在第三方厂商手中,第三方厂商只关注既得利益、忽视技术创新,金融理财服务管理致使中心需要投入大量成本、维持技术相对落后的数据加工处理软件,成为制约中心提升核心竞争力的“卡脖子”点之一。

  面对这一困局,中心党委聚焦核心竞争力提升,结合自身资源禀赋,克服人员不足困难,组建党员为主的先锋团队,瞄准海量网络数据加工平台、网络数据加工软件两大关键领域,开展自主研发,努力实现高水平科技自立自强。

  在网络数据加工平台领域,先锋团队基于全开源大数据生态体系打造统一大数据基础底座,具备独立自主、开源开放、存算分离、批流一体的优势。通过将领先的大数据技术和丰富的最佳实践相结合,提供了多项核心功能,实现了对网络全域数据的集中采集、金融理财服务管理存储、加工、分析,面向全国一点提供网络数据服务,构筑起联通网络创新与数字化运营转型的坚实基座,并进一步激发大数据在更多行业应用的巨大潜力。

  在网络数据加工软件领域,先锋团队基于全开源、存算分离的自研数据处理基座,构建海量网络数据高时效批流一体加工金融理财服务管理,完成完全自主可控的海量数据加工软件研发,并实现7大技术创新。

  1、打造分层化、模块化、工程化加工程序:沉淀公共代码,以及不同加工任务共用的代码逻辑,避免重复造轮子,有效提升开发效率和代码质量;

  2、创新小文件优化策略:文件数量减少80%以上,大大降低NameNode压力,提升HDFS性能,增大数据保存周期;

  3、创新维表关联方法:采用优化后的“预加载维表关联”方法,维表对象内存占用降低90%,算子对外部数据库的查询连接数减少90%;

  4、创新源数据接入方法:基于消息通知机制数据源接入方法,减少数据源接入时延(时延下降50%),降低文件系统压力,增强系统鲁棒性;

  5、实时数据质量控制:保留现有技术方案灵活性和扩展性,减少数据质量控制链中流转总字段数,简化数据质量问题记录收集操作;

  6、自主掌控指标算法:自主完成一整套DPI数据仓库1300多个指标算法设计研发,完善公共数据资产;

  7、任务实时自动调度:构建加工活动依赖关系,实时自动调度,大大提升业务和任务的执行效率,离线小时。

  通过上述技术创新,相比第三方厂商,处理同样数据,时延更低的情况下,节省服务器资源30%。其间攻克BlockMissing、Application is Still in NEW、Yarn Scheduler调度Container分布不均衡、集群各机器CPU和磁盘实际使用率不均衡、亿级QPS数据实时入库、Flink Checkpoint不稳定等10余项技术难关,并获得行业认可:

  为抗震救灾、防汛抢险、司法矫正、反欺诈等场景,供给高质量、低时延的位置数据能力,支撑国家部委及政府工作,履行央企责任。

  对内面向公司数字化转型需求,向全国提供全量用户实时信息、实时触发服务能力,以及流式数据统计和8000种以上的数据资产服务,广泛应用于建设、优化、客服、营销等各类运营场景。

  未来,中国联通智网创新中心将坚持自主创新,持续瞄准大数据、云计算、物联网等技术前沿,研发网络创新产品、赋能网络运营转型、催化网络能力增值,打造全球领先的技术研发与服务平台,面向全联通、面向全行业提供互联网及信息服务,提升产业供给能力和行业赋能效应,助力数字经济高质量发展。(刘子瑞)

搜索