HW:大数据平台助力IT数字化转型

应用产品: 亿信ABI数据库

客户简介

国内某大型生产销售通信设备的民营通信科技公司,1987年正式注册成立,总部位于中国深圳坂田,是全球领先的信息与通信技术(ICT)解决方案供应商,专注于ICT领域,坚持稳健经营、持续创新、开放合作,在电信运营商、企业、终端和云计算等领域构筑了端到端的解决方案优势,为运营商客户、企业客户和消费者提供有竞争力的ICT解决方案、产品和服务,并致力于使能未来信息社会、构建更美好的全联接世界。2017年,HW排名《财富》世界500强第83位。

项目背景

在企业规模飞速扩张的今天,各类业务、应用系统全方位地覆盖了整个企业。应用系统从最初的满足用户需求,跨越到分析用户体验及用户画像,立志为全球用户提供最好的服务和体验。

基于此初衷,该企业各部门越来越重视运营这个模块,IT数字化运营的概念也逐渐浮出水面。数字化运营在中小型企业实现起来也许不会那么困难,但对于庞大且历史长久的HW来说必会大动干戈,数字化运营将面对海量的数据存储,企业级数据仓库和各业务数据集市的建设,以及如何在海量数据中挖掘分析出有价值的KPI。对于运营人员来说,最快、最准、最新的运营数据支持,往往能让他们事半功倍。

IT数字化运营所面对的困难:

1、海量数据的存储和处理引擎

2、企业级的数据仓库和数据集市的建设

3、数据处理的可拓展性(挖掘算法、自定义算法的支持)

4、运营页面的响应速度

项目建设情况

为解决以上问题,项目中使用我公司自主研发的分布式大数据库产品PetaBase ,代替了传统的关系型数据库作为主要的数据处理引擎。

挑战一:海量数据的存储和处理引擎

PetaBase数据存储基于Hadoop提供的HDFS分布式文件存储方式,支持关系型数据库和非结构化的数据导入,解决了用户海量数据存储的问题。数据处理使用impala内存计算引擎,相对于Hadoop生态中其他的计算引擎,他有着计算快,支持大多数SQL中的DDL和DML语句等优势。在本次HW数字化运营项目中共处理60多T的数据,其中单表最大数据量达到80亿条,3级ETL跑批只需4到6个小时即可完成。

挑战二:企业级的数据仓库和数据集市的建设

IT数字化运营系统共分为四层,分别是底层数据源,存储层,服务层和应用层。底层数据源包含多个业务系统的底层数据,来源于关系型数据库,Nosql数据库,文本数据等多种数据源。存储层通过PetaBase大数据平台进行搭建,在PetaBase中对底层多源数据进行汇总存储并分层处理,形成多层次数据模型,完成面向应用的数据仓库与数据集市的建设。PetaBase大数据平台为其他平台提供数据接口,为上层应用提供数据基础。

大数据平台助力IT数字化转型

挑战三:数据处理的可拓展性

由于PetaBase的数据存储在HDFS中,Hadoop生态中有多种多样的数据处理引擎,并能支持用户自定义函数的扩展(数据挖掘函数等)。项目中有用到多种数据挖掘的方法,比如通过箱线图的算法来排除异常性能数据,然后取正常性能数据升序排序后的90%位置的数据作为性能值的一个度量,并通过用户自定义的函数来实现。


挑战四:运营页面的响应速度

亿信BI可以直接配置PetaBase为数据连接池。基于亿信BI的并行运算等性能优化手段结合PetaBase数据库的运算性能优势,目前IT数字化运营报表可实现5秒内响应这一效率要求。

价值体现

一、海量数据高效存储与运算

随着HW IT智能运营平台(eSee)承担的IT数字化转型的使命加强,eSee平台的底层数据覆盖范围和数据量呈指数级增长,单靠传统关系型数据库已无法满足要求,平台需要一套基于大数据架构的数据库承担底层数据存储计算工作,而PetaBase的出现正好弥补了HW IT运营平台的不足,并且PetaBase与亿信BI同出一脉,天然的融为一体,让PetaBase对比其他大数据架构平台有更多优势,在项目中应用起来非常便捷。

当前PetaBase已经承担HW IT智能运营平台(eSee)底层大部分的数据存储以及计算处理工作,处理能力得到客户充分认可:

Saas服务层,PetaBase底层处理的数据已覆盖600+IT产品、80+IT用户的用户行为、产品质量以及应用本身的业务量的数据,这些应用数据计算处理后被广泛用于单产品的数字化运营、全球IT服务的5s度量、产品经营分析、用户服务画像等重要的业务场景中。通过运营洞察各产品在网运行情况,驱动产品自我改进;支持撑各类IT用户的ROADs体验落地;发现业务流量的高地,支撑流量低的应用"日落"

Paas平台层,PetaBase在平台底层支撑HW云服务的百万级VM对应资源的性能容量的运营数据的处理,通过资源使用率的度量,帮助业务优化资源管理和分配,让云资源能及时合理使用和释放,提升云资源使用效率。

Iaas基础设施层,Patabase底层承担HW全球5大中心和RDCSR数据中心的机柜、电力、能耗数据的处理工作,同时支撑着全球10+IT后端资产的性能容量的运营数据的后台处理,处理的数据通过前端亿信BI给各业务场景构建的运营界面,助力HW IT的资产使用效率的提升、降低IT基础设施的成本投资,使能HW IT数字化转型成功!

二、与亿信BI完美结合

在内部要求全球IT服务页面5s达标,对于IT智能运营平台(eSee)而言这也是一项必须完成的目标。如何让报表计算能在5s内得到响应,这是一项不小的挑战,尤其是在数据下探分析的时候,因为明细的数据量很大,计算结果一般很难在5s得到。但是如果把这种无法做汇总的大数据的计算放在PetaBase里面计算情况就不一样了,通过项目的实践证明,将报表的明细查询放在PetaBase里进行,之前无法达到业务要求的报表,通过优化都可以达标。

完成数字化运营后,基于已构建的企业级别的数字化平台,实现物与物、物与人之间的互联,向智能物联网(IoT)华丽转身。

助力政企数字化转型 让每个决策都有数据支撑
customer

在线咨询