在数字经济时代,数据上升为新的关键生产要素,逐渐超越土地、资本等传统要素,成为社会经济发展和企业创新更加重要的驱动力。
但如何充分释放数据价值在当下依然是一个世界性难题。一方面,企业与组织逐渐拥有海量数据规模和丰富应用场景,但海量多源异构数据的存储与管理带来极大挑战 ;另一方面,数据价值释放也遇到现实困境,权威机构统计表明,当前全球仅仅只有2%的数据被真正分析过,而注入AI模型的数据连1%都达不到。
如何破局?尤其是“数据二十条”正式颁布的大背景下,数据基础制度建设已经全面提速,对于企业而言,建设数据驱动型的现代化企业已是大势所趋。为此,华为云带来了他们的答案:今天,在华为云“数据之道·知行派”高峰论坛上,华为云面向广大行业用户全面介绍了其数智融合平台。
华为云EI服务产品部部长尤鹏
正如华为云EI服务产品部部长尤鹏所言:“华为云数智融合平台,通过数据治理生产线DataArts和AI开发生产线ModelArts融合的‘双引擎’,为企业与组织提供数据全链路解决方案,加速企业数智化转型。”
数智为何要走向融合?
在数字化浪潮中,数据正在重塑企业的运营、管理、决策乃至创新,建设“数据驱动型的现代化企业”则成为越来越多企业与组织共同的核心目标。
不过,企业当前在数据价值实现中面临的挑战空前巨大:
- 企业数据产生的速度、规模和类型,远超当前设备的处理和计算能力,数据价值挖掘效率低下;
- 企业经过多年积累,拥有异常复杂的数据处理相关技术栈,彼此割裂情况严重,数据孤岛让数据无法自由流动、共享,数据往来、移动操作复杂,协同工作更是难上加难;
- 智能应用的涌现和数据消费群体的急速上升,对于数据渴求度越来越强,但企业在数据准备上消耗了太多精力、人力,用数效率亟待提升。
归根结底,数据只有在流动、共享与应用中才能充分挖掘出其价值,而数据要素价值释放的过程又是一个长链路过程,涉及到大数据、人工智能等诸多技术。“人工智能与大数据已经密不可分,需要深度融合激发各自潜能。数据治理是AI应用高质量落地的首要且必要环节,而自动化智能化的全生命周期管理则让大数据价值挖掘普惠化。”尤鹏介绍道。
因此,数智融合是企业建立“数据驱动型的现代化企业”的必然趋势,围绕数据全链路,通过数智融合,实现从数据治理到智慧应用的数据价值闭环。
例如,如今热门的AIGC类应用,其智能程度已经实现质的飞跃,已迅速在金融、电商客服、办公等多种场景中获得应用。AIGC类应用正是数智融合的典型,底层基础是强大的数据治理能力,预训练语言大模型不断获得高质量数据进行训练、迭代和优化,从而带来远胜以往的智能应用理念。
事实上,华为云是业界最早洞察到数智融合的趋势。在积累多年与数据、人工智能相关的产品、技术之后,华为云打造出数智融合平台,从数据全链路的视角帮助千行百业用户们真正把数据价值释放出来。
华为云数智融合平台:企业数智化转型的压舱石
数智融合绝非易事。
过去,在单点或者简单业务场景中,数据价值的实现通过各种半工具化产品即能较好实现;如今,围绕数据全链路的价值需求趋势明显,并且业务复杂程度高、涉及技术众多,必须通过集成化、工程化、服务化的数智融合平台来帮助企业充分释放数据要素的潜能。
为真正打通数据与人工智能协同流程,帮助企业打造释放数据价值的闭环,华为云在四项技术上进行创新与深耕:
- 融合资源池:采用计算、存储、缓存三层池化架构,资源效率提升20%以上,实现极致性价比;
- 融合数据管理:采用中心化数据安全策略和加速策略,支持一份数据在数据湖、数据仓库、AI、开源系统等多个引擎间自由共享,企业用数更敏捷;
- 融合工作台:构建协同的引擎运行环境,DataOps+MLOps+DevOps无缝协同,开发效率提升50%;
- 融合湖仓智:数据全生命周期智能化,开发和数据治理效率提升2倍。
据悉,华为云数据治理生产线DataArts包括GaussDB(DWS)数据仓库、MRS云原生数据湖、DataArts Studio数据治理、GaussDB数据库等服务。例如,DataArts Studio数据治理中心主要实现自动化、智能化的数据治理,形成清洁、干净、可信的数据,驱动业务智能决策。
如何理解数据治理生产线DataArts?就像石油不能直接使用,需要经过采集、运输和提炼之后才能进入到各行各业的供应链之中;同样,数据也需要类似过程才能形成数据资产,数据治理生产线DataArts就像是数据的“提炼工厂”,它围绕数据生命周期,从数据集成、数据存储、数据转换到数据分析、数据应用使能,帮助用户完成数据开发和治理,让数据真正形成数据资产。
以“全球玻璃大王”信义玻璃的实践为例。通过华为云数据治理生产线DataArts,信义玻璃每天自动采集超40万点位的生产设备状态、工艺数据,每天处理3亿+数据记录,并且实现全域数据融通共享,实现99%的玻璃质量问题溯源定位和设备异常秒级自动报警,真正在业务中发挥了数据价值。
“平台架构、协作方式、商业智能和数据开发范式是很多企业在选择数据产品时所关注的。数据治理生产线DataArts是AI加持的数据全生命周期管理平台,真正实现了数据架构灵活可配、DataOps+MLOps+DevOps协同融合;同时,帮助企业实现了数据分析的普惠+实时体验,并且让数据开发范式从人工开发转向AI辅助开发。”华为云EI大数据领域首席科学家王健楠如是说。
华为云EI大数据领域首席科学家王健楠
而AI开发生产线ModelArts,则可以解决AI落地千行百业最后一公里的难题,通过集成化、工程化和服务化的平台来实现“AI工程化”能力。
首先,ModelArts提供数据处理、算法开发、模型训练、模型管理、模型部署等AI应用开发全流程技术能力,让企业可以在ModelArts上做专业的AI开发、流畅、稳定、可靠的AI运营。
其次,ModelArts提供数据、训练、推理三层加速。数据加速DataTurbo支持100T+超大规模数据集训练,加载速度提升可达5倍;训练加速TrainTurbo可减少37%训练耗时,分布式训练自动容错将恢复时间从24小时降低到分钟级;推理加速InferTurbo则提供2倍性能提升。ModelArts基于三层加速让AI开发与运行更高效。
第三,ModelArts提供包括通用和场景化的套件,如出行调度、销量预测、生产排程、货架识别、工业质检等UseCase,便于千行百业的客户及开发者调用云上的AI能力。用户还可以在EI Gallery社区调用超过10万项行业资产,提升开发效率。
Gartner在《多人化数据科学和机器学习平台(DSML)市场指南》报告认为,平台未来趋势是围绕数据全生命周期,具备自动化或增强数据处理、模型构建、在线服务等各项工作;同时,还具备多人协作和广泛的开源与集成能力。
毫无疑问,华为云数智融合平台代表着数智融合的演进方向和领先水平。华为云数智融合平台真正解决了数据从要素到资产再到价值实现这条长链路的无缝衔接、良好协作的难题,通过集成化、工程化和服务化有效降低了底层各项工作的难度,成为企业数智化转型过程中的压舱石,助力企业数据价值的实现。
构建数据驱动型现代化企业:华为云全方位助力
众所周知,数据驱动型现代化企业不仅仅是数据相关技术、产品和解决方案的采用,更是企业文化、管理理念和发展战略的全方位重塑。
为此,华为云综合自身实践、丰富的行业经验以及强大的生态能力,从方法论、咨询和生态等多个维度全面发力,全方位帮助千行百业的企业加速迈向数据驱动型现代化企业。
在方法论维度,华为云在华为的业务数据使能和其他行业实践中,积累了大量的实践经验。例如,华为云在工行基于FusionInsight MRS湖仓一体批流一体技术建立同业最大单集群,支撑300+行内大数据应用,日均承载批量计算作业数达到30+;在国网天津电力,华为云的MRS全栈实时数据湖帮助国网天津电力实现电费快报时延降至5分钟、电费测验提效14倍……
基于此,华为云推出了《华为云数据使能白皮书》,介绍华为云结合华为自身变革管理经验和在其他行业领域的实战,沉淀出数据使能的宝贵实践经验,为千行百业用户构建数据驱动型现代化企业提供参考指南。
在咨询维度,华为云围绕“方法论+管理体系+技术平台+应用场景”,可以帮助企业从咨询规划到平台建设落地,从多角度、多层次、多粒度挖掘数据价值,帮助企业重塑体验、效率、模式、运营。
在生态层面,华为云数智领域已经拥有超过80W的开发者,8700+社区代码贡献者,覆盖业内主流算法模型及数据集的2000+行业资产,以及覆盖金融、制造、互联网、医疗等多个行业的企业用户。
“华为云愿意做厚数智融合生态的黑土地,持续深耕产品、技术、解决方案和生态,让数据和AI开发加速进入到现代化的生产阶段,全方位推动千行百业的数据价值持续释放。”尤鹏最后表示道。