AI这门“玄学”为何要从数据平台修起?

著名经济学家、世界经济论坛主席Klaus Schwab在《第四次工业革命转型的力量》一书中认为,这一轮工业革命的核心是智能化与信息化,进而形成一个高度灵活、人性化、数字化的产品生产与服务模式。

诚然如斯。如今,以AI为代表的数字化技术正在推动第四次工业革命,以期实现生产力的又一次飞跃。但经历多年数字化转型之后,用户们发现AI应用上依然面临着诸多挑战。越来越多用户意识到AI要想真正发挥威力,不仅仅涉及到机器学习、联邦学习、模型算法等,更与底部的数据平台息息相关。

用好AI还必须先从数据平台入手?没错!因为一个好的数据平台犹如为AI应用构建好大规模应用的基础,真正让AI通用性变强,从而为生产力注入智慧的力量。

为什么基础架构会遇到瓶颈

不可否认,AI的兴起给基础架构带来了极大变化。Gartner就预测,到2025年,由于人工智能市场的成熟,人工智能将成为推动基础架构决策的最主要因素之一,这将导致基础架构需求增长10倍。

具体来看,当前所有的AI应用都是由数据、算法和算力驱动,并且呈现出一些非常典型的特征:

首先,模型走向大型化和复杂化,带来了极大的数据量和数据处理需求。以OpenAI的GPT模型为例,2020年的GPT-3模型参数达到1750亿个,预训练数据量高达45TB,并且目前市场上诸多模型无论是规模、数据量、训练层数均是屡创新高,对于数据存储的需求也是肉眼可见地增加。

其次,AI应用实时性要求极高,使得像数据平台等基础设施迎来极大压力。例如,像自动驾驶如今成为各大汽车厂商的核心竞争力,一辆L4级的自动驾驶车辆每天诞生高达60TB的数据,谁能够更快训练出更高阶的自动驾驶技术,谁就能够在市场中处于竞争领先位置。

“传统的基础架构无法适应AI数据处理,在数据到达GPU之前,消耗了70%的时间做数据准备。”Hitachi Vantara中国区技术销售总监谢勇介绍道,“GPU、XPU等各种算力在不断提升,但数据存储处理能力却跟不上。”

Hitachi Vantara中国区技术销售总监谢勇

第三,越来越多智慧应用极度渴望多样性数据,AI模型需要多维度数据来不断训练与成长。比如,在金融领域,过去大部分都是基于服务流程中产生的过程数据;现在,很多金融机构为了让模型更加准确,往往会融入像地理信息的遥感数据、动物数据等,数据维度和丰富程度远胜以往。

“总体来看,AI应用在不断走向成熟,带来了数据指数级增长,但用户预算却不断缩减,很多用户在数据平台层遇到瓶颈。”谢勇如是说。

AI需要什么样的数据平台

如果说数据平台是AI应用的地基,那么这个地基的优劣直接决定着AI应用的效率和通用性。一旦AI效率和通用性问题得到解决,也即意味着数据生产力将产生质的变化。

从数据类型、数据处理流程和效率来看,由传统存储架构组成的数据平台的确是有着天然的各种“缺陷”。比如,在很多用户的实际环境中,依然是采用不同接口来接入到不同存储系统之中,很难在一个数据平台上满足不同数据类型对于性能的不同需求,并且容易形成多个数据孤岛;而从数据处理管道来看,存在多个数据孤岛之间来回拷贝的环节,不仅数据处理效率低下,而且性能无法满足AI应用的处理需求。

因此,为AI而生的数据平台应该是在性能、扩展性和易用性方面实现重塑,以满足AI应用对于数据处理的各种需求。事实上,以Hitachi Vantara HCSF (Hitachi Content Software for File) 为代表的新一代数据平台正是在这种趋势下脱颖而出,它让AI数据处理避免了分散管理流程,无需拷贝数据和复杂的性能调优,使得所有数据处理流程均在一个数据平台中进行,并且进行自动化的性能调优,实现性能、扩展性和易用性等方面质的提升。

以性能为例,HCSF采用具备专利的元数据和数据的全分布式架构,以及NVMe和高速网络设计,从而实现同时高效处理高吞吐/高IOPS/低延迟/高效元数据处理,性能比当前市场上所有全闪存NAS快十倍之多;在扩展性方面,HCSF具备从TB到EB级的扩展能力,还能从本地扩展到云端,并且能够实现跨NVMe和OBS的统一命名空间;在易用性方面,实现了从安装到数据协议接入、自动性能调优的简易化,让用户能够很快上手。

“ HCSF作为一个完整的数据平台,避免了传统架构多台设备并存带来的复杂性和数据孤岛,并且在数据接入、空间管理和云端协同方面均实现了极为简易的操作。AI应用的数据处理过程中不需要来回流动、迁移和复制。”Hitachi Vantara中国区资深解决方案顾问蔡慧阳介绍道,“在传统架构的数据平台下,管理复杂性、性能调优都往往需要专家级的技术人员,并且在元数据等层面存在极大缺陷。”

据悉,HCSF在交付方式上也非常灵活,可以提供软硬一体化或者纯软的方式来满足不同用户的需求。此外,Hitachi Vantara也与多家云服务商达成合作,将HCSF直接部署在云端,为客户提供更加灵活的选择。

深耕AI场景,HCSF经受多个行业考验

近年来,金融、科研、医学、制造、汽车等行业均在加速推动AI应用,像金融领域的智能投顾、智能风控,医学领域的精准医学、看片机器人,科研领域的基因研究、地理空间研究;汽车领域的自动驾驶等等,无不体现出AI和数据生产力的价值。

事实上,也正是这些行业用户率先在数据平台上意识到传统架构的不足,并且积极寻求新的数据平台。谢勇表示:“过去三年,很多行业用户均意识到AI应用的最大瓶颈并不是GPU卡,而是数据平台层。”

以某量化基金公司为例,拥有几百个节点的计算集群,采用最先机的GPU计算加速卡,以最先进的算力来跑量化模型,但三年实践下来,无论后端数据平台层如何优化,依然在性能、扩展性方面存在巨大不足。“类似这样的用户不在少数,他们均是在实践AI之后才意识到数据平台的重要性,并且均是通过HCSF解决了上述挑战。”

又如汽车领域的自动驾驶场景,很多车企通常部署了数百台配置先进GPU的计算集群进行自动驾驶训练,每提升一个级别,意味着数据量呈指数级的增长,L5级的自动驾驶甚至能够达到EB级的数据量,对于数据平台的性能、容量和扩展性极为考验。蔡慧阳介绍:“有车企在采用HCSF之后,一次训练与仿真测试时间从过去80个小时缩短为4个小时,EB级的扩展能力也让车企不再为容量担忧。”

“HCSF是专门为AI而生的数据平台,并且在多个行业的AI应用中获得了很好的实践。Hitachi Vantara推出HCSF的初衷就是以数据为中心,让更多行业客户可以更好地应用AI和提升数据生产力,从而实现运营效率的提升和商业创新。”谢勇最后表示道。

分享到: 更多

为您推荐

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注