高性能数据分析时代,华为存储为HPDA带来了什么

在海量基因数据中进行全基因数据分析,了解各种疾病与DNA之间的隐秘联系;对海洋气候进行预测,利用强大的数据分析性能,实现分钟级的数据刷新、精准预测海洋气候;利用高速相机模拟人脑上亿个神经元之间联接与工作,对产生的海量数据进行实时分析,探索人脑工作机制……

如今,数据正在迅速改变科研领域,推动传统科研模式加速向基于“数据密集型科学”的科研新范式转变。随着数据成为生产要素,数据采集、数据存储等相关技术与方案不断创新,越来越多科研人员感受到科研新范式所带来的巨大价值。

因此,近年来,无论是政府超算,还是科研高校均在加速构建面向多元算力和海量数据的新型HPDA(High Performance Data Analytics,高性能数据分析)平台,为不同学科提供面向HPDA应用负载的数据基础设施成为当务之急。

在今年第十八届全国高性能计算学术年会(CCF HPC China 2022)上,面向HPDA场景的数据存储相关话题再次引燃会场。其中,华为DataRobot HPDA存储集群解决方案更是获得广泛关注。华为DataRobot HPDA存储集群解决方案不仅获得官方最佳解决方案奖,更凭借应用加速、数据跨域管理和全栈敏捷等方面的出色创新为HPDA场景下的数据存储解决方案打开了新思路与新局面。

HPDA与HPC大不同

在传统HPC时代,基于计算科学的科研范式往往是先提出可行理论,再搜集数据,之后通过计算仿真进行验证,大多以数值计算为主;而如今基于“数据密集型科学”的科研新范式,则更多与大数据知识挖掘及AI训练推理技术结合,通过计算与分析获得新知识和新发现。科研领域正式进入到HPDA高性能数据分析时代。

科研范式的转变,意味着对于底层数据基础设施的需求将发生根本性改变。数据密集型的科研应用负载,其数据往往具有不可重复性、高度不确定性、高维、计算高度复杂等特征。加上当前科研领域对于数据流动的需求愈发强烈,使得科研领域的HPDA面临着诸多挑战:

其一、混合计算需要更加牢固且强大的、支持HPDA场景的可靠存储底座。众所周知,无论是高校科研机构的智算中心,还是辐射区域的政府超算中心,均需要同时跑不同类型的科研应用负载。这些工作负载对于数据存储的容量、性能、带宽、管理、访问协议方面的要求各不相同,因此就需要强大的HPDA数据存储同时支撑起这些混合工作负载,并减少数据量膨胀以及数据迁移;

其二、很多HPDA工作负载对于数据实时处理性能要求很高,例如在高能物理分析、天气预测、药物研究以及电信欺诈等场景中,往往会面对大规模网络并发数据处理需求,需要短时间内对海量数据进行快速分析与处理,这对于HPDA场景下存储系统的全栈协同、高效处理能力提出了极高要求;

其三、数据流动与共享是整个社会经济发展的大势所趋,在科研领域也不例外。尤其是在东数西算、东数西存等战略的大背景下,跨地域、跨集群的数据共享与流动势在必行,为了面对海量数据处理、数据分散、数据多元化、安全可信等难题,企业急需全新的HPDA数据存储解决方案来支撑。

因此,业界普遍意识到,需要打造支持混合负载、多协议互通且具备超高密设计、面向HPDA场景的存储集群解决方案,来应对HPDA工作负载愈发严苛的挑战。其中,华为率先推出了业界首个数据加速引擎加持的HPDA全栈方案—华为DataRobot HPDA存储集群解决方案,真正为HPDA存储打开了全新的创新思路和应用阶段。

华为DataRobot存储集群解决方案带来了什么

事实上,HPDA工作负载改变的,不仅仅是存储系统本身,更是对于数据存储的设计、使用模式和创新能力的一次重塑。

与其他传统存储方案不同,华为DataRobot HPDA存储集群解决方案是业界首个数据加速引擎加持的HPDA全栈方案,其真正在数据应用加速、数据跨域管理、绿色节能和全栈敏捷设计四大方面开创了先河,引领HPDA存储创新。

首先是出色的数据应用加速:华为的DataTurbo应用加速引擎,真正让华为DataRobot HPDA存储集群解决方案满足各种科研工作负载的极致性能需求。

具体来看,DataTurbo是华为DataRobot HPDA存储集群解决方案中联接应用与存储的数据加速引擎组件,由应用加速引擎和全局数据管理组件组成。

其中,应用加速引擎内置了自研网卡芯片和HPC、大数据加速套件,具备I/O聚合算法、统一元数据网关、芯片I/O卸载等黑科技,可实现应用处理效率数倍提升,同时结合OceanStor存储的全局共享存储能力,在面向E级超算场景下,可实现万级计算客户端并发访问,且单集群达到50TB/s带宽,10亿IOPS能力,性能领先业界30%。

除了应用加速引擎之外,DataTurbo的全局数据管理组件则让HPDA的跨域数据管理更加简单与高效,真正有效推动了数据的流动与共享,为科研领域的数据分析与价值实现带来了更多可能。

全局数据管理组件可以基于统一元数据,构建全局命名空间,实现跨数据统一访问;支持智能的全文检索,打破地域限制,让数据看得见;并可通过智能调度策略,根据数据温热冷分级,可实现3倍数据调度效率提升。

其次,科研机构的超算中心/智算中心通常规模庞大、设备众多、能耗成本高昂,随着国家碳达峰/中和战略目标的推出,超算中心/智算中心走向绿色节能的发展之路是大势所趋。

为此,华为DataRobot HPDA存储集群解决方案在存储系统设计上,通过热温冷数据智能分级设计,实现三个层级的数据自动流动:本地集群内实现SSD、HDD主存储、蓝光存储间的数据分级;跨集群数据远程自动分级到其他数据中心;本地数据中心到公有云的数据分级流动。通过将数据放置在最合适的位置,实现跨数据中心层面的整体节能。

值得一提的是,基于华为DataRobot HPDA存储集群的自研多模型数据合并压缩技术,可以将数据在本地压缩后再传输,极大的节省传输带宽和存储空间,最终实现十年整体TCO降低70%。

面对传统风冷机房的能耗问题与高密度支持问题,华为采用的风液冷机柜,创新的硬件设计让整柜功率密度达到20KW+,PUE≤1.25,功率密度提升1.5倍。DataRobot HPDA存储集群所提供系列高密分布式存储配置中,OceanStor高密大容量产品,在5U高的标准设备空间内可以容纳120块HDD,单位空间密度比其他同类产品高出20%。

第四,如今大数据、AI等技术的融入,使得很多科研机构的数据中心平台都面临着多元异构算力的环境,这对于HPDA存储产品的设计与交付提出了极大挑战。为此,华为DataRobot HPDA存储集群方案采取全栈敏捷设计,提供了包含基础柜、计算柜和存储柜在内的三类模块化硬件组合,基于最佳实践的典配机柜设计,用户可以根据不同规模业务场景可按需选择部署、灵活扩展。同时具备一站式交付能力,可帮助用户业务上线时间缩短50%。

此外,华为DataRobot HPDA存储集群解决方案还提供全栈统一运维平台,可以对多个数据中心的存储、计算、网络、容器等资源统一管理,包括从资源规划、端到端资源发放、设备运维、到资源优化全生命周期管理,同时提供AI智能运维,实现5倍的管理效率提升和分钟级问题定界,极大降低运维问题,让科研机构可以将更多精力投入到科学研究之中。

生态加持,华为DataRobot行稳致远

如今,基于“数据密集型科学”的科研新范式正在深刻影响着各大科研机构。在高性能数据分析时代,仅凭借数据基础设施的创新将不再满足要求,需要从底层数据存储、上层应用,到整体方案设计进行全方面的创新。

显然,华为数据存储率先意识到HPDA领域的这种需求变革,并且在确保产品优秀的基础上,大力推动生态的力量,联合科研领域的联科/赛乐/人和未来等多家合作伙伴,在DataRobot HPDA存储集群解决方案中进行应用调优和预集成,真正让客户开箱即用。

总体来看,基于“数据密集型科学”的科研新范式已是大势所趋。随着大数据、人工智能等技术进一步融合到科学研究的日常工作之中, HPDA存储集群解决方案必将被进一步普及。毫无疑问,华为DataRobot HPDA存储集群解决方案的出现,为市场树立了新标杆,有望持续帮助更多用户构建起领先的数据基础设施,推动科研新范式步入发展的快车道。

分享到: 更多

为您推荐

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注