都是湖仓,亚马逊云科技这个“智能湖仓”有何不一样?

今年绝对是数据湖和湖仓一体的热门之年。从年初以来,关于数据湖、湖仓一体这些话题就络绎不绝,各大云服务商纷纷推出相关产品与解决方案。究其原因,随着数字化转型步入深水区,带来了数据指数型增长、日益复杂应用场景以及基于实时数据的快速决策需求,数据湖、湖仓一体就成为众多用户在数字化转型中的硬需求。

在众多云服务商中,亚马逊云科技是对数据湖兴起最优远见的厂商。早在2017年,亚马逊云科技就推出了Amazon Redshift Spectrum引擎,打通数据仓库对数据湖中数据的直接访问;之后,2019年,亚马逊云科技将redshift spectrum 引擎命名为Lake House引擎;到2020年re:Invent大会上,亚马逊云科技提出Lake House智能湖仓架构。

近日,亚马逊云科技Lake House智能湖仓架构首次在国内揭晓,这标志着亚马逊云科技又一款重量级解决方案落地中国市场,加速推动大数据、AI等相关功能与产品在中国用户群的使用。

“智能湖仓”有何不同

与其他云服务商不同,亚马逊云科技并没有强调“智能湖仓”是一款产品,而认为是一个新的架构。围绕这个新架构,亚马逊云科技提供一系列全面深入的数据分析服务,来满足用户对于数据的多维度需求。

具体来看,亚马逊云科技“智能湖仓”架构以Amazon Simple Storage Service(Amazon S3)为基础构建数据湖,作为中央存储库,围绕数据湖集成专门的“数据服务环”,包括数据仓库、机器学习、大数据处理、日志分析等数据服务,然后再利用Amazon Lake Formation、Amazon Glue、Amazon Athena、Amazon Redshift Spectrum等工具,实现数据湖的构建、数据的移动和管理等。

都是湖仓,亚马逊云科技这个“智能湖仓”有何不一样?

亚马逊云科技大中华区云服务产品部总经理顾凡直言,亚马逊云科技所定义的智能湖仓架构,核心目的就是让数据在湖、仓和专门构建的数据服务之间无缝数据移动,实现统一管理、低成本,降低像机器学习等应用的门槛。

事实上,数据在湖、仓和专门构建的数据服务之间实现无缝移动极具价值。众所周知,如今任何一个用户都面临着海量数据增长的难题,当海量数据规模成为常态时,无论是数据湖、数据仓库还是其他数据存储方案,其所存储的数据量一直在不断膨胀,逐渐衍生出一种新的现象:即数据往来、移动操作变得愈加复杂与困难。

亚马逊云科技将这种现象形象地比喻为“数据重力”。毫无疑问,解决“数据重力”现象,亚马逊云科技的“智能湖仓”架构就是当下最有针对性的架构。在亚马逊云科技看来,“智能湖仓”架构具有灵活扩展、专门构建、数据融合、深度智能和开源开放五大特点,涵盖数据源、数据摄取层、存储层、目录层、数据处理层和消费层六层架构,可帮助客户轻松应对海量业务数据,充分挖掘数据价值。

据悉,为进一步推动“智能湖仓”架构的落地,过去半年里,在由光环新网和西云数据运营的中国区域,亚马逊云科技发布了近40项与数据分析相关的服务和特性。“我们将加速将亚马逊云科技全球领先的产品、技术引入中国市场。”顾凡如是说。

“智能湖仓”如何征服中国用户的心

事实上,在亚马逊云科技此次正式推出“智能湖仓”架构之前,已经在国内落地了多项数据服务,并且受到了第三方机构和行业用户的广泛认可。

例如,在沙利文中国联合头豹研究院发布的《2020年中国数据管理解决方案市场报告》中,亚马逊云科技凭借创新的技术、灵活的数据管理、云上安全、全球商业实践,被评为中国数据管理解决方案领导者。该报告针对成长指数(功能成长)、创新指数(能力创新)、基本指数(基本数据分析能力)三大维度,对竞争主体旗下数据管理解决方案竞争力进行了评估。亚马逊云科技不仅综合实力排名第一,且三项指数均名列第一。

启元世界作为亚马逊云科技智能湖仓架构的用户,也谈到了使用感受。启元世界CTO龙海涛直言:“我们希望把更多精力聚焦于算法迭代与产品打磨,成熟、稳定、免运维的数据托管服务是首选。”

事实上,启元世界作为一家人工智能平台公司,拥有很强的AI能力,并以SaaS的形式为国内多家知名的游戏公司提供虚拟玩家陪玩、游戏商品推荐、关卡数值设计、游戏内容生成等服务。据悉,启元世界通过“智能湖仓”实现数据融合,并通过分析工具可高效地支撑了我们敏捷的业务迭代,运营成本下降高达50%。

“游戏业务场景通常是全球分布,为保证服务质量,必须通过全球部署来实现;另外,游戏运营也会存在波峰波谷的情况,业务弹性大,因此需要灵活、敏捷和弹性的技术架构来支撑起业务弹性变换。”龙海涛表示道。

事实上,除了游戏、互联网等行业之外,亚马逊云科技的“智能湖仓”架构在汽车制造、零售、交通、金融等行业中已经得到越来越多的应用。

总体而言,未来基于数据驱动的智能应用必然会越来越多,将来大量用户必然会遇到数据重力现象,如何应对一个数据规模更加庞大、管理更加复杂的数据环境,这是所有用户都将面临的挑战。如今,随着亚马逊云科技“智能湖仓”架构在国内推出,未来有望给更多行业用户带来更大的价值。

分享到: 更多

为您推荐

发表评论

邮箱地址不会被公开。 必填项已用*标注