“Your Data is Your differentiator(你的数据正是你的差异化竞争力所在。)”当亚马逊云科技CEO Adam Selipsky在re:Invent大会上说出这个观点 ,引起全场参会者的共鸣。
的确,人们普遍认为数据已是最重要的生产要素,所有身处数字化转型之中的企业都在自问:我的数据有多少?质量如何?是否能够有效支撑业务应用?
如今,云平台已成为数据汇聚最重要的一个平台,尤其是随着生成式AI、大语言模型的崛起,云平台上的数据打通、流动需求也随之水涨船高,也让Zero-ETL成为最为重要的技术趋势。
在本次re:Invent大会上,亚马逊云科技介绍了多项Zero-ETL集成特性,让跨数据存储的数据访问与分析更快速、更便捷。正如亚马逊云科技数据与人工智能副总裁Swami Sivasubramanian博士所言:“Zero-ETL能够让数据集成不再是繁琐的手动任务,使客户能够轻松获取他们所需的数据和发掘数据价值。”
Zero-ETL成为大势所趋
数字经济时代,数据如水,滋润万物生长。与水类似,数据只有流动和使用起来,方能释放出巨大价值,否则就容易形成无数个数据沼泽,让企业深陷其中。
Gartner调研数据显示:分析师80%的时间用于发现和准备数据,知识型员工将50%的时间浪费在寻找数据、发现和纠正错误以及确认不信任的数据来源上,数据科学家花60%的时间清理和组织数据。
显然,数据相关技术发展到今天,已经成为一个庞大的技术体系,数据要想真正高效发挥价值,数据技术体系必须有效解决数据流通等问题。尤其是随着生成式AI浪潮的到来,数据如何形成高质量的数据资产就极为迫切,所有企业都渴望能够加速数据资产的形成。
事实上,当前大部分企业普遍拥有不同类型、不同来源、规模与产生速度各异的海量数据,企业需要整体解决方案来处理各种变量,以及集成和合并分散在多个来源的数据。
在亚马逊云科技看来,数据要形成资产,并且实现Data for AI,主要有三个方面:首先,需要一个强有力的数据平台和各种数据工具,通过不断增强的功能来提升数据平台与数据工具的能力,从而加速数据创新的速度;其次,需要把所有数据工具之间整合打通,采用架构的方式解决数据流动的问题,比如利用Zero-ETL架构来消除数据处理等繁重的工作;第三,除了数据治理、数据处理之外,数据管控和数据发现也非常重要。
“从这三个方面做好工作,就能为生成式AI提供一个很好的数据基础。”亚马逊云科技大中华区解决方案架构部总经理代闻如是说。
事实上,为了帮助企业用户迅速而轻松地连接和分析数据,而无需构建和管理复杂的提取、转换和加载(ETL)数据管道,亚马逊云科技近年来在多款产品中集成Zero-ETL特性,让数据流动变得更加容易。在本次re:Invent大会上,Swami Sivasubramanian博士又宣布多项新服务,为推动Zero-ETL走出了重要一步。
亚马逊云科技全力推动Zero-ETL集成
众所周知,ETL是将业务系统的数据经过提取(Extract)、转换清洗(Transform)和加载(Load)到数据仓库、大数据平台的过程,将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。
过去,ETL的工作极为依赖ETL工程师,当数据量一般的时候,ETL工程师尚可对付;但随着大数据时代的到来,面对海量数据,ETL工程师需要耗费大量时间、精力在ETL环境,不仅成本高昂、管理复杂且容易发生间歇性错误,远远达不到业务的需求。
因此,亚马逊云科技近年来推动Zero-ETL意义重大,可以进一步降低了数据融合的成本,实现数据价值的充分释放。去年的re:Invent大会上,亚马逊云科技已经推出关于“Zero ETL”两项全新的集成功能。在本次大会上,亚马逊云科技又推出多项数据库、数据仓库的Zero-ETL集成特性,使得在Amazon Redshift中连接和分析多个关系型和非关系型数据库的数据变得更加容易。
Swami Sivasubramanian博士认为,除了合适的数据工具之外,还需要具备在企业范围内集成数据的能力,亚马逊云科技推动Zero-ETL目的就是让数据集成不再是繁琐的手动任务,客户要能够连接所有数据,无论它们存储在何处。
在本次大会上,亚马逊云科技宣布针对Amazon Aurora PostgreSQL、Amazon DynamoDB、Amazon RDS for MySQL与Amazon Redshift的新Zero-ETL集成的预览版正式可用。例如,这些集成有助于客户快速、轻松地访问Amazon Redshift中常用的关系型和非关系型数据库的数据,进行全面的分析。客户只需在数据库中选择包含所需数据的数据表,数据便会自动复制到Amazon Redshift。
亚马逊云科技数据库副总裁Jeff Carter认为,在Zero-ETL策略下,亚马逊云科技有望帮助用户进一步降低数据移动成本,加速数据流动共享与释放价值。
总体来看,生成式AI浪潮的到来,数据的重要性与日俱增,是企业独特竞争力的关键所在。从今年re:Invent大会可以看出,亚马逊云科技正在大力推动Zero-ETL的集成发展,陆续在多款数据库、数据仓库中集成Zero-ETL特性,这无疑会为亚马逊云科技上数百万企业的数据处理、数据价值释放带来极大帮助,真正帮助企业在AI时代中发挥自己的独特竞争优势。