AWS张侠深度解析数据湖的数据洞悉才能

3月30日，数字年代，企业海量数据躲藏的价值被空前注重，企业的信息和数据流被认为是企业的血液流。与此同时，把企业的数据化财物运用好、怎么从许多数据中取得信息洞悉未来，这些成为企业和业界专家不懈寻求的才能。

近来AWS首席云核算企业战略参谋张侠向媒体介绍了AWS数据湖在完结企业数据洞悉中的最新技术成果和运用体现。

张侠表明，数据自身的价值在于从里边提取出真实有用的信息，把这些信息归类树立成常识，然后用这些常识来辅导企业的举动， 帮企业来运营事务、帮客户完结事务需求、进步客户满意度等等，终究为企业发明更多的价值。

数据湖老概念勃发新生机

数据湖这个概念早在2011年就被提出，开展至今现已走过9个年初。我把数据湖的开展分为两个阶段，张侠表明，前期数据湖仅仅一个初级的概念，有一些开源的运用；得益于云核算供给的海量存储、高功能核算的才能，大约从四年前开端，数据湖进入第二阶段，跟着各项元素的逐个到位，AWS数据湖基本上老练。

那么，数据湖终究是什么？

在张侠看来，数据湖是一个中心数据存储的容器，这个容器能够存储格式化、非格式化的各式各样的数据；这些数据十分简单被快速缩放、有各种办法和东西对这些数据进行查询、能够做各式各样的剖析。

浅显的讲，原本数据许多是结构型数据、买卖型数据，比方啥东西多少价格、什么人多大年纪，这些都是很规则的放在一个一个数据库和数据仓库的小格子里的，可是现在有一套办法，这套办法把任何类型的数据库，结构型的、非结构型的，非结构型的包含电子邮件、视频的、音频的、图形的、一些文章、一些相片等等，都能够直接把它存下来，咱们运用现在云核算年代海量存储的才能和各种新的查询的才能，还有各种数据剖析和处理的才能，直接对这些原始的数据来做查询，这便是数据湖的年代。

张侠也着重，数据湖特别适用做一些数据科学家、数据研讨人员要用的探究性质的数据查询和剖析。本来有一类数据科学家是做那种数据发掘的，这一类数据科学家要做的作业，数据湖特别适用，由于数据湖对一切数据都能兼容、坚持灵活性特别适合做探究性、猜测性、研讨性、前瞻性的服务。

AWS数据湖三大元素

在协助企业构建数据湖上，AWS推出了一系列要害服务。张侠介绍，数据湖的操作过程一般包含：把数据设置、存储；再把数据按需求移动、加载到不同当地；然后把数据清理好，建成数据目录。这些数据要安全的、合规的存好、管好，需求的时分运用东西把这些数据拿出来做各种剖析。

根据此，现在AWS数据湖首要包含三大元素：一是Amazon S3/Glacier；二是AWS Glue；三是AWS Lake Formation。

张侠介绍：Amazon S3，能够存一切各类的数据，它有11个9的数据持久性，它是在云上面三个可用区存了六份，互为备份。它后端还有一个冷存储叫Amazon Glacier (glacier的意思是冰河) 。假如这个数据不常用，咱们咱们能够转到那里边，费用能够更好的下降许多，仅仅多需求三四个小时把它拿出来。冷存储还有一个深度的冷存储Deep Archive。除了这个以外，在我开端讲之前，还有一个叫Amazon DynamoDB，是一个非联系型数据库，存键值这类的数据。在游戏中比方每个玩家是第几级、有多少血、用什么样的兵器，这样的数都是键值配对的数。全球有许多这样的数据都存储在Amazon DynamoDB这样的非联系型数据库。

AWS Glue则是一种全保管的数据提取、转化和加载(ETL)服务及元数据目录。它让客户更简单预备数据，加载数据到数据库、数据仓库和数据湖，用于数据剖析。运用AWSGlue，在几分钟之内便能够预备好数据用于剖析。AWSGlue消除了ETL作业基础设施方面的一切重复劳动，让AmazonS3数据湖中的数据集能够被发现、可用于查询和剖析，极大地缩短剖析项目中做ETL和数据编目阶段的时刻，让ETL变得很简单。

AWS Lake Formation则能把树立数据湖的这套作业自动化，协助企业客户来操作，能够使许多企业在短短的几天时刻内就完结数据湖的建造作业。

现在AWS Lake Formation尚未在我国正式推出。

AWS数据湖的运用

据张侠介绍，AWS数据湖现已在全球范围内得到广泛运用。

以亚马逊自己为例，亚马逊曾经是Oracle全球数据库最大的用户，它运用了75PB的数据库，用了7500多个数据库的比如，整个亚马逊里边1000多个不同的团队，从运营、电商、市场营销、库存，简直事务的许多方面本来都是根据Oracle的数据库。亚马逊在曩昔一年半到两年的时刻做了一件工作，便是全方位的迁出了Oracle的数据库，上一年11月份亚马逊悉数搬迁了Oracle的数据库，搬迁到亚马逊自己相对应的产品。

这个搬迁处理了本来扩展困难、费用贵重等等一系列的问题，减少了数据库费用本钱60%，减少了管理费用70%，添加的功能高达40%。张侠介绍道。

此外，金融职业范畴，美国纳斯达克买卖所也是用了AWS数据湖产品。经过运用数据湖每天处理500亿条的付款，运用数据湖把产品上市时刻缩短了1/3，有很好的服务才能。

张侠表明：AWS数据湖一个很大的优势是把一切这些服务整合在一起，一致的接口、一致的规范，包含像无服务器核算，用了AWS Glue今后，这边接了AWS Lambda，再接了AWS Step Functions，亚马逊那些其他的服务早都做好了这种无服务器的接口，所以一会儿悉数都打通了，这是数据湖得以广泛有用运用的其间一个原因。

张侠着重：所以我个人认为，数据湖到了一个真的要好好研讨、运用的阶段了。数据湖在我国处于一个开展相对前期的阶段，这个机遇很重要，在经济数字化转型年代，数据湖的运用、效果性越来越强，下一代互联网、电商、5G、边际核算等都开展起来今后，与之相对应的咱们更要走数据湖对数据的存储、剖析的路途，所以咱们觉得假如运用这个机遇把这些常识很好的供给给咱们大众和职业的有关人员，我国的运用乃至是这些相关的服务都能更好的开展起来，那是咱们十分脍炙人口的。