ag九游会登录入口--信誉保证

深圳市桂科微电子有限公司接待您!
桂科微电子-GKVAY
7*24小时办事热线:
###
新闻中心news
行业资讯

亚马逊云底子架构:一场从未停息的技能创新反动

作者:开创人 日期:2022-04-19 人气:290
在亚马逊的每一份年报中,Jeff Bezos 都市附上一份 1997 年致股东信的原件正本。在信中,Bezos 概述了亚马逊能否乐成的根本权衡尺度:坚韧不拔[jiān rèn bú bá]地存眷客户、发明临时代价而不是存眷企业短期利润,以及继续举行胆大的创新。Bezos 写道,“假如ag九游会实行得很好,那么天天都是‘第一天(Day one)’。”

2006 年,亚马逊推出了 Amazon Web Services,今后创始出了云盘算市场。已往的十一年,亚马逊在 Gartner 的云底子办法宁静台办事魔力象限 (CIPS) 上不停处于遥遥抢先的向导者地位。在云盘算行业广泛的红利窘境下,往年 2 月亚马逊发布了上一财年第四序度数据,亚马逊云办事本季营收 178 亿美元,同比增加 40%,营收增速在 2021 年一连 4 个季度继续提拔。
现在,云盘算范畴竞争敌手均日渐成熟,市场竞争非常剧烈,而亚马逊却能不停坚持抢先位置,不停被追逐,但从未被逾越。假如从亚马逊云科技降生与开展的历程来看,你会发明“基于客户需求,疾速的产品更新与技能迭代”的 Day one 理念一直贯串此中,从而能让亚马逊一起领跑云盘算市场。

云盘算的降生

亚马逊云科技的技能头脑实践降生于 20 年前,十分具有前瞻性。然后亚马逊推出的 Prime 办事为用户数目带来了发作性增加,于是亚马逊开端方案第二个名叫“Merchant.com”的项目,目标是为大型批发客户提供在线体验。

该项目投入了许多工程师,但没能准期交付。由于事先 Amazon.com 接纳的是单体使用步伐,巨大并且多平台组件交错在一同。为了给客户添加新功效,开辟职员必需在这个单体步伐上从零编辑和重写少量代码,次要是盘算和数据库。别的,每次团队办理题目时,都仅限于办理本人项目中的题目,各人都在做偏重复的事情。

为了加速使用步伐的迭代历程,亚马逊以十分严厉的方法理清商业偏重新设计了架构,将单体步伐重组为被称为“办事”的更小局部,还拆解了开辟职员的职能条理布局,构成浩繁小型的“两个披萨团队”。每一个小团队都会合在特定的产品、办事或功效集上,付与他们对使用步伐特定局部的更多权限,以加速对本人卖力的产品的决议计划历程。最初,Merchant.com 办事得以乐成推出,亚马逊为用户提供了可本人设置代价、题目和可用性的 API,在没有任何推行的状况下,不计其数[bú jì qí shù]的开辟者涌向这个 API。而这种用来构建 Merchant.com 使用步伐的“微办事”头脑,连续至今曾经彻底改动了古代使用步伐的构建方法。

剖析使用步伐和构造布局,这只是故事的一半,另一半是关于“底子架构”的。
2003 年,亚马逊网站工程司理 Black 写了一篇冗长的论文,叙述了一种重组亚马逊底子办法的办法,提出了“将假造办事器作为办事出售”的大概性。固然与批发商业有关,但显然 Bezos 承认并推进了它。
2006 年,亚马逊云科技正式推出了他们的前三款产品:EC2(弹性盘算机云)、S3(复杂存储办事)、SQS(复杂行列步队办事)。亚马逊将一切的 IT 底子办法都分解成了最小的单位,此中包罗网络、存储、盘算等。开辟者可以自在选择这些单位,以及亚马逊云科技提供的软件办事,来构建本人的产品。
亚马逊 CTO Werner Vogels 博士说,“亚马逊想用可扩展体系软件方面的专业知识,将原始底子办法经过办事接口的方法交付,退一步发职员不再专注于构建、维护底子办法。这是一个关于‘创新’的故事,至于‘因产能过剩而创造云盘算’的说法是不合错误的,由于 Amazon Web Services 推出之后的 2 个月内,就曾经耗尽了 Amazon.com 一切的过剩产能。”
随后十年,亚马逊渐渐推出了更多办事,Amazon Simple DB、Amazon CloudWatch、Amazon Route53、Amazon CloudFormation、Amazon Dynamo DB 等等。随着办事的美满,越来越多企业迁入了云中。作为独角兽敏捷崛起的 Slack 公司,在 2015 年分享了他们的构建方法:利用 Amazon EC2 实例举行盘算,用于 Amazon S3 存储用户上传的文件和静态资产,用 Elastic Load Balancing 来均衡 Amazon EC2 实例之间的事情负载,以及利用 Amazon Elastic Block Store (Amazon EBS) 对 Amazon EC2 实例上运转的 MySQL 实例举行夜间备份。
泉源:https://aws.amazon.com/cn/solutions/case-studies/slack
好像 Slack 公司一样,差别的企业可以依据本人的需求选择差别的办事,组成本人的 IT 架构,企业不必再本人办理底子题目,免除反复性造轮子的事情。可以说,云技能是亚马逊的技能开展到肯定水平后,失掉的一种资源优化办法,一种体系性的创新办法。

停止 2021 年,亚马逊云科技包括凌驾 245 种产品和办事,包罗盘算、存储、网络、数据库、剖析、摆设、办理、呆板学习、开辟者东西等。固然数目浩繁,但这种模块化、单位化的技能办理方案,作为一个全体在设计上又分外和谐和流利。据媒体报道,有国际着名技能专家到场 2016 re:Invent 时叹息:“看 Amazon Web Services 的架构,有一种觉得似乎整个 Amazon Web Services 是一团体做的一样,模块界说、复用、互通,看的真是一个心旷神怡[xīn kuàng shén yí]。”


重构云底座:构建可退化的体系



计 算

2006 年 8 月,Amazon Elastic Compute Cloud (EC2) 开放了 beta 测试,并今后启动了云上盘算反动。假如没有这种盘算才能上的创新,ag九游会以为如今一些天经地义[tiān jīng dì yì]的事变——从外卖、快递中的调理盘算,到生命迷信中的基因盘算,都是不行能被轻松完成的。
亚马逊最后的想法是为开辟职员提供针对盘算底子办法的按需拜访,并让他们只为本人所利用的资源付费。

EC2 办事副总裁 Dave Brown 曾回想道:“最后在南非的开普敦创建研发中心时,亚马逊云科技团队只要 8 团体,但ag九游会事先做的事抢先于期间。以致于当ag九游会在 2006 年 8 月公布产品时,Reddit 和 Slashdot 上的大少数批评,都表现很难了解ag九游会在做什么。一个世纪前,美国的许多大型制造企业本人发电为工ag九游会供电,随着电网的遍及,公司开端封闭本人的发电ag九游会,由于他们可以随时随地取得更经济的电力资源。盘算范畴也应云云,就像晚期电网的变化一样,算力可以在你必要的时分翻开和封闭。”

亚马逊最后选择在开源 Xen 上举行修正定制的措施来完成 EC2 架构,经过 Xen hypervisor 假造化 CPU、存储和网络,并提供丰厚的办理才能,让多个假造机 (VM) 在一台物理呆板上运转,由办理步伐提供假造机之间的断绝和多租户功效。

Xen Hypervisor EC2 架构,泉源:

https://www.allthingsdistributed.com/2020/09/reinventing-virtualization-with-nitro.html

颠末数年开展,EC2 成为了一个巨大、妥当的情况和数十亿美元的商业。固然传统假造化架构曾经被亚马逊优化到了极限,但利用这种架构,一个实例中多达 30% 的资源被分派给了假造机办理步伐以及网络、存储的监控运营。为了低落这些消耗,亚马逊云科技开端定制化公用硬件,重新开端重新创造底层 EC2 技能。

这不是一挥而就[yī huī ér jiù]的事变,2013 年,亚马逊公布了 EC2 C3 实例,将网络历程卸载到硬件(将功效从软件转移到硬件)。2014 年,亚马逊云科技与 Annapurna Labs 互助,再次推出了 EC2 C4 实例。C4 将 EBS 存储卸载到硬件中,但仍旧依赖英特尔至强芯片作为控制器。据报道,亚马逊云科技在 2015 年斥资 3.5 亿美元收买了 Annapurna,引入 C5 实例,用 Nitro hypervisor 代替了 Xen,将假造机与 ASIC 严密耦合。Werner Vogels 表现,这个里程碑卸载了控制立体和其他 I/O,利用近 100% 的处置来支持客户事情负载,还启用了裸机版本的盘算,催生了与 VMware 的互助同伴干系,以启动 VMware Cloud on AWS。2017 年,亚马逊正式推出完备版 Nitro。

Nitro 是一组自界说硬件和软件,目标是将假造机办理步伐、网络和存储假造化转移到公用硬件,从而开释 CPU 以更高效地运转。

2017 年的 Nitro 体系架构,泉源:

https://www.allthingsdistributed.com/2020/09/reinventing-virtualization-with-nitro.html

2018 年,亚马逊云科技推出了基于 Arm 的定制芯片 Graviton。据相干数据表现,基于 Arm 的 Graviton2 的性价比比基于 x86 的同类实例高 40%。这冲破了对 x86 的依赖,开启了架构的新期间,如今亚马逊曾经可以以多种设置装备摆设支持麋集型盘算义务。这些办法为亚马逊云科技的别的创新奠基了底子,包罗针对从训练到推理关键的呆板学习和人工智能义务举行了优化。
自推出 Nitro 体系之后,EC2 实例也疾速增长,如今 Amazon EC2 曾经拥有凌驾 475 个实例。盘算方法也不停更新,从 EC2 实例开端,渐渐支持容器和无办事器。一样平常云平台只提供 Kubernetes 托管,亚马逊云科技提供了 EKS(托管 Kubernetes 办事)、 ECS(自研)和 Fargate 三种容器办理东西。Amazon Lambda 也创始了无办事器盘算期间,无办事器盘算是一种按需提供后端办事的办法。无办事器提供者容许用户编写和摆设代码,而不用担忧底层底子办法。


存 储

2006 年,亚马逊云科技推出了 S3 (Simple Storage Service) 办事,S3 界说了工具存储,是工具存储现实上的尺度,具有划期间的意义。

S3 的推出工夫实践上比 EC2 还早 6 个月,最后设计时的一个紧张准绳便是“复杂”,以是事先只提供了 GetObject 和 PutObject 功效,中心 API 只要四个 REST 下令(GET、PUT、LIST 和 DELETE)。Werner Vogels 和亚马逊前技能副总裁 Tom Killalea 在谈到 S3 的开展时,两人以为“‘尽大概的复杂’是 S3 乐成的要害之一,固然这在事先颇具争议,但一个可退化的架构一开端不行能被设计得很庞大。”

开端时用户次要是用 S3 存储图像和视频数据,但随着工夫的推移,越来越多的事件日记、parquet 文件、客户办事记载等数据被放进了 S3。然后用户想要的就不但仅是“弹性存储”和“低本钱”了,他们还盼望可以让数百个使用步伐利用这些共享数据集,于是亚马逊就添加了“Access Points”功效。这个历程足以阐明 S3 的演进准绳:用户盼望用他们的数据来做什么,亚马逊云科技就添加什么功效或办事。经过技能和贸易的办事,亚马逊云科技与用户创建了一个疾速的反应循环,成为一个疾速发展的飞轮。

2006 年的时分,S3 只要 8 个办事(Services),到 2019 年,S3 曾经拥有 262 个了。并且亚马逊努力让 S3 拥有更高功能、更低本钱,推出了七种差别条理的存储产品:Standard、Intelligent Tiering、Infrequent Access、One-Zone Infrequent Access、 Glacier、Glacier Deep Archive,以及 S3 Intelligent Tiering。S3 Intelligent Tiering(智能分层)产品又分为“频仍拜访”和“非频仍拜访”两个层级,会主动将一连 30 天未拜访的工具挪动到“非频仍拜访”层,低落了运营庞大度。2021 年,智能分层也从2个层级增长到了3个层级,添加了新推出的归档即时拜访层,最经典的存储仍在不停退化。

S3 存储自己具有了盘算存储分散的特征,在云原生期间,十分合适作为数据湖存储的中心。企业可以基于 Amazon S3 构建数据湖,同时使用原生 Amazon Web Services 办事,来运转人工智能或呆板学习办事(SageMaker),从而可以更高效地处置种种布局化和非布局化数据。

S3 耐久性设计为“11 个 9”(99.999999999%) ,意味着利用 Amazon S3 存储 10000000 个工具,则预期均匀每 10000 年产生一次工具丧失。往年,亚马逊宣布 S3 存储的工具数目曾经凌驾 200 万亿,每秒必要处置数万万个哀求。现在,S3 曾经演化为了巨大而强健的散布式存储体系,为坚持数据耐久性,亚马逊于客岁底宣布晋级了 S3 的存储后端体系 ShardStore,引入了“主动推理”办法,以包管“瓦解分歧性”,即体系瓦解时数据仍能坚持“11 个 9”的分歧性形态。

ShardStore 完成比力庞大,包括凌驾 4 万行 rust 代码,利用 soft update 提供瓦解分歧性,传统的验证办法速率无法跟上体系的开辟迭代速率。亚马逊接纳了轻量级情势化办法(lightweight formal methods)进步 ShardStore 的牢靠性,主动天生一系列的操纵挪用键值存储体系的接口,同时反省操纵历程中参考模子和 ShardStore 详细完成之间的举动和形态能否分歧。基于上述办法,亚马逊乐成在 ShardStore 找到并修复了 16 个紧张的题目,触及瓦解分歧性和并发等方面的错误。亚马逊云科技还在 SOSP 大会上宣布了一篇相干论文,并取得了最佳论文奖。


网 络

网络是云盘算商业最底子的支持之一,亚马逊云科技拥有范围最大的环球主干网络,现有 25 个地区,81 个可用区,14 个 Local Zone,17 个 Wavelength Zone,凌驾 300 个边沿站点,以及 108 个专线接入点。这些都是在 2006 年单一扁平子网的底子上,历经 16 年的不停创新和优化开展而来。

在环球化海潮下,不少大型跨国企业会在环球设置多个站点,在构建环球化网络时,亚马逊云科技的用户可以使用 Amazon VPC 创立多个假造网络。传统的做法是使用 VPC Peering 功效,将地区内大概跨地区之间的 VPC 举行毗连,使用 Direct Connect 或 VPN 完成非亚马逊云科技底子办法与亚马逊云科技的互联。但假如云上负载增多,办理事情将成倍增长,这时就可以接纳会合办理链接的方案,亚马逊在 2018 年 Re:Invent 推出了 Amazon Transit Gateway。利用 Amazon Transit Gateway,可明显简化办理并低落运营本钱,由于每个网络只需毗连到 Transit Gateway,而不是毗连到一切其他网络。

当网络在环球范畴内延伸而且还必要混淆种种技能时,企业构建、办理和监控它们的庞大度也会分明增长。在 2021 年 re:Invent 大会上,亚马逊云科技宣布了 Cloud WAN 环球网络托管办事。借助这项网络办事,企业可以借助于亚马逊的主干网,利用 Cloud WAN 图形界面一键创立属于本人的环球网,完成设置直达网关或云毗连,监控网络运转情况、宁静性和功能等功效。

泉源:
https ://aws.amazon.com/cloud-wan/
在 2021 年的 re:Invent 大会的主题演媾和博客文章中,Werner Vogels 还提到了亚马逊对“无处不在的云(the everywhere cloud)”的愿景,即经过有针对性的硬件息争决方案将亚马逊云科技带到新的地域。

Werner Vogels 在博客中写道:“ag九游会将在 2022 年见证变化:云将在边沿上变得高度专业化。ag九游会会为边沿提供量身定制的办理方案,那么无论是车间、餐厅、批发小店或偏僻地域,都可以充实发扬云的上风。”


安 全

没有宁静这个保证,云的统统上风都将无从谈起。随着上百万的构造迁入云中,数据、流量更为会合,云早已成为宁静攻防的主战场。
作为云盘算的先驱,亚马逊首创的“宁静责任共担模子”曾经是云宁静同盟中各人公认的现实上的行业尺度,这个模子明白了云ag九游会商和租户的宁静界限,也明白了云ag九游会商外部的宁静责任。往年,亚马逊云科技再次提出了五层“洋葱型防护办法论”:要挟检测与事情呼应、身份认证与拜访控制、网络与底子办法宁静、数据掩护与隐私、危害管控及合规。在 280 多项宁静、合规办事及功效底子上,亚马逊云科技使用这五层防护系统,为客户提供全方位的宁静办事。



可继续开展


团结国于 2015 年订定了一个环球框架《巴黎协议》,随后各缔约国纷繁订定了“碳中和”途径和目的,对地球情况的安康开展做出答应。埃森哲的剖析标明,假使接纳绿色办法迁徙至私有云,环球二氧化碳排放量每年可增加 5,900 万吨,这相称于动入手指就能增加 2,200 万辆汽车的碳排放量!

亚马逊作为天下级科技巨擘,引领了“绿色云”改革。亚马逊表现将提早十年告竣《巴黎协议》,并在 2025 年完成 100% 可再生动力,并且还设计了一套从底子办法到软件设计的具有前瞻性的办理方案。这些办法也获得了明显的效果,2021 年,亚马逊云科技可继续开展架构副总裁 Adrian Cockcroft 表现:亚马逊云科技的底子办法动力服从比平凡美国企业数据中心超过跨过 3.6 倍。同时,亚马逊在实行相反义务时,可以增加 88% 的碳脚印。



重构云底座:面向客户和将来举行创新


降生于 16 年前的亚马逊云科技,创始了一个全新的云盘算范畴,亚马逊的创新可以说对 IT 财产演进发生了反动性的影响。

固然现在各云ag九游会商竞争剧烈,但亚马逊云科技却一直能处于市场的抢先地位。据相干数据表现,亚马逊云科技在云底子办法办事提供商中的份额最大,为 33%,客户也早已凌驾百万,无论是技能巨擘、银行照旧当局,差别的构造都在利用 Amazon Web Services 来开辟和摆设本人的使用步伐。

晚期的典范用户有 Netflix,从 2009 年就开端接纳 Amazon Web Services,2015 年中 Netflix 封闭了本人的最初一个数据中心。纳斯达克从 2014 年就开端利用 Amazon Web Services 在云中存储股票买卖所数据,往年再次增长了边沿办理方案的利用,将 Markets 渐渐开端迁徙到亚马逊云办事上。NASA 于 2000 年开端,使用 Amazon Web Services 办事,提供比较片、视频和音频的在线拜访,上周,NASA 再次宣布接纳亚马逊云办事为空间站构建“太空物流”底子办法系统......

如许的成果归功于亚马逊不停地围绕客户商业举行技能创新,有业界专家以为,亚马逊云科技的一大亮点是能十分敏感地发明用户以后紧急面对的是什么题目,并疾速提供办理方案大概产品。这也像 Dave Brown 所说的:“ag九游会可以应对简直一切需求以及应战,而且永久不会对客户说不。在亚马逊云科技,ag九游会拥有‘主顾至尚’的文明,不但满意他们以后需求,并且会展望他们将来的需求。”以客户为中心,不停举行创新,这也正是“第一天(Day one)”理念的一种表现。

面向将来的开展历程中,亚马逊云科技在这 16 年当中无疑有许多技能理念和决议计划履历值得ag九游会自创和思索。


1
0