云计较一哥终于搞多模态了：相连6个大模子，还有个3nm芯片！

金磊 发自 拉斯维加斯

量子位 | 公众号 QbitAI

就在刚刚，云计较一哥亚马逊云科技，在大模子这件事儿上搞了波大的——

亚马逊CEO Andy Jassy切身站台re:Invent24，发布自家新款AI多模态系列大模子，名曰Amazon Nova。

而且是相连涵盖文本对话、图片生成、视频生成，致使径直吐露一个小主义：

明天咱们不仅要Speech to Speech，更要Any-to-Any！

举座而言，Amazon Nova系列中的通盘模子，均以功能和尺寸来诀别。

先来看下新版顶端基础大模子的“文本对话篇”，一共包含四个杯型：

Amazon Nova Micro：仅限文本对话，主打一个廉价钱和低蔓延；Amazon Nova Lite：低资本的多模态大模子，处理图像、视频和文本输入的速率极快。Amazon Nova Pro：高性能的多模态大模子，精度、速率和资本最好“配方”，可处理凡俗的任务。Amazon Nova Premier：亚马逊最强多模态大模子，可处理复杂的推理任务，也可用于蒸馏客户定制化的模子。

在现场，Andy也晒出了Amazon Nova在CRAG、BFCL、VisualWebBench和Mind2Web等Benchmarks上赢得的分数。

从得益中不出丑出，其在检索增强生成（RAG）、函数调用和智能体应用方面具有较好的性能。

据悉，前三者照旧上架亚马逊云科技的“模子工场”Amazon Bedrock，而Premier版块则将于2025年第一季度推出。

面前也有一些实测照旧流出，举例给Amazon Nova Pro一句Prompt：

Write a summary of this doc in 100 words. Then, build a decision tree.

写一篇100字的纲目。然后，构建一个决策树。

啪的一下，阻挡就出来了：

再如让Amazon Nova Pro浮现底下这个团结在一说念的视频：

重播 播放 00:00 / 00:00 直播 00:00 投入全屏 50 点击按住可拖动视频

它给出的谜底是：

The video begins with a view of a rocky shore on the ocean, and then transitions to a close-up of a large seashell resting on a sandy beach.

视频一运行是海洋上的岩石海岸，然后过渡到一个大贝壳躺在沙滩上的特写。

接下来，就是“非文本生成篇”，一共包括两款。

Amazon Nova Canvas，主打的是图像生成，用官方的话来说，是达到了“State-of-the-art”（开端进）的水平：

至于视频生成模子，名叫Amazon Nova Reel，给定一张图片和一句话，即可让它动起来：

而接下来Andy的一番话，径直让现场不淡定了。

正如咱们刚才提到的，Andy照旧放出了话，Amazon Nova行将呈现出来的态势是万物都可生成。

值得细细回味的极少是，亚马逊云科技在生成式AI时期中，先前发布自研大模子并不算最吸睛的那一批。

天然此前也发布过Amazon Titan大模子，但模态上也仅限于文本，更多的元气心灵如故聚焦在了像Amazon Bedrock、Amazon Q这么的平台和应用。

而这次，亚马逊云科技却一反常态，以动须相应之势把主流模态全面袒护，致使一句“Any-to-Any”彰显其弘愿。

为何会如斯？

纵不雅整场发布会，透过亚马逊云科技CEO Matt Garman的全程先容，大略不错把谜底总结为——

实力是一直有的，仅仅面前客户有需求了。

△Matt Garman初次以CEO身份参加re:Invent

这又该怎样浮现？咱们持续往下看。

算力再升级，价钱很标志

先看实力。

看成云计较一哥，算力是亚马逊云科技的看家才调之一。

与传统云职业厂商不同，其自主研发并优化的专用芯片和数据中心，包括Graviton和Nitro等独到职业器主机，为及时计较提供因循。

而这一次，从芯片到职业器，基础设施上一系列的更新动作，不错分为三大板块来看——

计较（Compute）、存储（Storage）和数据库（Database）。

在计较层面上，亚马逊云科技先是晓示Amazon EC2 Trn2实例致密可用。

EC2 Trn2实例选用了第二代Trainium 芯片（Trainium2），与上一代Trn1实例比拟，性能晋升权臣。具体来说：

历练速率提高4倍：这一性能晋升能有用减少模子历练所需时分，加速企业应用落地；内存带宽提高4倍：更强的数据传输能力不错振作复杂模子对及时数据处理的高条款；内存容量提高3倍：为高参数目模子的运行提供了充足的计较资源。

此外，Trn2实例在性价比上比现时基于GPU的EC2 P5e和P5en实例高出30-40%。

每个Trn2实例包含16个Trainium2芯片，192 vCPUs，2 TiB的内存，以及3.2 Tbps的Elastic Fabric Adapter (EFA) v3 蚁集带宽，这比上一代评述了高达 35% 的蔓延。

针对更高性能需求，亚马逊云科技同期推出了Trn2 UltraServer。

这是一种全新的超大限度计较居品，每台UltraServer包含64个Trainium2芯片，并通过高带宽、低蔓延的 euronLink互连已矣了超卓的性能。

这使得Trn2 UltraServer成为历练超大限度基础模子（如生成式 AI、LLM 等）的理思选拔。

euronLink是亚马逊云科技独到的蚁集互连时刻，它能够将多台Trainium职业器组合成一个逻辑上的单一职业器，团结带宽可达2TB/s的带宽，而蔓延仅为1微秒。

它的琢磨特等合适散布式深度学习任务，在蚁集通讯上的优化有助于权臣镌汰历练时分，晋升资源哄骗率。

用官方的话来说就是：

这恰是历练万亿级参数的大型东说念主工智能模子所需要的超等计较平台，额外高大。

在现场，苹果也来为亚马逊站台，机器学习和东说念主工智能高等总监Benoit Dupin暗示：

苹果将使用亚马逊云科技的Trainium2芯片。

除此以外，在芯片层面上，亚马逊云科技发布了AWS Trainium3芯片预览版，展望于2025年致密推出。

据悉，Trainium3将选用3纳米工艺制造，提供两倍于Trainium2的计较能力，并晋升40%的能效。

在计较（Compute）之后，即是存储（Storage）上的更新。

咱们都知说念，在数据分析和大数据界限，处理和查询大限度数据集的能力至关蹙迫。

而传统的数据查询方法在处理海量数据时，时时导致性能瓶颈和经管复杂性，影响了企业的数据驱动决策能力。

为此，亚马逊云科技有利推出了Amazon S3 Tables。

Amazon S3 Tables提供了一种新的存储花样，专为表格数据琢磨，因循使用Amazon Athena、Amazon EMR 和 Apache Spark等流行的查询引擎进行莽撞查询。

S3的表存储桶是它的第三种存储桶类型，与现存的通用存储桶和目次存储桶比肩；不错将表存储桶视为一个分析仓库，用于存储具有不同模式的Iceberg表格。

与自经管的表格存储比拟，S3 Tables不错已矣高达3倍的查询性能晋升和10倍的每秒事务处理能力，同期提供全托管职业的操作后果。

除此以外，元数据（Metadata）也变得越发蹙迫，举例电话内部有好多像片，恰是因为通过元数据储存数据，面前不错已矣用天然讲话很快找到这张像片。

基于这么的需求，亚马逊云科技推出了Amazon S3 Metadata的预览版。

Amazon S3 Metadata提供了一种自动化、易于查询的元数据经管花样，这些元数据竟然及时更新，匡助用户整理、识别和使用S3数据进行业务分析、及时推理当用等。

它因循对象元数据，包括系统界说的详备信息（如大小和对象来源）以及自界说元数据，允许用户使用标签为对象添加居品SKU、交游ID或现实评级等信息。

而这些元数据一样也存储在S3 Tables之中。

在计较、存储之后，即是基础设施的第三大板块——数据库（Database）。

有趣味的极少是，Matt在现场共享了一张“OR”如故“AND”的图，暗示企业在选拔数据库时多半碰到的难懂抉择——跨区域一致、高可用性、低蔓延，时时只可3选2。

而亚马逊云科技这次给出的答卷是，都不错有。

这就是新式无职业器散布式数据库Amazon Aurora DSQL，旨在惩办传统数据库在膨胀性和性能方面的挑战。

Aurora DSQL结合了传统关所有据库的强一致性和NoSQL数据库的散布式膨胀能力，提供了以下几个关键上风：

跨区域强一致性和低蔓延：选用了全新的架构，使其能够在多个地舆区域中同期运行，而保捏强一致性。无穷膨胀：能够处理数TB到数PB级的数据集，适用于任何限度的企业。超高可用性：提供99.999%的可用性，这对于许多需要高可用性和无缝运行的企业级应用至关蹙迫。性能优厚：其跨区域的读写操作比Spanner快了四倍。

以上即是亚马逊云科技这次在基础设施上的发力了。

新的积木——推理

如果说把基础设施的三大板块视为三块积木，那么接下来，亚马逊云科技在模子层和应用层方面添加了第四块积木——推理（Inference）。

推理是生成式AI职责流的中枢，它指的是将已资历练好的模子应用到新数据上，进行预测、生成或推断。

Matt在会上强调：

推理在AI模子的应用中变得尤为蹙迫，尤其是在处理像大型讲话模子等复杂模子时，推理条款极高的计较能力和低蔓延反应。

而Amazon Bedrock看成亚马逊云科技在模子层的一项AI平台职业，先是与咱们上述的基础设施在推理上保捏了同步。

换言之，Inferentia和Trainium芯片提供的推理的硬件优化，用户不错通过Amazon Bedrock方便探访这些资源。

而至于Amazon Bedrock自己，这次也迎来多项能力的升级。

最初就是模子蒸馏（Model Distillation），能够自动化创建针对特定用例的蒸馏模子。

主若是通过从大型基础模子（西宾模子）生成反应，并使用这些反应来微调较小的基础模子（学生模子），从而已矣常识滚动，提高小模子的精准度，同期评述蔓延和资本。

其次是多智能体合作（multi-agent collaboration）。

在需要多个智能体处理复杂任务的场景中，经管这些智能体变得具有挑战性，尤其是跟着任务复杂性的增多。

使用开源惩办决议的开拓者可能会发现我方需要手动已矣智能体编排、会话处理、内存经管等复杂操作。

这也恰是亚马逊云科技在Amazon Bedrock上推出多智能体合作的起点。具体特质如下：

快速建立：无需复杂编码，几分钟内创建、部署和经管协同职责的AI智能体。可组合性：将现存智能体看成子智能体集成到更大的智能体系统中，使它们能够无缝合作以叮属复杂的职责经过。高效的智能体间通讯：监督智能体不错使用一致的接口与子智能体进行交互，因循并行通讯以更高效地完成任务。优化的合作模式：在监督模式和监督加路由模式之间选拔。在路由模式下，监督智能体将径直将粗略央求路由到关联的子智能体，绕过好意思满的编排。

终末，亦然更为蹙迫的极少，即是防患大型讲话模子幻觉导致的事实失实的功能——自动推理查验（Automated Reasoning checks），这是Amazon Bedrock Guardrails中新增的一项功能。

这种新的防卫措施，旨在通过数学考据来确保LLMs生成的反应的准确性，并防患幻觉导致的事实失实。

自动推理查验使用基于数学和逻辑的算法考据和推理过程来考据模子生成的信息，确保输出与已知县实一致，而不是基于虚构或不一致的数据。

与机器学习（ML）不同，自动推理提供了对于系统行动的数学保证。

据悉，亚马逊云科技照旧在存储、蚁集、编造化、身份和密码学等关键职业界限使用自动推理，举例，自动推理用于致密考据密码已矣的正确性，提高性能和开拓速率。

在性能方面，Bedrock还推出了低蔓延优化推理，由此，用户不错在使用开端进的大模子基础上，还享受超卓的推感性能。

值得一提的是，Llama 405B和Llama 70B低蔓延优化版块，在亚马逊云科技上展现出超越其他云提供商的出色发扬。

还有应用层和其它更新

针对开拓者和企业，亚马逊云科技在应用层上的代表作即是Amazon Q了。

针对越来越多的企业寻求从土产货数据中心挪动到云的痛点，亚马逊云科技在Amazon Q Developer上推出了多项新功能。

其中较为引东说念主注释的就是Transformation for Windows .NET Applications，这项功能使得企业能够更快速地将.NET应用规范挪动到AWS，同期还能够权臣评述挪动资本。

Amazon Q为.NET应用规范提供了自动化挪动器具，能够识别应用规范中可能存在的不兼容问题，生成挪动经营，况兼自动调整源代码，确保平滑过渡到云表。这种自动化挪动大幅提高了职责后果，减少了东说念主为侵略。

通过将应用规范从Windows挪动到Linux，企业能够省俭昂贵的Windows许可用度，评述TCO（总领有资本）。

Matt指出，使用Amazon Q的企业能够省俭多达40%的许可资本。

而且挪动速率比传统手动挪动快了四倍，大大减少了系统挪动的停机时分和风险。

除了Windows应用的挪动，亚马逊云科技还推出了Amazon Q Developer Transformation for VMware Workloads功能，专为运行在VMware上的企业职责负载琢磨。

通过这一器具，亚马逊云科技不错匡助企业将土产货的VMware环境挪动到云平台。

应用层以外，还有诸如将AI和分析作念结合的居品——Amazon SageMaker。

它看成一个不错帮企业加速AI应用的开拓、历练和部署的数据科学平台，今天也致密步入了“下一代”。

新一代SageMaker的中枢是SageMaker Unified Studio。

这是一个单一的数据和AI开拓环境，它整合了Amazon Athena、Amazon EMR、AWS Glue、Amazon Redshift、Amazon Managed Workflows for Apache Airflow (MWAA)以及现存的SageMaker Studio中的器具和功能。

其次是Amazon SageMaker Lakehouse，不错调和Amazon S3数据湖、Amazon Redshift数据仓库和第三方及合资数据源。

亚马逊云科技的“AI步法”

在看完本届re:Invent通盘现实和实力之后，亚马逊云科技在生成式AI时期的发展旅途其实也就比较光显了——

从客户的真正业务需求起程。

上文万般现实的更新，都是基于“客户的职业出现了什么问题”，包括计较、存储、数据库上的瓶颈，包括客户在模子上的选拔，再包括应用上的挪动职业等等。

明察了背后的实用主义逻辑，也就不难浮现，亚马逊云科技为何选拔在这个时分节点上发布一系列多模态大模子，如故因为客户有需要。

这种需要，具体而言，就是客户在模子上的选拔，毕竟“莫得一个模子不错一统六合”，每个模子都有我方所擅长的界限。

但亚马逊云科技所作念的，是哄骗我方在基础设施、器具/模子和应用三个层面的深耕和实力，给客户多提供了一个“快、好、省”的选项。

归来亚马逊云科技的起步，似乎这极少从未变过。

正如Matt在大会上回忆的那样：

亚马逊云科技在2006年推出时，初创公司是第一批用户，他们总詈骂常积极地选用新时刻，况兼能够提供有价值的反馈。

而这种反馈也进一步推进了亚马逊云科技的发展，也有助于浮现怎样更好地因循创业精神。

因此，Matt在大会中还晓示了一个重磅音讯：

将在2025年为专家的初创公司提供10亿好意思元的资金因循！

One More Thing

本届re:Invent忖度6万东说念主参与，来感受一下这个热心、这个feel~

参考聚集：

[1]https://www.aboutamazon.com/news/aws/amazon-nova-artificial-intelligence-bedrock-aws[2]https://aws.amazon.com/blogs/aws/amazon-ec2-trn2-instances-and-trn2-ultraservers-for-aiml-training-and-inference-is-now-available/[3]https://aws.amazon.com/blogs/aws/new-amazon-s3-tables-storage-optimized-for-analytics-workloads/

— 完 —

量子位 QbitAI · 头条号签约

关注咱们，第一时分获知前沿科技动态