COLUMN

セッション概要

セッションタイトル：[CMP219] Compute innovation for any application, anywhere

スピーカー：David Brown – Vice President, Amazon Elastic Compute Cloud(EC2)

セッションタイプ：Innovation Talk

セッションの説明（原文）：

AWS offers the most comprehensive set of capabilities and continually innovates across our infrastructure and services so you can build, run, and scale applications in the cloud, on premises, and at the edge. Join Dave Brown, VP of Amazon EC2 Networking and Compute Services, to hear about the moments that sparked innovations such as instances, containers, and serverless technologies as well as the ongoing innovation that is happening today. Hear about how customer obsession has led to radical new ideas that have changed the computing landscape over the years since the start of cloud computing.

セッションの説明（日本語訳）：

AWSはクラウド、オンプレミス、エッジでアプリケーションを構築、実行、スケール出来るように包括的なケイパビリティと継続的なイノベーションを提供しています。Amazon EC2 Networking and Computeサービスのバイスプレジデントである、David Brownとともに、インスタンス・コンテナ・サーバレステクノロジーの火付け役となった瞬間や、現在進行中のイノベーションについてのお話をします。クラウドコンピューティングが始まって以来、Customer Obsession（注釈:Amazonのリーダーシッププリンシパル）が如何にコンピューティングの展望を変える根本的な新しいアイデアにつながったかをお聴きください。

本セッションは、すでにオンデマンドでも公開されております。

セッション模様

講演内容につきましては、白鳥のオリジナル要素と区別するため地の文で記載しております。

クラウドコンピューティングの始まり

2007年、南アフリカのケープタウンでEC2のサービス開発に取り組んでいた。

コンピューティングのあらゆる進化は先駆者たちの努力によって成り立っていた。

1815年のAda Lovelaceの設計から始まり、今日では生成AIを用いて音楽や画像を作ることもできる。

我々の目標は、必要な時に、必要なリソースを使えることだった。

EC2を進化させるときの2つの課題

• 顧客のワークロードが別の顧客のワークロードに影響を与えないようにする
• セキュリティ

この二つに対して、ハイパーバイザの設計から取り組み、2017年にNitroシステムをリリースした。その結果、当初はリソースの75%しか顧客に割り当てられなかったが、100%割り当てができるようになり、今日ではEC2は750を超えるインスタンスタイプが利用可能になった。

進化によってできるようになったこと

非常に多くのタイプがあり、適切なタイプを選ぶのは大変だが、これも生成AIによって解決ができるようになった。

Nitroシステムのリリースによって、ネットワーク帯域を大幅に増強できるようになった。生成AI利用要望によって、必要になるネットワーク帯域は増え続け、Trn2インスタンスでは6.4Tbpsが利用可能となっている。

ストレージの帯域幅とIOPSも大幅に増強可能になった。

シリコンレベルでのセキュリティを導入することができるようになった。データの取り扱いを大幅に簡素化したNitro Enclavesも提供できるようになり、パスワードやキーといった情報を外出し出来るようになった。

これらのノウハウは経験によって生み出されるものであり、Amazon CEOである、Andy Jassyが常日頃から言っている「経験に圧縮アルゴリズムはない」に基づいている。

Gravitonに対する取り組み

独自のチップセットの開発に2018年から取り組んでいる。

200万個を超えるプロセッサと、5万社を超える顧客と、上位100社のすべてがGravitonを使用している。

同等のEC2インスタンスに比べて40％以上のコストパフォーマンスと、60%をエネルギー効率の向上を行っており、サステナビリティの観点でも有用である。

その他のプロセッサとのパートナーシップ

Amazon EC2ではIntel/AMD/Appleのプロセッサが利用可能である。

Intelとは400を超えるインスタンスタイプと、パフォーマンス向上に取り組んできた。Nitroシステムと併用すると、他のクラウドプロバイダーやオンプレミスと比べて15%以上の性能を発揮する。

AMDとは2018年にEPYCプロセッサを初めて搭載。Intelと比較し10％低いコストを実現している。

Appleは2020年にMacベースのインスタンスを導入し、現在2世代目となる。ゲームの分散テストなどに使われている。

サーバレスコンピューティングの取り組み

• ゲストスピーカー：Holly Mesrobian　Vice President, Serverless Compute

すべてのイノベーションは、ビジネスの革新を可能にするという目標に向かっている。

2014年のAWS Lambdaのリリース以降、サーバレスの先駆者となってきた。

Lambdaの技術的な基礎は、Firecracker（2018年発表）であり、マイクロVMをほんの数秒で起動することが可能になった。Lambda Snapstart（2022年発表）でさらに進めてFirecrackerと比較して最大10倍まで起動時間を短縮できるようになった。

Graviton上でサーバレスコンピューティングを実行すると、Lambdaでは最大34%、Fargateでは最大40%コスト効率を向上させることができる。

イベント駆動型アプリケーションを実現させるためのEventbridgeは150万ユーザが利用しており、なくてはならないものになっている。当初はイベントバスとしての利用がメインだったが、パイプにまで拡大している。

コンテナへの取り組み

• ゲストスピーカー：Holly Mesrobian　Vice President, Serverless Compute

オープンなコミュニティワークに参加し、イノベーションを加速している。

Seekable Open Container Initiativeへ参加しており、コンテナの遅延読み込みを対応させることで高速起動が可能となった。

EKSの開発を通じてKubernetesのコミュニティを意識している。

Kubernetesがもっとも使われているクラウドプロバイダーになってきている。

EKSにおけるコスト効率の良いコンピュートの仕組みとして、Karpenterも採用しており、ベストプラクティスの自動化が可能となりAWSのメリットを生かすことができる。

パフォーマンスの可視化

Gravitonのベンチマーク取る際に、一般的なベンチマークソフトではなく、実際のプロダクトで使われているミドルウェアで性能テストを行っている。

現実世界のワークロードに沿った性能テストをすると、MySQLにおいてはGraviton3に比べてGraviton4は40％の性能向上を行っている。

機械学習と生成AIに対す取り組み

AWSは20年にわたって機械学習に取り組んできた。

2012年には2つのGPUを使い6000万パラメータでよかったが、今日のLLMでは10000個を超えるGPUと5000億のパラメータを必要とする。

NVIDIAとの新しいコラボレーションを基調講演で発表したが、さらに新しい協業を行い、世界最速のAIスーパーコンピュータを開発中。65EFLOPSを予定しており、2024年にリリース予定である。

学習用のチップも開発し、Trainium2チップもリリースした。これは従来世代に比べて4倍の性能となる。

推論用のチップも同じく開発。LLMは拡大する一方なので、推論用インスタンスも第二世代となるInferentia2ベースのインスタンスもリリースし、こちらも従来世代に比べて最大4倍高いスループットと10分の1のレイテンシーとなる。

Anthropicとの協業を発表し、AWSはAnthropicの主要プロバイダーとなった。

モデルを利用するだけではなく、チップやNitroを活用して最大のパフォーマンスを発揮することができる。

機械学習用のキャパシティを予約できるようにもなった。必要な時に必要なだけ使えるようになっている。

生成AIの事例として、本番環境のプラクティスを損なわないよう、プログラミングを高速化できるよう、AWS Console-to-Codeをリリースした。これはAWSのマネジメントコンソール操作をコードにしてくれるものである。プログラムにすることで、繰り返し同じ品質の環境を作ることができる。

生成AIの活用事例

• ゲストスピーカー：Cynthia Stoddard, CIO & Senior Vice President at Adobe

当社はAWSの顧客でもあり、Adobe Creative Cloudを通じて、クリエイターたちにクリエイティブを提供してきた。

Adobe SenseiというAIプラットフォームを提供し小型のモデルを組み込みユーザにAIを提供できるようになった。最初はP3インスタンスでの提供であったが、GPUインスタンスの成長に合わせて入れ替えてきた。

AWSを利用することでAIにおけるリーダーシップを獲得できた。

Adobe Fireflyで生成AIを使った画像生成も利用できる。高度な技術を安全に使うことができるのは強みである。

Abobe GenStudioを通じて、企業に安全に生成AIを利用できるように進めていく予定である。

クラウド活用に関するさまざま情報をお届けするメルマガを毎週配信しておりますので、ぜひこの機会にご登録ください。

紹介されたアップデート

• Amazon Qにおいて、EC2選択のサポートが可能
• EC2 C6in,M6in,R6inにおいて、より速いEBSが選択可能（100Gbps／400,000IOPS）
• io2ブロックストレージ（前世代と比較して、4倍のIOPS10分の1のレイテンシー）
• Amazon EC2 M7i-Flexインスタンス
• Amazon EC2 U7iインスタンス（ハイメモリインスタンス）
• Amazon EC2 M7aインスタンス（AMDベースの最新世代）
• Amazon EC2 M2 Macインスタンス
• AWS Graviton4
• AWS R8gインスタンス(Graviton4)
• Amazon EC2 P5インスタンス（最新のGPUインスタンス）
• Amazon Trainium2
• Amazon EC2 Inf2インスタンス（推論用のインスタンス）
• Amazon EC2 Capacity Blocks for ML
• AWS Console-to-Code

感想・所感

ネットワークと同じく、コンピュートの性能向上は見た目の派手さはないものの、なくてはならない要素であると改めて感じる一方で、性能向上の方向性については単なるベンチマーク上の向上だけではなく、上位レイヤのアプリケーションの用途や課題に合わせてチューンされていくこと、そのチューンの過程もAmazonおよびAWSが大切にしている「Customer Obsession」の歴史でもあり、経験や試行錯誤の中で成り立っているものだと感じることができました。

一方でインスタンスタイプが膨大となり、選択する側としては選択肢が多くて悩ましいという課題もありますが、これもこれまでのCompute Optimizeだけではなく、Amazon Qを用いたサポートが利用できることは心強い限りです。

最後に

NTT東日本では、LAN環境からネットワーク、クラウド環境まで幅広いエリアでのお客様のクラウド化や、ビジネスモデルの進化のお手伝いをさせていただいております。

経験値豊かなメンバーがご担当させていただきますので、是非お気軽にお問い合わせください！