Aegaeonの仕組み：Alibaba CloudはいかにAI向けGPUの必要数を減らしたか
Alibaba Cloudは、Aegaeonと呼ばれる新システムにより、大規模言語モデルを大規模に提供するために必要なNvidia製グラフィックスプロセッサーの数を大幅に削減したとしている。同社によると、モデルマーケットプレイスでの本番ベータ運用では、最大720億パラメーターのモデルを含む数十のモデルに対応するために必要なNvidia H20 GPUの数を、1,192基から213基に減らした。これは、同じ水準のサービスを提供するために配備するアクセラレーターを82％削減したことになる。成果は、コンピューターシステム研究の主要な発表の場であるソウル開催のオペレーティングシステム原理シンポジウムで発表された。クラウドを利用する企業にとって、この主張はコストと電力の節約、入手が難しいチップの利用可能性向上、そして同じプラットフォーム経由で異なるモデルを呼び出す際の一貫した利用体験につながる可能性がある。
目次
この成果は、モデルマーケットプレイスの時代に拡大する課題に対処するものだ。クラウド事業者は現在、開発者向けに数千のモデルを同時に提供している。AlibabaのQwenシリーズやオープンモデルのDeepSeekなど、一部のモデルにトラフィックの大半が集中する一方、多くのモデルは長時間使われず、短時間だけリクエストが集中する。従来のサービング基盤では、各モデルのインスタンスにGPU全体、または大きなGPUスライスを割り当てる。モデルへのリクエストが少ないと、確保されたGPUは十分に活用されない。リクエストが届いたときに起動済みのレプリカが足りなければ、プラットフォームは処理能力を追加し、起動時間の増加やスループットの低下を招く。Aegaeonは、複数モデル間でGPUリソースをプールし、より細かな時間単位で処理をスケジューリングすることで、この構図を変え、各アクセラレーターを稼働させ続けようとする。
Alibaba Cloudは、Aegaeonを無駄なく複数のLLMワークロードを同時に処理する仕組みと位置付けている。このシステムは、大胆なマルチモデル・スケジューリングに、メモリー上のデータを保持し、モデル間の処理切り替えを最小限の遅延で行う仕組みを組み合わせている。北京大学とAlibaba Cloudの研究チームによると、その結果、スループットが高まり、待ち行列が短縮され、利用率の低いサービスに割り当てられたままのチップが減る。
Aegaeonが解決を目指す課題
現代のAIプラットフォームでは、需要の裾野が長く広がっている。少数の人気モデルが推論トラフィックの大半を集める一方、利用頻度の低いモデルも開発者にとって重要だが、リクエストは散発的だ。Alibaba Cloudの測定では、マーケットプレイスのGPUの17.7％が、全リクエストのわずか1.35％に対応するために割り当てられていた。モデルを専用アクセラレーターに固定すると、クラウド事業者はアイドル時間のコストを負担することになり、トラフィックの変動が激しい場合や予測しにくい場合には、コールドスタートも頻発する。
外から見ると推論の提供は単純に見えるが、その内部は複雑だ。大規模言語モデルは、重みと実行時の状態をGPUメモリーに保持する。生成中、システムはキー・バリューキャッシュを維持し、すでに生成されたトークンの中間活性値を保存する。ディスクやネットワーク経由でモデルの重みを読み込むには時間がかかり、キー・バリューキャッシュの準備にも時間を要する。従来、GPUをあるモデルから別のモデルに切り替えるには、コストのかかるアンロードと再ロードが必要だった。このオーバーヘッドが頻繁な共有を妨げ、多くのアクセラレーターは最大でも1つか2つのモデル専用となっていた。Aegaeonはこうした切り替えをはるかに効率よく管理し、大きなペナルティなしにGPUを複数モデルで時間分割して使えるよう設計されている。
システムの仕組み
Aegaeonは、GPUを共有プールとして扱い、非常に細かな単位で実行する処理を決めるマルチモデル・サービング基盤だ。リクエスト単位やモデルのレプリカ単位でスケールさせるのではなく、トークン単位で判断する。高価値のデータ構造をメモリー上に保ちながら、同じGPU上で異なるユーザーやモデルのトークン生成を交互に処理できる。応答時間を厳しい許容範囲内に保ちつつ、1秒当たりの有効な処理量を最大化することが目標だ。
トークン単位の自動スケーリング
中核となる考え方は、トークン単位で処理能力をスケールさせることだ。つまりAegaeonは、あるモデルのリクエスト処理を始めた後、余力があれば同じバッチ処理やカーネル起動の中で、別のモデルのトークンを効率的にスケジューリングできる。論文によると、Aegaeonは、GPUごとに2～3モデルだけを多重化する代替プールと比べ、リクエスト到着率を2～2.5倍高く維持するか、goodput（有効処理量）を1.5～9倍に高めた。トークン単位で動作するため、新たなレプリカの起動に伴う長い停止を避け、いずれかのモデルへの急増にも迅速に対応できる。
メモリーの再利用とKVキャッシュの連携
Aegaeonは、コンポーネントの再利用、明示的なメモリー管理、モデル間でのキー・バリューキャッシュの細かな同期により、オーバーヘッドを抑える。研究者によると、単純な手法と比べ、自動スケーリングのオーバーヘッドを97％削減できる。より賢いメモリー管理とキャッシュ処理により、同じGPU上で複数のモデルを常時再読み込みすることなく、実行可能な状態に保てる。これにより、従来のマルチモデルシステムでは一般的に2～3モデルに限られていたところ、1基のアクセラレーターで最大7モデルを同時にサポートできる。
本番ベータで測定された成果
Alibaba Cloudによると、同社はモデルマーケットプレイスでAegaeonを3カ月以上にわたりベータテストした。最大720億パラメーターのモデルを含む数十のモデルを提供した。この期間中、同じサービス負荷を満たすために必要なGPUは、Nvidia H20の1,192基から213基へ減り、リソースを82％節約できたという。また、モデル切り替えによる遅延の増加も97％抑えられた。これは、1日を通じて人気モデルと需要の裾野にあるモデルの間でワークロードが切り替わる場合に有効だ。
マーケットプレイス環境は、実際の同時利用、さまざまなサイズのリクエスト、幅広いモデルを扱うため、優れた試験環境となる。この環境でAegaeonは、アクセラレーターの稼働率を高め、利用頻度の低いサービスのアイドル時間を減らし、より細かな単位でのスケジューリングによって高需要モデルの応答性を維持した。トークン単位のスケジューリングと慎重なメモリー再利用の組み合わせが、GPU時間当たりの有効な処理を増やす鍵とみられる。
北京大学とAlibaba Cloudの研究チームは、需要が散発的なモデルにGPUを専有させることで、業界は本来得られるはずの利益を逃してきたと主張した。論文では、その結論を次のように述べている。
Aegaeonは、市場における同時並行のLLMワークロードの提供に伴う過大なコストを明らかにした初の研究である。
この主張は、モデルマーケットプレイス全体で見られる傾向と一致している。事業者は以前から、需要の裾野にあるモデルが処理能力を占有し、あらゆる利用者のコストを押し上げることを認識していた。Aegaeonの手法は、マルチモデルサービスに最適化したスケジューリングとメモリー設計によって、その無駄に対処できることを示している。
クラウド利用者と開発者への影響
利用者にとって、スループット当たりのGPU数が減れば、価格の低下、利用枠の拡大、性能の安定につながる可能性がある。クラウド事業者がアクセラレーターをおよそ5分の1にして同じトラフィックを処理できれば、ピーク時に備えた余力を確保し、新規導入の待ち時間を短縮できる。1つのアプリケーションで複数のモデルを組み合わせる開発者も、トラフィックがエンドポイント間で移動する際に、コールドスタートやレプリカの入れ替わりによるボトルネックが減ることを期待できる。
購入者にとって重要な実務上の懸念もある。マルチモデル共有では、ある利用者のワークロードが別の利用者の体験を損なったり、データを漏えいさせたりしないよう、分離を維持しなければならない。スケジューラーは優先順位と公平性のルールを守り、人気モデルの低遅延を保つとともに、処理の遅いモデルも進行できるようにする必要がある。論文によると、Aegaeonはサービス品質の目標を考慮してトークン単位の判断を行うよう設計されている。それでも、プール対象を大規模なサーバー群へ広げる際には、テールレイテンシーを抑えるため、クラウド事業者に堅牢な可観測性とスロットリングが必要になる。
Nvidia、中国、AIチップをめぐる背景
Aegaeonは、高性能アクセラレーターの世界的な供給が逼迫し、中国向けの先端AIチップに輸出規制が続くなかで登場した。Nvidiaは規制に準拠するため、中国市場向けにH20を開発し、多くの中国事業者が推論処理にこの製品を利用している。同時に、HuaweiやCambriconなど中国の設計企業は国産の代替製品に投資している。1基のGPUでより多くの処理を可能にするソフトウェア効率化はどの市場でも価値があるが、最先端チップへのアクセスが制約される環境では特に重要だ。
Nvidiaの経営陣は、政策上の制約により、中国の先端チップ分野からの短期的な売上高をほぼゼロ、またはゼロと見込んでいると説明している。こうした背景から、Alibaba Cloudの成果は一段と重要になる。大手事業者がソフトウェアで既存の設備を最大限活用できれば、最上位のアクセラレーターの供給が限られていても、サービスを拡大し続けられる。
Aegaeonと他の手法との比較
最近まで、ほとんどのマルチモデル・サービングシステムでは、オーバーヘッドが利点を上回る前に1基のGPUで安全に多重化できるのは2～3モデルまでだった。モデルを追加するたびに、コンテキスト切り替えが増え、キャッシュミスが増加し、遅延目標を損なう揺らぎのリスクも高まる。Aegaeonの設計は、こうした切り替えコストを抑え、モデル間で中核となるデータ構造を常駐させることに重点を置いている。そのため、報告された条件下では1基のアクセラレーターで最大7モデルを維持できる。
最高水準のスループットが必要なエンドポイントや、厳格な分離要件があるワークロードには、専用インスタンスが引き続き適している。一方、需要に応じてモデルのレプリカ全体を起動するサーバーレス推論は、トラフィックの少ないモデルでは経済的になり得るが、起動に時間がかかる。Aegaeonはその中間を取る。処理能力をプールし、モデルを実行可能な状態に保ったうえで、処理を小さな単位に分けてスケジューリングし、大幅な遅延との引き換えなしに全体の利用率を高める。
未解決の技術課題と今後
ベータ運用はAlibaba Cloudのモデルマーケットプレイスで行われた。大規模な環境ではあるものの、同社のサービス全体を網羅してはいない。Aegaeonを他の地域や、企業向け専用クラスター、オンプレミス環境など異なる製品群に展開すれば、別の制約のもとで設計を検証できる。コンテキスト長が伸びた場合や、言語に画像や音声を組み合わせるマルチモーダルモデルで、スケジューラーがどのように動作するかも課題となる。こうした場面では、メモリーやキャッシュの方針に新たな負荷がかかる。
異種アクセラレーター間やノード間での共有も、今後の研究課題だ。相互接続のオーバーヘッドを低く抑え、メモリー配置の予測可能性を保てれば、スケジューラーが単一GPUだけでなく、接続網を介した複数GPUをプールし、さらなる効率向上を実現できる可能性がある。これまでに公開されたデータは、単一デバイス内のリソース共有で大きな効果が得られることを示しており、これは現行の推論ワークロードにとってすでに大きな実用上の進歩だ。
要点
- AegaeonはAlibaba Cloudのマーケットプレイスサービスに必要なGPUを、Nvidia H20の1,192基から213基へ減らし、82％削減した。
- 3カ月を超えるベータ期間中、最大720億パラメーターのモデルを含む数十のモデルを提供した。
- 報告されたテストでは、1基のGPUで最大7モデルをサポートした。従来システムでは2～3モデルだった。
- トークン単位のスケジューリング、メモリー再利用、キー・バリューキャッシュの同期により、自動スケーリングのオーバーヘッドを97％削減した。
- 実験では、代替手法と比べてリクエスト到着率を2～2.5倍高く維持するか、goodputを1.5～9倍に高めた。
- この手法は、少数のリクエストがGPUの大きな割合を占有する、モデルマーケットプレイスの需要の裾野にある課題を対象とする。
- 中国で先端AIチップへのアクセスを輸出規制が制限し、国内GPU開発が加速するなかで発表された成果だ。
