GPUを増設せずにAIのリクエストを増やす
Samsung Electronicsは、メモリーの割り当て方やプロセッサー間のデータ転送方法を変えることで、人工知能（AI）サーバーが同時に処理できるリクエストを増やす手法を開発した。公開された特許出願では、大規模言語モデルがどのリクエストを先に処理するかを決めるため、待ち時間、転送コスト、今後必要となるメモリー容量を考慮するソフトウェアについて説明している。
目次
狙いは、グラフィックス処理装置（GPU）のメモリーがいっぱいになった際の遅延を抑え、既存のサーバーでより多くの人にサービスを提供できるようにすることだ。Samsungはこの発明を、特定の消費者向け製品の機能ではなく、学習済みモデルを実行して質問に回答する処理であるAI推論向けのインフラ技術と位置付けている。
Samsungの関連研究からは、メモリー管理の改善によって得られる効果の具体像も見えてくる。Samsungの別のストレージ実験では、NVIDIA H100 NVL GPUを8基、Samsungのソリッドステートドライブを10台使用し、同時利用者が最大240人のときも、最初の出力トークンが生成されるまでの待ち時間を1秒未満に保った。ストレージへのオフロードを行わない場合、この待ち時間は利用者が140人を超えると増え始めた。
特許、ストレージ実験、Samsung SDSの別のプロジェクトは、同じ問題の異なる側面に取り組んでいる。高価なAIプロセッサーが、情報の移動や再計算に過剰な時間を費やすことがあるという問題だ。事業者にとって、そうした作業を減らせれば、既存の設備でより多くの回答を提供し、言語モデルが処理・生成するテキストの小さな単位であるトークン当たりのコストを下げられる可能性がある。
メモリーが回答を遅らせる理由
GPUは多数の計算を同時に実行できるため、AIの回答生成に適している。一方、高速なローカルメモリーの容量には限りがある。複数の会話がその領域を取り合い、とりわけ長い文書を送信したり、長文の回答が必要な質問をしたりすると、競合が激しくなる。
言語モデルは、過去の計算結果をキー・バリュー・キャッシュと呼ばれる構造に一時保存する。通常はKVキャッシュと略される。これは作業メモのようなものだ。メモを残しておけば、モデルはすでに処理した内容を何度も計算し直さずに回答を続けられる。
Samsungのストレージ実験では、セッションごとに約3 GBのKVキャッシュが必要だった。240セッションでは、ワークロード全体でキャッシュデータが約720 GBに達する。この数値は、かなりの計算能力を備えていても、多くの人にサービスを提供するとメモリーが問題になり得る理由を示している。
高速なGPUメモリーが不足すると、サーバーはデータの一部を中央処理装置（CPU）に関連付けられたメモリーへ移し、必要なときに戻すことができる。しかし、こうした転送には時間がかかる。破棄した計算結果を再構築する場合も、リソースを消費する。Samsungの特許は、この競合をよりきめ細かく管理することに重点を置いている。
特許取得を目指すスケジューリング手法
「大規模言語モデルの複数ユーザーリクエストを処理する方法およびサーバー」と題するSamsungの出願は、各リクエストの処理コストを考慮するスケジューラーについて説明している。入力要素には、ユーザーの待ち時間、データ転送にかかる時間、リクエストに必要なメモリー容量が含まれる。
サーバーはその計算を使い、処理順を選ぶ。一見すぐに実行できそうなリクエストでも、その前に大規模なデータ転送が必要な場合がある一方、別のリクエストはすでに近くにあるデータを使える可能性があるため、この判断は重要だ。こうした選択を調整すれば、メモリーの再配置に費やす時間を減らせる。
この手法では、以前CPUメモリーに移した情報がまだ残っているかどうかも確認する。利用可能なコピーがあれば、すべてを再びコピーするのではなく、必要な部分だけを移せる。また、GPUがあるユーザーへの回答を生成している間に、別のユーザー向けのデータを転送することもでき、実際の処理と準備を並行させられる。
Samsungは、部分的に空いているメモリーの活用についても説明している。新たなリクエストに5単位の空き容量が必要でも、空いているのが3単位だけなら、5単位すべてが空くのを待たず、収まる範囲の処理を始められる。実用上の目標は、繁忙時にも限られたリソースを有効に使い続けることだ。この特許手法について、商用導入の詳細や、応答時間・処理能力の実測改善値は公表されていない。
ストレージへのオフロードでSamsungが測定した効果
Samsung ElectronicsのKVキャッシュに関するホワイトペーパーでは、別の手法として、再利用可能なキャッシュデータをNVMeソリッドステートドライブに保持する方法を検証している。NVMeは、PCIe接続を通じてストレージ機器とコンピューターが高速に通信できる技術だ。
テストでは、NVIDIA H100 NVL GPUを8基、並列動作するLLaMA-3.1 8Bの推論サービスを8つ、推論処理ソフトウェアのvLLM、再利用可能なKVキャッシュデータを管理するオープンソースのレイヤーであるLMCacheを使用した。Samsung PM1753ドライブ10台をRAID-0アレイにまとめ、データを複数のドライブに分散させて転送性能を高めた。
Samsungは利用者数を20人刻みで増やし、同時利用者数が280人に達するまで負荷を測定した。各利用者は20秒ごとにクエリーを送信し、負荷は毎秒1件から14件の範囲となった。つまり、この実験では、リクエストが繰り返され、キャッシュが移動する状況を定めたパターンで検証した。
セッションがGPU間を移動する場合に、ストレージを使う手法が役立つ。移動先のGPUは、長いプロンプトの初期処理をやり直さず、保存済みの計算結果を読み込める。同一マシン内では、外部キャッシュをCPUメモリーまたはストレージに保持できる。マシン間で利用する場合は、対象となるサーバーがアクセスできる共有リソースが必要だとSamsungは説明している。
応答の開始を早め、生成テキストを増やす
Samsungは、サービス性能を2つの指標で測定した。最初のトークンが出力されるまでの時間と、1秒当たりのトークン数だ。前者は回答が表示され始めるまでの待ち時間、後者は一定時間内にシステムが生成するテキスト量を示す。
ストレージへのオフロードを有効にしたテストでは、同時利用者数が240人まで、最初のトークンが出力されるまでの時間を1秒未満に保った。オフロードを行わない場合は、利用者が140人を超えると遅延が増加した。Samsungは、同程度の遅延で対応できる利用者数が1.7倍になったと説明している。利用者数が20人から140人の範囲では、オフロードを使う構成で最初の待ち時間を約0.5秒に保った。
利用者数が240人のとき、オフロードを行うシステムは約1.5倍の出力トークンを生成した。オフロードなしの構成は利用者数が約160人で飽和し始めた一方、保存済みキャッシュを再利用するシステムでは、需要の増加に伴って出力も増え続けた。
Samsungは、プロンプト処理の繰り返しを減らせたことが性能向上につながったとしている。言語モデルはまず入力を処理する。この段階はプリフィルと呼ばれ、続いてデコードと呼ばれる段階で、回答をトークンごとに生成する。保存済みの計算結果を再利用すれば、回答の生成に使えるGPUの処理能力が増える。
追加ストレージの費用対効果
Samsungのコスト分析によると、需要が高いときの効率を高める場合でも、ハードウェアの追加には費用がかかる。同時利用者数が0人から160人までの範囲では、両構成のトークン処理能力は同程度だったが、NVMe機器の追加により、オフロードを使う構成のコストは約4%高かった。
利用者数が180人を超えると、出力の増加が追加ストレージのコストを補った。利用者数が240人の場合、Samsungは3年間の稼働を想定し、1ドル当たりの毎秒トークン数で測ったコスト効率が約1.5倍になったと算出した。
別の表現をすれば、この計算で出力の費用対効果が1.5倍になることは、出力量当たりのコストが約3分の1減ることに相当する。この比較は、Samsungがテストした機器とワークロードを対象としたものだ。実際のサービスの採算性は、モデル、会話の長さ、トラフィック、機器コストなどにも左右される。
そのため、クラウド事業者にとって、実際の選択は需要次第となる。既存のGPU容量で負荷を十分に処理できている場合、ストレージを追加すると初期費用が増える可能性がある。一方、混雑が長時間続く状況では、キャッシュの再利用によって、別のサーバーを追加する前に、同じGPU設備でより多くの処理を支えられる。
冷却ファンにも及ぶ消費電力の削減
Samsungはストレージ実験で、消費電力の低下も測定した。利用者数が240人の場合、ワット当たりの性能は約2.9倍に向上した。システム全体の消費電力はオフロードなしの構成の約53%に下がり、約47%の削減となった。
ホワイトペーパーによると、NVMeドライブの追加で消費電力は約6%増加した。しかし、GPUと冷却に必要な電力の減少が、その増加分を上回った。高負荷なプリフィル計算の繰り返しを減らした結果、ワークロード移行後のGPU使用率は約49%だったとSamsungは記録している。
冷却ファンにも変化が表れた。オフロードなしでは、システムの全ファンが想定最大回転数の毎分15,000回転で動作した。オフロードを使うと、CPU、メモリー、ストレージを冷却するファンは毎分約7,800回転で動き、GPU側のファンは毎分約9,800回転だった。
この結果は、ある部品が局所的な電力需要を増やしながら、サーバー全体の消費電力を減らせる理由を示している。この実験では、保存済みの計算結果を読み込むために電力を使うことで、計算のやり直しと、それに伴う発熱を取り除くための、より大きな電力消費を減らした。
ストレージは突発的な負荷にも対応する必要がある
Samsungの測定結果は、この手法に空きドライブ容量だけでなく、ほかの要件も必要な理由を示している。ストレージ全体の平均スループットは最大で毎秒37 GBに達し、複数のGPUから同時にリクエストが来ると、ピーク時の需要は平均のほぼ2倍に達する可能性があった。
処理中のストレージ操作数は通常約160件だったが、800件に急増することもあった。Samsungは、こうした急増を吸収しながら応答性を保つため、平均需要の少なくとも2倍のストレージ帯域幅を推奨している。
PM1753の仕様上、シーケンシャル転送速度は最大毎秒14.5 GB、ランダム読み出し性能は毎秒330万回だ。テストしたワークロードでは、ストレージ処理の約92%が読み出し、8%が書き込みだった。LMCacheは約33 MBの大きなキャッシュブロックを移動した。
複数のサービスが大きなブロックを同時に読み込むと、リクエストが交錯するストリームが発生することがある。そのためストレージサブシステムは、多数のユーザーが一斉に利用し始めても転送性能を維持する必要がある。キャッシュ容量、転送速度、スケジューリングのすべてが、保存した情報を十分な速さでGPUに届けられるかどうかを左右する。
Samsung SDSは計算をメモリー内で実行
Samsung SDSは別のアプローチでデータ移動に取り組んでいる。同社のPAISEに関する研究紹介では、IEEE HPCA 2025で発表した「PIM-Accelerated Inference Scheduling Engine」について説明している。PAISEはプロセッサー・イン・メモリー（PIM）を利用する。これはメモリーチップ内に演算ユニットを配置し、データの保存場所で一部の計算を実行できるようにする技術だ。
Samsung SDSは、SamsungのAquabolt-XL PIMハードウェア上にシステムを実装して検証し、GPT-2、OPT、Llama2の各モデルで評価した。同社によると、推論速度は最大48.3%向上し、消費電力は約11.5%減少した。
PAISEはメモリー内で実行する処理を選び、ハードウェアに適したデータ配置を行う。また、小規模なアテンション計算をまとめ、並列でより効率的に実行できるようにする。Samsung SDSによると、KVキャッシュの更新が高速化し、まとめて処理するリクエスト群であるバッチのサイズが大きいほど、より大きな効果が得られた。
3つのプロジェクトはサーバー内の異なる箇所で機能する。特許はGPUとCPUのメモリー間でリクエストと転送をスケジューリングする。ストレージ実験では、後で再利用できるようにキャッシュをドライブに保存する。PAISEは選択した計算をメモリーハードウェア内で実行する。これらを通じて、SamsungがAIの回答を支える情報の移動や再構築にかかる時間と電力を減らすため、複数の方法を追求していることが分かる。
要点
- Samsungが公開した特許出願は、待ち時間、転送コスト、予想されるメモリー需要を使ってAIリクエストをスケジューリングする。
- 特許手法は、既存のGPUでより多くの利用者に対応することを目指す。商用利用時の性能データは公表されていない。
- Samsungの別のストレージテストでは、オフロードなしの場合に遅延が140人を超えて増加したのに対し、同時利用者240人でも最初の応答が始まるまでの待ち時間を1秒未満に保った。
- 利用者数240人のとき、ストレージへのオフロードにより、トークン出力とコスト効率が約1.5倍になり、ワット当たりの性能も2.9倍となった。
- 利用者が少ない場合、ストレージ追加によってコストが約4%増加するため、需要が費用対効果を左右する重要な要素となる。
- Samsung SDSによると、別のPAISEシステムはメモリー内で計算を行うことで、推論速度を最大48.3%向上させた。
