HoYoverse、画面を見て『崩壊:スターレイル』をプレーするAI「Gamer」を発表

読了時間:約9分
HoYoverse unveils Gamer AI that plays Honkai: Star Rail by watching the screen

開発者向けに作られたAIプレーヤー

HoYoverseのHonkai AI研究チームは、画面を見てキーボードやマウスの操作を送ることでゲームをプレーする人工知能システム「Gamer」を発表した。報告された50時間のテストでは、『崩壊:スターレイル』を95%の時間、自律的に操作した。適切な手を選ぶだけでなく、長い冒険を通じて何をすべきか記憶するという課題にも取り組んだ。

目次
  1. 開発者向けに作られたAIプレーヤー
  2. Gamerはスクリーンショットをどう操作に変えるのか
  3. クエストを記憶するようシステムを訓練
  4. クエストの結果が実際に測定するもの
  5. パズルでは成績のばらつきが明らかに
  6. 迅速な判断に高性能ハードウェアが必要な理由
  7. 何が公開され、何が未公開なのか
  8. 仮想プレーヤーがゲームのテストに役立つ方法
  9. この研究が『崩壊:スターレイル』の枠を超える理由
  10. 要点

miHoYoのチームは2026年11月13日、プロジェクトのウェブページと研究論文を公開した。デモでは、Gamerがクエストを進め、キャラクターと会話し、敵やボスと戦い、パズルを解き、5種類のミニゲームをクリアする様子が示されている。入力情報は、ゲーム内部の非公開データではなくスクリーンショットから得ている。

想定される利用者は開発者や研究者だ。HoYoverseは、Gamerがゲームのテストや問題の発見、反復的な開発作業の削減に役立つ可能性があるツールだと説明している。長期的には、ロボット向け人工知能の研究にも広げるという。報告された性能テストには、Nvidia H200グラフィックスプロセッサーなど、強力なデータセンター用ハードウェアが使われている。

プレーヤーにとって、目下のところこれは新たな自動プレー機能ではなく、研究プロジェクトだ。一方、開発者にとっての利点はより具体的だ。人間が使うのと同じ画面上のインターフェースを通じてクエストに挑み、会話や移動、戦闘、パズルを続けてこなす仮想テスターとなる。

Gamerはスクリーンショットをどう操作に変えるのか

Gamerは視覚・言語・行動モデルだ。簡単に言えば、画面を見ること、指示を理解すること、操作を出力することという3つの能力を結び付けている。論文のタイトルは「Gamer: A Generalist Vision-Language-Action Foundation Model for Long-Horizon Real-Time Game Agent」。この長い名称は、単発の操作を完了するのではなく、長時間にわたってゲームを操作するという中心的な目標を表している。

システムはゲーム画面を毎秒5回読み取り、毎秒30回の更新に相当するキーボードとマウスの指示を出力する。各操作の判断は約200ミリ秒を対象とし、約33ミリ秒の6ステップに分けられる。これにより、新たな視覚情報を得るまでの間に、短い入力の連続を計画できる。

人間のプレーヤーなら、目的地のマーカーをちらりと確認し、移動キーを押し続けながらカメラを調整することがある。Gamerは画面の画像と入力コマンドの間に、これに相当する関係を学習する。ゲーム内部の状態を伝える専用インターフェースに頼らず、キャラクターの移動やカメラの回転、メニュー操作、オブジェクトとのインタラクションが可能だ。

広告

公開された操作形式には、大文字・小文字の規則が定められた74個のキー・トークンが含まれる。無効な出力は「操作なし」として処理される。AIシステムは、より広い推論が不完全でも、ソフトウェアが確実に解釈できるコマンドを送らなければならないため、こうした規則は重要だ。

クエストを記憶するようシステムを訓練

訓練は、さまざまなゲームで記録された1万時間超のキーボードとマウスの操作データから始まる。これらの記録は、画面に表示された内容と実行された操作を結び付け、Gamerがより長い目標の達成を求められる前に、基本的な操作スキルを学べるようにする。

その後、研究者らは判断の説明や過去の行動の要約を含む指示学習を加えた。報告によると、訓練資料には約120万件の推論アノテーションと22万3,000件の記憶アノテーションが含まれる。これらは、次の手順の選び方や有用な情報の保持方法をモデルに示す例となる。

複数の場所を行き来するクエストでは、記憶が欠かせない。システムは、どのキャラクターとすでに話したか、どのルートが失敗したか、どの目標が未達成かを覚えておく必要がある。Gamerは簡潔な要約を作成し、作業中のコンテキストがいっぱいになった後も続行できるようにする。

チームは「スパース推論」と呼ぶ手法も用いる。移動のたびに長い説明を生成するのではなく、計画が有効な間は行動を続け、状況が変わったときに推論により力を割ける。これにより、慎重な計画とゲームに必要な素早い入力を結び付ける。

クエストの結果が実際に測定するもの

研究者らは、『崩壊:スターレイル』のサイドクエスト「機巧鳥探し(1)」と「獣の凶猛さ」の2つでGamerを評価した。いずれも移動やキャラクターとの会話、敵との戦闘など、複数の種類の活動を伴い、クエストのテストには簡単なパズルも含まれている。

初期の継続訓練段階を終えた時点で、報告されたクエスト目標の達成スコアはそれぞれ34.4%と47.9%だった。強化学習後には80.0%と83.6%に上昇した。最初のクエストで45.6ポイント、2番目で35.7ポイントの上昇となった。

強化学習とは、試行の結果にスコアを与え、それを通じて性能を向上させる手法だ。ここでは、チームは「Temporal-Aware GRPO」と呼ばれる方法を使い、記憶と結び付いたプレーのまとまりを通じて、報酬と操作を関連付けた。これは、数分後にタスクを完了する助けとなった過去の判断を学ぶことに似ている。

広告

自律操作率95%という50時間のテストは、稼働時間のうちGamerがどの程度を自ら操作したかを測る。一方、クエスト目標スコアは特定の目標に対する進捗を測定する。チームはまた、自動テストでメインストーリーの課題に対する成功率が95%を超えたと主張しているが、これは対象範囲が異なる別の指標だ。これらの公開結果は開発者によるもので、独立した再現検証はまだ報告されていない。

パズルでは成績のばらつきが明らかに

Gamerのミニゲームの結果は、能力を示すデモと大きな弱点が併存し得る理由を示している。7種類のミニゲームにまたがる未見の40タスクでは、強化学習で訓練したバージョンの平均成功率は49.7%だった。先行する訓練段階のスコアは15.0%で、34.7ポイント向上した。

最も成績が良かった例と悪かった例には大きな差があった。Gamerは「航路標識」のパズルで95.8%、「そろばん回路」で22.2%を記録した。差は73.6ポイントに達し、パズルの種類によって性能が大きく左右されることを示している。

デモ動画では5種類のミニゲームで成功する様子が取り上げられている一方、評価では7種類が対象となった。より幅広いテストによって、苦戦が続くタスクも含め、システムの能力を開発者がより詳細に把握できる。

テストチームにとって、こうした違いは実務上重要だ。ある課題を確実に進められるエージェントでも、別の課題ではより注意深い監督が必要になることがある。結果は、自動テストによってどこで作業を減らせるか、どこで人間が慎重に結果を確認すべきかを判断する材料となる。

迅速な判断に高性能ハードウェアが必要な理由

研究チームは、判断を要求してから受け取るまでの遅延を減らすため、「Streaming-vLLM」と呼ばれる推論エンジンを開発した。推論とは、訓練済みのAIモデルが新たな情報を処理し、回答や操作を生成する段階のことだ。

報告されたNvidia H200の構成では、このエンジンによりリクエストのエンドツーエンドの遅延が1,306ミリ秒から65.12ミリ秒に短縮され、約20倍高速化した。つまり、遅延は約1.3秒から約0.065秒に減った。AIが判断している間もゲームが進行する状況では、これは重要となる。

報告された構成では、Qwen3.5-35B-A3Bの混合エキスパートモデルを使用し、計算を4台のデバイスに分散した。混合エキスパートモデルは、タスクに応じてネットワークの一部を選択して稼働させる。速度に関する数値を理解するうえでは、ハードウェアとソフトウェアの構成が重要だ。これは一般的な家庭用コンピューターでの性能ではなく、研究用の環境を示しているからだ。

広告

Streaming-vLLMは計算の繰り返しを減らし、保存済み情報を再利用するとともに、後続の出力を生成中でも最初の有効な操作を送信できる。判断が速くなれば訓練にも役立つ。同じ時間内に、待ち時間の短いシステムはより多くのインタラクションを試せるからだ。

何が公開され、何が未公開なのか

一般公開されたものには、プロジェクトのウェブページと論文、Apache-2.0ライセンスのコードを収めたGitHubリポジトリが含まれる。リポジトリでは、プロンプトや操作形式、評価結果が説明されている。訓練済みモデルを動かすために必要な学習済みの数値設定であるモデルウェイトは、コード公開版には含まれていない。

チームはデータセキュリティ上の配慮を理由に、『崩壊:スターレイル』の訓練データと、同ゲームのデータを用いて訓練または調整したモデルウェイトを非公開としている。公開ファイルは、プロジェクトの初期の汎用訓練研究に関連するものだ。

Streaming-vLLMの実装は「近日公開」とされている。エンジンの公開日は発表されていない。訓練済みウェイトがなく、高性能なハードウェアを要することもあり、研究内容を読むことと、実証されたシステムを再現することの間には大きな隔たりが残っている。

公開までの経緯は次の通りだ。

  • 2026年11月13日:Honkai AI研究チームがGamerのプロジェクトページと論文を公開。
  • 2026年11月16日、17日:公開報道で訓練方法やデモ、性能結果の詳細が伝えられた。
  • 当時:推論エンジンは公開予定日が示されないまま「近日公開」とされていた。

仮想プレーヤーがゲームのテストに役立つ方法

HoYoverseは、ゲームテストを中心的な活用候補に挙げている。クエストには、キャラクターに近づく、会話を始める、別のエリアへ移動する、戦闘に勝つ、アイテムを集めるといった、連続する多くの手順が含まれる。どの段階で問題が起きても、プレーヤーの進行が妨げられる可能性がある。

Gamerを使えば、開発者はエージェントに画面上の操作を繰り返し実行させられる可能性がある。画面を認識し、通常の操作を使って移動できる能力は、目標やメニューが意図した通りに機能するかの確認に役立つ。操作手順を繰り返すことで、修正前に開発者が問題を再現しやすくなることもある。

研究チームは、アクセシビリティ支援や人とコンピューターのインタラクションに関する研究も、ほかの活用候補として挙げている。また、Gamerを不正行為や不正アクセス、セキュリティ上の弱点の悪用、ユーザーや公平なプレーへの危害に利用することには反対している。

広告

こうした制限が重要なのは、ゲームを自動操作する同じ能力が、まったく異なる目的に使われ得るためだ。開発目標として掲げられているのは、許可された研究とテストであり、実際の導入にあたっては人間の監督とゲームのルールが運用方法を定める。

この研究が『崩壊:スターレイル』の枠を超える理由

HoYoverseは、3次元のゲーム世界が、将来的にロボット工学にもつながる研究に役立つ環境だと考えている。ゲームでは、観察、選択、結果という一連の流れを経験できる。エージェントは障害物を見て、経路を選び、行動し、何が変わったかを確認する。

Gamerは、そうした課題の複数の要素を1つのシステムにまとめている。画面の観察が知覚を担い、指示や要約が計画を支え、キーボードとマウスの出力が操作を可能にする。複数のゲームを使った訓練は、単一のクエストやタイトルを超えて、こうしたスキルを役立てることを目指している。

実物のロボットには、現実のセンサーや移動上の制約、安全要件など、さらに多くの課題が伴う。Gamerが当面もたらすのは、研究者がタスクを繰り返し、結果を測定できる仮想環境で、持続的な行動と記憶を研究する手段だ。

このプロジェクトの全体像を最もよく示すのは、結果を総合して見ることだ。強化学習後に大きく向上したクエストの成績、ばらつきのあるパズルの成功率、高価なハードウェアを使った判断遅延の大幅な短縮。こうした詳細は、開発者がなぜこのようなテスターを求めるのか、そして日常的なツールとなるまでにさらなる研究が必要な理由の両方を説明している。

要点

  • HoYoverseのGamerは、スクリーンショットとキーボード・マウスの操作を通じてゲームをプレーする。
  • 報告された50時間のテストでは、稼働時間の95%で自律操作を達成した。
  • 2つのサイドクエストの目標スコアは、強化学習後に80.0%と83.6%に達した。
  • 40のミニゲームタスクでの平均成功率は49.7%で、パズルの種類によって大きな差があった。
  • 報告されたH200の構成では、判断の遅延が1,306ミリ秒から65.12ミリ秒に短縮された。
  • プロジェクトは研究とゲームテストを目的としている。訓練済みモデルのウェイトは同梱されず、推論エンジンは近日公開とされていた。
この記事を共有

こちらもおすすめ