MIT研究者、GPT-6 Astraが重みを直接編集しQwenの数学スコアを引き上げたと発表

わずかな数値の修正でスコアが大幅上昇

MITコンピューター科学・人工知能研究所の研究者らによると、OpenAIのGPT-6 Astraは、約8億個ある数値パラメーターのうち131,072個だけを変更し、小型のQwenモデルの数学スコアを7.9%から48.1%に引き上げた。介入の対象となったのは、モデルが回答する余地を使い切るまで文章を繰り返し生成するという、特定の問題だった。

Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattabは、11月2日付の研究記事「Sparks of Weight-Space Programming」で実験内容を説明した。続いて2026年11月3日付で報道された。研究チームの手法では、言語モデルに別のニューラルネットワークの重み、つまり情報処理の仕方を決める数値を調べ、解釈し、直接書き換えさせる。

最も顕著な成果はQwen3.5-0.8Bで得られた。Astraが重みのおよそ0.016%を変更したところ、MATH-500の正答率は40.2ポイント上昇し、当初の約6倍となった。GSM8Kの数学問題の正答率は13.8%から67.1%に、IFEvalの指示追従スコアは21.0%から62.3%へ上がり、ほぼ3倍となった。

実験は数学にとどまらなかった。Astraは小規模ネットワークの用途を特定し、運転シミュレーターの制御器を修復したほか、ルールやソースコードからゲーム用ネットワークを直接作成した。一方、別のテストでは限界も明らかになった。重みだけからユーザーへの過剰な同調を見抜くのは難しく、別の言語モデルでは編集による数学の改善はわずかだった。

開発者にとって、すぐに考えられるのはモデルを新たな方法で修復できる可能性だ。従来型の追加学習を行う代わりに、AIアシスタントが問題を調べ、その原因となる数値の仕組みを変更できるかもしれない。Qwenの結果はまた、スコア上昇の大きさと同じくらい、問題の性質が重要であることを示している。

重みをプログラムするとはどういうことか

ニューラルネットワークは、層ごとの計算を通じて入力を出力に変換する。重みは、構成要素の間を信号がどの程度伝わるかを制御する。通常の学習では、例と誤差を示す数理的な尺度を使い、どの変更が有効かを判断しながら、こうした数値を繰り返し調整する。

調整量を計算する一般的な方法の一つが勾配降下法だ。誤差を減らすため、重みをどの方向に動かせばよいかを推定する。今回の実験では、Astraが対象ネットワークについて推論し、編集内容を自ら書き込んだ。編集を計算する学習ループは使わなかった。

MIT CSAILの博士課程学生であるTakehiは、ソーシャルメディアへの投稿で、提案する作業手順を次のように説明した。

学習させる代わりに、モデルは生の重みを読み書き可能なコードのように扱い、問題を診断して直接修正できるかもしれない

ソフトウェア修復との比較は分かりやすい。壊れたアプリケーションを調べるプログラマーは、不具合のある関数を見つけて書き直すことがある。今回、Astraは望ましくない振る舞いに結び付くパターンを数値構造の中から探した。ニューラルネットワークの重みは、通常、各値の役割を説明する人間に分かる名前がないため、一般的なソフトウェアより解釈が難しい。

実験では、Astraに与える支援の度合いもさまざまだった。重みとアーキテクチャの説明だけを渡す場合もあれば、Python環境や例を提供したり、対象モデルを実行する許可を与えたりした。Qwenの場合、従来型の学習は行わなかったものの、相応の計算や練習問題、テストは必要だった。

AstraはいかにQwenの反復を止めたか

Qwenの当初の挙動は、Astraが調査する問題として異例なほど明確だった。96問の初期バッチでは、85件の回答が最大出力長の32,768トークンに達した。トークンとは言語モデルが読み書きするテキストの単位で、単語やその一部に当たることが多い。出力が途中で打ち切られた回答の約95%は、同じ内容の繰り返しで終わっていた。

より広範なMATH-500評価でも同じ問題が見られた。ベースラインの回答の93.0%がトークン上限に達していた。Astraは、この反復挙動の原因を、15層目と19層目のフィードフォワード構成要素からの出力に関連する数値方向だと突き止めた。多層パーセプトロン（MLP）とも呼ばれるこれらの構成要素は、各層の中で情報を変換する。

数値方向とは、一つのスイッチではなく、多数の値にまたがるパターンだ。Astraは両層の64個の出力列から、反復に関連する方向を差し引いた。これにより131,072個の重みが変わり、MATH-500でトークン上限に達した回答の割合は33.1%に低下した。

正答がどう変わったかを見ると、改善の理由が分かる。保留していた1,152問では、579件の回答が誤答から正答に変わり、正答から誤答になったのは5件だった。改善した579件のうち576件は、もともと出力上限で打ち切られていた。つまり、改善の大半は、編集後のモデルが、以前は反復によって中断されていた回答を最後まで出せるようになったことで生じた。

修正後もMATH-500の回答のおよそ3分の1は出力上限に達した。テスト条件下での実用性は大きく高まったものの、反復は依然として重大な問題だった。

修正の発見には何時間もの調査が必要だった

Qwenで最も成果の大きかったAstraの試行では、評価リクエストの予算を50回分とした。各リクエストでは、数百件の例を評価できる場合がある。調査には対話158ターン、Pythonの実行80回、計20.3時間を要し、このうち4.7時間はサービス停止の復旧待ちだった。

作業環境には、GSM8KとMATHの学習セットから集めた14,000問以上の練習問題、Qwenの重みへのアクセス、CPU上で動くPythonサンドボックスが含まれていた。サンドボックスでは最大300回のコード実行が可能だった。別の試行では評価リクエストの予算を10回または25回とした。

報告された正答率は、特定の生成設定に基づく。評価では思考モード、出力上限32,768トークン、温度0.6を使用した。温度は次のトークンを選ぶ際に加わるランダム性の度合いを制御する。モデルカードでは、思考モードのテキストタスクに温度1.0を推奨している。この違いは、元の挙動を再現し、結果を比較する際に重要だ。

実際の手順は次の通りだった。

• 研究者らは、対象モデルと練習問題をAstraに渡し、重みの調査や挙動のテストに使うツールも提供した。
• Astraは出力の反復を調べ、15層目と19層目を対象とする編集方法を考案した。
• 評価では、数学と指示追従の改善に加え、出力上限に達する回答が減ったかどうかを測定した。
• チームは11月2日に研究成果を発表し、ベンチマークとテスト用フレームワークを開発中だと述べた。

最終的な編集は小規模だったが、その発見にははるかに大掛かりな作業が必要だった。この方法が従来型のファインチューニングと比べて時間や計算資源を節約できるかは、実用面で今後検証すべき課題だ。

数値からゲームや図形、言語を読み取る

Astraによる調査テストではまず、近接方策最適化（PPO）という報酬を通じて挙動を改善する強化学習手法で訓練された、4つのゲーム用ネットワークを使った。ネットワークは同じ構造、入力、選択可能な行動を備えていた。候補となるゲーム名を示さずに調べさせたところ、AstraはBreakout、Pong、Pac-Man、Freewayと特定した。

研究者らによると、Astraは第1層のパターンや、出力層が行動を選択する仕組みの違いを調べた。Breakoutを特定した例では、Astraは回答への確信度を99%とした。この確信度は、Astra自身による特定結果の評価だ。

3つの小規模な拡散モデルでもテストした。それぞれ円、三角形、四角形の生成を学習していた。実際にモデルを動かさず、Astraは出力層の重みに輪郭を見つけて図形を特定した。モデルが塗りつぶされた図形を生成する一方で、Astraが描いたのは中が空洞の図形だった。この意外な特徴は、調べた数値構造とその解釈が結び付いていることを示した。

言語の特定では、それぞれ720万パラメーターを持ち、Pythonコード、ローマ字表記の日本語、英語の次の文字を予測するよう訓練された3つのモデルを使った。Astraには中間層だけが渡され、2回の試行とも学習言語を正しく特定した。

Astraは、過去に見たテキストの反復を助ける注意機構の一部であるコピー・ヘッドも発見した。Pythonモデルにはこうしたヘッドが多く、コードで同じ変数名や関数名が繰り返し使われることと整合していた。ローマ字表記の日本語モデルでは、最終モジュールが書き出す方向の数が少なく、よく使われる文字の種類が比較的限られていることと一致していた。

車を修理し、ゲームのプレーヤーを作る

Kinetix環境のシミュレーションカーは、坂に突っ込んで動けなくなるという役に立たない癖を身に付けていた。先に後退すれば、勢いをつけて坂を上り切るためのスペースを確保できる。制御器の重み、場面の説明、失敗を記録した映像を与えられたAstraは、ツールを使わず1回の応答で修正案を出した。

修正では重みの3.5%を変更し、1,024件すべてのテストに成功した。Astraは位置と速度を追跡する小さな経路をネットワークに追加し、車が目印を通過した後は元のネットワークに制御を戻した。

MinAtarのゲーム、Breakout、Seaquest、Asterixでは、Astraは方策ネットワークをゼロから作るという別の課題に取り組んだ。方策ネットワークは、ゲームの状態を行動に変換する。Astraにはルール、ソースコード、指定されたアーキテクチャが与えられたが、学習例も勾配計算もツールもなく、評価前にプレーする機会もなかった。

Astraのネットワークは、3つすべてのゲームで、1億ステップの学習を行ったPPOのベースラインを上回った。数値の差が最も大きかったのはBreakoutで、Astraのスコアは517.4だった。1億ステップ学習したベースラインは15.8、5億ステップ学習したモデルは25.3だった。後者と比べると、およそ20倍の優位に当たる。

優位の度合いはゲームによって異なった。5億ステップ学習したPPOモデルとの比較では、Asterixでほぼ同等となり、Seaquestではベースラインのスコアの約60%に達した。Breakout用の設計では、明示的な戦略を重みに変換した。ボールの着地点を推定し、パドルをその位置に動かすというものだ。

大規模な囲碁ネットワークには別の手順が必要だった

囲碁の実験では約150万パラメーターのネットワークを使った。これはAstraのコンテキストウィンドウ、つまり一度に扱える情報量に直接収めるには大きすぎた。そこで研究者らは、重みを調べて編集するためのPythonサンドボックスを用意した。

アーキテクチャは243個の入力、512ユニットから成る6つの隠れ層、82個の出力で構成されていた。Astraはこれを簡潔な囲碁プログラムのように組み立てた。初期層では石と呼吸点、つまり石の集団が生き残るために必要な空き隣接点を表現した。中間層では連結した石の集団に情報を伝え、危険を特定した。

最終層では、相手の石を取る、危険にさらされた集団を救う、眼を守る、アタリ、つまり集団の呼吸点が残り1つになった状態を避けるといった手を評価した。これは対局を繰り返して学習したのではなく、数値の重みを通じて組み立てられた戦略だった。

性能評価を一度も行わない場合でも、Astraのネットワークは小規模なPPOネットワーク2つを相手に、半数を超える対局で勝利した。評価予算を50回分与えた場合は、2,000万局で学習した同規模のネットワークを上回った。フィードバックを受けたAstraは敗局を調べ、対局を改善した変更を残すことができた。

難しい2つのテストで限界が明らかに

Gemma 3 270MはQwenとは対照的な事例となった。反復ループに陥ることはほとんどなかった。Astraは代わりに、計算ミスや不適切な代数操作など、一般的な推論上の誤りを見つけた。数値に反応するニューロンの強度を2倍にするなど、小さな編集を行っても、MATH-500の正答率は最大で約1ポイントしか改善しなかった。

この比較は実用上の違いを示している。繰り返しの挙動を取り除けば、モデルがすでに持つ能力を発揮できるようになる場合がある。一方、多様な数学の誤りを直すには、共通する数値パターンを一つ取り除くだけでは不十分だ。

ユーザーが誤っていても同意しがちな傾向であるシコファンシー（過剰な迎合）は、直接調べるのが難しかった。研究者らは、同じ質問と回答のデータでGemma 3 270Mのモデルを2つずつファインチューニングした。一方には正しく回答するよう訓練し、もう一方にはユーザーの提案に同意するよう訓練した。

Astraは重みだけから両者を確実に見分けられなかった。モデルの回答を見ずに、Astra自身が書いたテキストに対する注意パターンを調べることを許可すると、3組すべてでシコファンシーのあるモデルを正しく特定した。こうしたモデルは、ユーザーが示唆した内容に中間層の注意をより多く向けていた。

注意の測定値は、テキスト処理中にモデルが処理の一部をどこに向けているかを示す。ここで有効だったことから、実行させて調べる方法は、診断の成功に重要だった。課題は過剰な同意の検出であり、その挙動の変更は別に提案された応用方法だ。

研究者らが次に検証したいこと

MITのチームは、モデルの検査や対象を絞った修復、従来型の学習データなしでの能力変更、異なるアーキテクチャ間での有用な構成要素の移植に、この手法を活用できる可能性があるとみている。モデルの直接編集には、2022年のNeurIPSで発表されたROMEや、2023年のICLRで発表されたMEMITなど、すでに研究の蓄積がある。今回の研究は、汎用言語モデルが編集内容そのものを推論する方法を探るものだ。

再帰的な自己改善も、提案されている方向性の一つだ。AIシステムがモデルの改善を支援し、そのモデルがさらに改善を進める能力を高めるという構想である。今回の実験では、人間が課題、ツール、評価予算を設定し、Astraは別のネットワークを対象に作業した。信頼性の高い反復サイクルを構築するには、さらなる実験が必要となる。

チームは実験ログと編集成果物を公開した。公開リポジトリにはモデル呼び出しの記録が1,125件含まれると説明されている。次の段階として、安定した評価を行うためのベンチマークと実験用フレームワークの開発を挙げている。公開時期は示されていない。

AIアプリケーションを開発する人々にとって、最も具体的な知見はより限定的で、すぐ理解できるものだ。繰り返し起きる不具合のせいでモデルが有用な作業を完了できない場合、数値の小規模な修正が大きな改善につながることがある。Gemmaとシコファンシーの対照的な結果は、修正のたびに個別の診断とテストが必要であることを示している。

要点

• AstraはQwenの重み131,072個、モデル全体の約0.016%を変更し、MATH-500の正答率を7.9%から48.1%に引き上げた。
• GSM8Kの正答率は13.8%から67.1%に、IFEvalは21.0%から62.3%に上昇した。
• 主な修正は出力の反復を減らし、トークン上限に達したMATH-500の回答の割合を93.0%から33.1%に低下させた。
• Qwenで最も成果の大きかった試行では評価リクエストを50回行い、サービス停止時間を含めて20.3時間を要した。
• Astraは運転シミュレーターの制御器を修復し、簡易ゲームや囲碁のネットワークも作成した。
• Gemmaでは数学の改善はわずかで、シコファンシーの特定には注意の測定が必要だった。
• 研究者らは、重み空間プログラミングのためのベンチマークとテスト用フレームワークを開発している。