開発者と企業向けの、より高速で低コストなモデル
アリババクラウドは、「Qwen3-Next」と呼ばれる新しいアーキテクチャを採用した大規模言語モデルのオープンソースファミリーを公開した。中核モデルの「Qwen3-Next-80B-A3B」は800億のパラメーターを持つ一方、従来のQwenモデルよりはるかに高速かつ低コストで動作する設計を導入している。アリババによると、新しいベースモデルの学習に必要な計算量は、4月に公開された高密度型の前世代モデル「Qwen3-32B」の10分の1未満だった。一方、新シリーズは多くのタスクで、同社のより大規模な「Qwen3-235B」と同等の品質を実現している。
目次
アリババは開発者向けにモデルをオープンソースで提供しており、主要なモデルハブや自社クラウドを通じてダウンロードとAPIを利用できる。同社はQwenを急成長する開発者エコシステムと位置付けている。この戦略は、中国のAI企業が高品質モデルを公開し、他者が検証・活用できるようにする幅広い動きと合致する。大規模な集中型インフラに頼らずに導入を広げられる道筋だ。
学習効率に関する主張に加え、Qwen3-Nextは推論時の速度と長文コンテキスト性能を重視している。アリババが公表したテストでは、このアーキテクチャは32,000トークンを超えるプロンプトで、従来のQwenモデルに比べてスループットが10倍以上となった。コンテキストウィンドウは256,000トークンで、一部の設定では100万トークンまで拡張できる。書籍ほどの長さの文書、大規模なコードリポジトリなど、入力の負荷が大きい用途にも対応しやすくなる。
Qwen3-Nextの内部で変わった点
この世代では、高度なAIで標準的になりつつある複数の技術を導入した。中核となるのは疎な混合エキスパート（MoE）で、多数の小規模なエキスパートネットワークを学習させ、各トークンの処理ではその一部だけを使う設計だ。Qwen3-Nextはこれに、長い系列を処理するハイブリッド注意機構、生成を高速化するマルチトークン予測、強化学習（RL）で生じる不安定さを抑える学習上の改良を組み合わせている。「Qwen3-Next-80B-A3B-Base」では、総パラメーター数が800億である一方、各処理段階で有効になるのは約30億にとどまる。
アリババによると、ベースモデルは高密度型のQwen3-32Bと同等、場合によってはそれを上回る品質を、学習に必要なGPU時間を10％未満に抑えて実現する。推論時には計算量を抑えながらモデルの能力を保つため、長いコンテキストで大幅な高速化が得られ、クラウドと一般向けハードウェアの双方でコスト面の利点があると同社チームは説明している。
混合エキスパートを簡単に説明すると
混合エキスパートでは、ネットワークが「エキスパート」と呼ばれる多数の専門的なサブモデルを学習する。軽量なゲーティングモジュールが、各トークンの処理にどのエキスパートを使うかを決める。Qwen3-Nextは高い疎性を採用しており、一度に動作するエキスパートはごく一部だ。一部の層では、512のエキスパートのうちトークンごとに10個が有効になるとの報告がある。これにより、モデル全体では大きな能力を保ちながら、各順伝播に必要な計算量とメモリー量を、はるかに小規模な高密度ネットワークと同程度に抑えられる。
一方で、学習が複雑になり、エキスパート間の負荷を均等にするためのスケジューリングが必要になる。アリババは、疎なMoEとRL方式の微調整を組み合わせた際に起こりやすい安定性の問題に対処したとしている。開発者にとって重要なのは、実行コストが総パラメーター数ではなく、有効なパラメーター数に応じて決まる点だ。
ハイブリッド注意機構と長文コンテキスト
注意層は、トランスフォーマーが入力トークン全体を見渡し、何が重要かを判断する部分だ。標準的な注意機構では、入力が長くなるほどコストが系列長の2乗で増加するため、処理が高コストになる。Qwen3-Nextは標準的な注意機構に、より効率よくコンテキストを近似する手法を組み合わせている。チームはこれを、Gated DeltaNetと従来型の注意機構の組み合わせと説明している。その結果、長い入力でスループットが向上し、プロンプトが長くなっても速度低下を抑えられる。アリババによると、32,000トークンを超えるコンテキスト長でスループットは10倍以上となり、標準のコンテキストウィンドウは256,000トークンで、特殊な用途では100万トークンまで拡張できる。チームはまた、一部の条件ではほぼ線形に近い性能向上が得られ、短めのコンテキストではプリフィルが最大約7倍、デコードが約4倍高速になると報告している。
マルチトークン予測とデコード
マルチトークン予測は、次に続く複数のトークンを一度に予測し、誤りがあれば修正する手法だ。投機的デコードと組み合わせることで、応答をストリーミング配信する際に必要な高コストの順伝播回数を減らせる。Qwen3-Nextはこの方式に対応し、SGLangやvLLMなどの主要な推論基盤とも連携するため、本番サービスでのレイテンシー抑制に役立つ。チームは、Zero Centered RMSNormをはじめ、学習を安定させる他の最適化手法にも言及している。疎なMoEと組み合わせることで、品質を大きく損なわずに生成を高速化できる。
指示対応と推論向けの2モデル
公開時、アリババはベースネットワークを追加学習した2つのモデルを提供した。「Qwen3-Next-80B-A3B-Instruct」は、日常的な指示への対応、チャット、ツール利用を想定している。同社のテストでは、多くの一般的なタスクでパラメーター数2,350億の最上位モデルに近い性能を示し、最大256,000トークンの非常に長いコンテキストを含むプロンプトにも強さを発揮した。
「Qwen3-Next-80B-A3B-Thinking」は複雑な推論に向けて調整されている。アリババは、自社の中位Qwen3モデルを上回るスコアに加え、評価用に選定した複数のベンチマークで、クローズドモデルの「Gemini 2.5 Flash Thinking」を超えたと強調している。同社が挙げるのは、難度の高い大学院レベルのテストセット「SuperGPQA」での60.8％という結果だ。ベンチマークは有用な指標だが、導入企業はコーディング、検索拡張生成、数学、複数段階の計画など、各分野の実際の用途で独自に試験すべきだ。
速度、コスト、ハードウェア規模
主な性能向上は、コストと時間の両面に及ぶ。アリババによると、ベースモデルの学習にかかった計算量はQwen3-32Bの10％未満だった。推論時にトークンごとに有効になるパラメーターは約30億にとどまるため、GPUメモリーの負荷と消費電力を抑えて応答できる。同じサービス水準に必要なハードウェア規模を小さくするか、同じ構成でより多くのリクエストを処理できる。
長いプロンプトでは、このアーキテクチャの強みが際立つ。アリババは、32,000トークンを超える入力でスループットが桁違いに向上し、短い系列でも、一部のテストではプリフィルが約7倍、デコードが約4倍高速になるなど、確かな改善が得られたと報告している。コンテキストウィンドウは256,000トークンで、分析担当者は契約書、議事録、大規模なコードファイルを一度に入力し、要約や比較、変更案の生成をモデルに依頼できる。同社は、新シリーズが一般向けハードウェアで動作するよう調整されており、高度な試作に大規模クラスターが不要になると強調している。
提供状況と利用方法
Qwen3-Nextモデルは広く利用できる形で公開されている。Hugging FaceやModelScopeなどの主要なモデルハブに掲載されているほか、マネージド環境への導入にはAlibaba Cloud Model Studioを利用できる。ユーザーはホスト型エンドポイントを呼び出すか、重みをダウンロードしてローカルで推論できる。シリーズはNVIDIA API Catalogからも利用でき、一部のモデルは試しやすいようKaggleにもミラーされている。
今回の公開には、チームによると主要11言語に対応する音声文字起こし機能「Qwen3-ASR-Flash」などのツールも含まれる。アリババは開発者に対し、特に大量利用や商用利用の場合は各モデルのライセンス条件を確認し、自社のデータセットや業務でテストするよう呼びかけている。SGLangやvLLMなどの推論フレームワークへの対応と、ハードウェアに配慮した活性化パターンにより、デモから信頼性の高いサービスへ移行するまでの時間を短縮できる見込みだ。
AI競争の構図を変える動き
今回の動きは、高性能モデルを低コストで広く使えるようにする、世界の研究機関や企業間の競争が激化していることを浮き彫りにする。中国企業は、導入を広げ、性能面で欧米の競合に追いつく手段として、オープンソースAIに力を入れている。アリババによると、Qwenのエコシステムは開発者向けのオープンソースコミュニティとして最大級の規模に成長した。同社はまた、パラメーター数が1兆を超えるモデル「Qwen3-Max」を予告した。このモデルは最近、研究者が運営するチャットボットのランキング「LMArena」で6位に入った。アリババに加え、DeepSeekや美団（Meituan）なども競争力のあるモデルやサービスを公開している。
計算資源は不足し、高価なため、より安価で高速なベースモデルは重要だ。先端半導体の輸出規制は中国での圧力を強めており、米国や欧州でも多くのチームがGPU不足に直面している。推論時に大半のパラメーターを休止させるアーキテクチャなら、小規模な研究機関、新興企業、大学も、限られたサーバーで高品質モデルを動かせる。アリババがクラウドとAIを軸に事業を再編するなか、今年は株価も上昇しており、投資家の注目を集めている。より多くの組織が日常業務にオープンソースAIを取り入れるにつれ、競争への影響は広がっていくだろう。
ベンチマーク、透明性、慎重な評価
モデルのランキングは参考になる一方、トレードオフが見えにくくなることもある。速度の数値は、バッチサイズ、フレームワーク、量子化、ハードウェアによって変わる。精度も、分野やプロンプトの形式、コードインタープリターや検索などのツールの有無で変動する。ベンダーのテストでは、評価対象のベンチマークも各社が選ぶ。コミュニティーや顧客による独立したテストの方が、強みと課題をより包括的に把握できる傾向がある。
Qwen3-Nextを評価するチームは、単一のベンチマークスコアだけで判断すべきではない。長文コンテキストでの精度、ツール利用、数学やコードの信頼性、安全性の制約下での振る舞いを測定する必要がある。重視するコンテキスト長でメモリー使用量とスループットを記録することも重要だ。根拠に基づく回答が必要なアプリケーションでは、検索を組み合わせ、根拠の追跡可能性を確認する。思考過程の一貫性が求められる場合は、Thinkingモデルを現在の構成と比較するとよい。
恩恵が見込まれる用途と分野
Qwen3-Nextは、長文コンテキスト、高速な応答、厳格なコスト管理が必要な用途に向けて設計されているようだ。法務や金融の担当者は、大量の文書を分析し、出典を保持した個別の要約を作成できる。カスタマーサポートの責任者は、ナレッジベースや長いトラブルシューティングガイドを1つのアシスタントに統合し、数千ページにわたる情報を横断して推論させられる。ソフトウェアチームは、コードレビュー、リファクタリング、テスト生成を支援するため、コードリポジトリやログを入力できる。
研究者は長い論文やデータセットをアップロードし、手法や結果を比較できる。メディアや教育分野では、Qwen3-ASR-Flashで音声を書き起こして翻訳し、その後、言語モデルを使って学習ガイドやコンテンツの概要を作成できる。オンプレミス導入が必要な政府機関や規制対象業界にとっても、監視、監査ログ、コンテンツフィルターを適切に整えれば、一般向けサーバーで高性能モデルを実行できることが利点となる。
要点
- アリババはQwen3-Nextを公開し、「Qwen3-Next-80B-A3B」ファミリーをオープンソース化した。
- 学習に必要な計算量はQwen3-32Bの10％未満で、テストでは同モデルと同等か、それを上回る性能を示した。
- 疎な混合エキスパートにより、800億のパラメーターのうちトークンごとに有効になるのは約30億にとどまる。
- 32,000トークンを超えるプロンプトではスループットが10倍以上向上し、コンテキストウィンドウは256,000トークンとなる。
- 一部の設定では100万トークンまで拡張でき、短めのコンテキストでもプリフィルとデコードの高速化が報告されている。
- 追加学習済みの2モデルが指示への対応と複雑な推論を担い、同社のテストでは一部のクローズドモデルを上回った。
- モデルはHugging Face、ModelScope、Alibaba Cloud Model Studio、NVIDIA API Catalogで利用できる。
- オープンソースでの公開とハードウェア要件の低さにより、新興企業、企業、研究グループでの導入拡大が見込まれる。
