アリババ、オープンソースのマルチモーダルAIモデル「Qwen3 Omni」を発表

なぜ今、この発表が重要なのか

アリババは、テキスト、画像、音声、動画を1つのシステムで処理するマルチモーダル人工知能（AI）モデル「Qwen3 Omni」を公開した。世界的にAI競争が激しさを増す中での発表となる。同モデルはApache 2.0ライセンスの下でダウンロードして利用でき、企業は商用製品でこの技術を実行、改変、提供する幅広い権利を得る。幅広いモダリティへの対応と寛容なライセンスの組み合わせは、米国大手のクローズドなシステムに直接的な圧力をかける。

発表のタイミングは注目に値する。欧米企業が独自AIやその基盤インフラに巨額の資金を投じ続ける一方、中国の研究グループはオープンアクセスのモデルで開発者を取り込もうとしている。Qwen3 OmniはHugging Faceのコミュニティーランキングで急速に上位に浮上しており、開発者層が大規模に関心を寄せていることを示している。アリババにとって今回の公開は、中国最大のクラウド事業者として、研究面での存在感だけでなく、世界のAIワークロード獲得を目指す姿勢を示すものだ。

このモデルの狙いは明快だ。言語、画像、音声、動画を取り込み、テキストまたは自然な音声でストリーミング形式の応答を返す単一の基盤モデルである。アリババが公表した性能が一般的な利用環境でも確認されれば、企業はクローズドなプラットフォームに利用料を払わず、データの種類ごとに別々のモデルを組み合わせることもなく、アシスタントや文字起こしサービス、分析ツールを導入できる可能性がある。

Qwen3 Omniとは何か、何ができるのか

Qwen3 Omniは、ネイティブなマルチモーダル対話を想定して構築された基盤モデルだ。テキスト、画像、音声、動画の4種類を入力として受け付け、テキストと音声の2種類を出力する。応答はほぼリアルタイムでストリーミングできるため、ユーザーはシステムと会話したり、カメラを場面に向けたりしながら、映像の処理中に回答を聞き始めることができる。

アリババは、用途に応じて機能を選べるよう3つのバージョンを提供する。いずれも300億パラメーターのバックボーンを基盤とし、推論時に専門家モデルを選択的に有効化して効率を高める。ラインアップは次の通り。

• Instruct：音声、動画、テキスト入力を処理し、テキストと音声の両方を生成する、対話機能を備えたフルモデル。
• Thinking：長い思考過程を伴う回答向けの推論特化モデル。同じ入力を受け付けるが、出力はテキストのみ。
• Captioner：音源や出来事を説明する際の幻覚を抑えることを目指した、詳細な音声キャプション生成向けのファインチューニング版。

開発者はGitHubとHugging Faceから重みをダウンロードできる。アリババのAPIを通じてマネージドエンドポイントを呼び出すこともでき、同APIでは遅延に敏感な用途向けに、より高速なFlash版も提供している。

ThinkerとTalkerの設計

このシステムは、アリババがThinkerとTalkerと呼ぶ2つのコンポーネントからなるアーキテクチャを採用している。Thinkerは複数のモダリティを横断した推論を担う。テキスト、視覚エンコーダー、音声エンコーダーからの手掛かりを統合し、意図する回答や動作を表すテキストトークンを計画して生成する。Talkerはその計画を自然な音声に変換し、映像や音声の文脈に合うようタイミングやイントネーションを保つ。

両コンポーネントはMixture of Experts（MoE）方式を採用する。各処理ステップで有効になるパラメーターを一部に限定し、専門家モデル間で負荷を分散することで、多数のリクエストが同時に届いた際の処理能力を高める。この設計により、同時利用者に応答しながら低遅延を維持できる。

TalkerはThinkerの内部テキスト表現に依存しない。音声や視覚の特徴を直接条件として出力できる。このため、翻訳やリアルタイム支援の際に、場面に合った韻律や声質を保ち、より自然な音声を生成できる。また、運用面での利点もある。検索システムや安全フィルターなどの外部モジュールが、Talkerによる音声化の前にThinkerの提案したテキストを確認、調整できる。

音声を速く明瞭に生成するため、Talkerは複数のコードブックからなる系列を自己回帰的に予測し、軽量なCode2Wavネットワークを使って音声フレームをリアルタイムで合成する。この手法は、音声の細部を損なわずに遅延を抑える。

速度、規模、対応言語

音声や動画を使った対話では遅延が重要だ。Qwen3 Omniが公表する初回パケット遅延は、音声で約234ミリ秒、動画で約547ミリ秒。複数のリクエストを処理する場合も、エンドツーエンドの応答性はリアルタイム係数1以内に収まり、会話の流れを保つ。

対応言語は幅広い。テキストでは119言語に対応し、19言語の音声入力を理解して、10言語で話すことができる。広東語などの方言を含む主要な世界の言語に対応しており、地域ごとにモデルを切り替えずに、世界の利用者向けアシスタントを構築できる。

コンテキストウィンドウは長時間の利用を想定している。Thinking Modeは65,536トークン、Non Thinking Modeは49,152トークンに対応する。入力と出力の最大長はいずれも16,384トークンで、推論チェーンは最長32,768トークンまで対応する。約30分までの長い音声クリップを分析、要約できる。

アリババのモデル訓練方法

音声理解の中核となるのは、AuTと呼ばれる独自のAudio Transformerだ。アリババは約2,000万時間分のラベル付き音声を使い、AuTをゼロから訓練した。データの大半は中国語と英語の自動音声認識に重点を置き、残りには他言語のデータや、より幅広い音声理解を目的とするタスクが含まれる。AuTは約6億パラメーターを持ち、ストリーミングキャッシュとオフライン処理の両方に向けて調整されている。

事前学習は3段階で実施された。エンコーダーのアライメント段階では、言語バックボーンを凍結したまま視覚・音声エンコーダーを訓練し、知覚品質の維持を図った。続く一般学習では、テキスト、音声、画像を含む約2兆トークンのデータセットを使用し、動画と音声・動画データも一部加えた。最後の長文脈学習では、系列長を8,192トークンから32,768トークンに拡張し、長い音声・動画データを混ぜることで、長い系列を処理できるようにした。

事後学習では、指示追従と安全性の調整を行った。Thinkerには教師ありファインチューニング、強いモデルから弱いモデルへの蒸留、ルールとLLMによる評価フィードバックを組み合わせたGSPO最適化を適用した。Talkerは、数億件のマルチモーダル音声サンプルと、厳選データによる継続事前学習を組み合わせた4段階の工程を経た。狙いは、音声の明瞭さと表現力を高めながら、幻覚を減らすことだった。

ベンチマーク、強み、限界

テキスト、音声、視覚、動画を対象とする36の公開ベンチマークについて、アリババはQwen3 Omniが22項目で首位、オープンモデルの中では32項目で首位に立ったと報告している。音声を多用するタスクでの強さに加え、テキストと視覚でも競争力のある結果を示した。

推論と文章作成：AIME25で65.0を記録し、2024年ごろのGPT 4oの26.7を大きく上回った。ZebraLogicでは76.0となり、Gemini 2.5 Flashの57.9を超えた。WritingBenchでは82.6を獲得し、GPT 4oの75.5を上回った。

音声とオーディオ：Wenetspeechのテスト群で報告された単語誤り率は4.69と5.89で、GPT 4oの15.30と32.27を大きく下回った。LibriSpeech otherでは誤り率が2.48に低下した。音楽分類でも強さを示し、GTZANで93.0、RUL MuchoMusicで52.0と、いずれもGPT 4oを上回った。

視覚と動画：HallusionBenchで59.7、MMMU proで57.0、MathVision fullで56.3となり、同じ結果セットにおけるGPT 4oをいずれも上回った。MLVUの動画理解テストでは75.2を記録し、Gemini 2.0 Flashの71.0、GPT 4oの64.6を上回った。

優れた数値だが、チームは文脈を踏まえて評価する必要がある。アリババは音声やマルチモーダル対話で優れた性能を発揮しながら、テキストと視覚の品質を保つようシステムを調整した。初期の評価では、同じ系列のテキスト専用モデルが純粋な言語タスクの一部でなお優位に立つ可能性も指摘されている。単一モダリティーの学習から幅広いマルチモーダル構成に移る際には、通常起こり得るトレードオフだ。本当の試金石は、日々の本番ワークフローでの性能となる。

オープンライセンス、利用方法、価格

Qwen3 OmniはApache 2.0の下で公開された。このライセンスは商用利用、改変、再配布を認め、特許ライセンスも含む。企業は自社製品にモデルを組み込み、自社のハードウェアや信頼できるクラウド環境に導入できるほか、独自の変更を公開せずにクローズドな製品として提供できる。規制の厳しい環境で先進モデルを利用する際に障壁となる、一般的な法的懸念を取り除くライセンスだ。

モデル系列はGitHubとHugging Faceからダウンロードできる。マネージドサービスを希望するチームは、より速い応答を可能にするFlashオプションも備えたアリババのAPIを利用できる。アリババは、有効化後90日間、複数のモダリティーを合わせて100万トークンの無料枠を提供し、支払い前に機能を評価できるようにしている。

トークン料金の仕組み

料金は1,000トークン単位で請求される。トークンはテキストの小さな単位、または他のメディアを分割して表現する単位であり、モダリティーを問わず計算コストを測る共通の基準だ。アリババはThinkingモードとNon Thinkingモードで同一のトークン単価を設定している。ただし、音声出力はNon Thinking Modeのみで利用できる。

入力料金：テキスト入力は1,000トークン当たり0.00025ドルで、100万トークン当たり約25セント。音声入力は1,000トークン当たり0.00221ドルで、100万トークン当たり約2.21ドル。画像・動画入力は1,000トークン当たり0.00046ドルで、100万トークン当たり約46セント。

出力料金：プロンプトがテキストのみの場合、テキスト出力は1,000トークン当たり0.00096ドル。入力に画像または音声が含まれる場合、テキスト出力は1,000トークン当たり0.00178ドル。テキストと音声の両方を出力する場合、音声部分は1,000トークン当たり0.00876ドル。この場合、テキスト部分は無料となる。

すぐに活用できる用途

音声・動画を中心とするアプリケーションは恩恵を受ける可能性がある。顧客サポートやメディアのローカライズ向けの多言語文字起こし・翻訳は、音声を聞き、文脈を理解し、音声で応答する単一モデルで実行できる。Captioner版は音声の説明に特化しており、メディアのタグ付け、放送のモニタリング、音楽情報検索に役立つ。

光学文字認識（OCR）、物体のグラウンディング、画像・動画に関する質問応答などの視覚タスクにも適している。サポート担当者がノートPCに向けたスマートフォンのライブ映像を見ながら、確認すべきケーブルを説明し、自然な速さで手順を読み上げることもできる。アリババは、ウェアラブル端末を使ってレストランのメニューをリアルタイム翻訳するデモも披露した。こうした用途から、ストリーミングの低遅延と音声品質が重要であることが分かる。

Qwen3 Omniは視聴覚対話にも対応する。聞こえた内容と見えた内容の両方を踏まえて会話し、長いセッションを通じて文脈を追跡できるほか、ツールに接続すれば関連する外部知識を提示できる。開発者はシステムプロンプトで口調や振る舞いを調整し、特定分野向けのアシスタントを構築できる。また、音声を生成する前にThinkerの出力を独自の安全フィルターに通すことも可能だ。

GPT 4o、Gemini 2.5、Gemma 3nとの比較

Qwen3 Omniは、1つのエンジンで多様なデータを処理するオムニモデルの一群に加わる。OpenAIのGPT 4oはテキスト、画像、音声の入力に対応するが、クローズドなサービスとして提供される。GoogleのGemini 2.5 Proも動画分析に対応するが、こちらもクローズドだ。GoogleのGemma 3nはオープンライセンスで、テキスト、画像、音声、動画を入力できるものの、生成するのはテキストのみ。アリババのモデルは同じ4種類の入力に対応し、音声出力も備える。これはアシスタントやリアルタイム翻訳で重要な違いだ。

オープン性は実務上の大きな違いとなる。Qwen3 Omniの重みはApache 2.0の下で公開されており、企業はモデルをローカルで実行し、業界規制に合わせて調整し、データの流れを管理できる。一部の高度なタスクではクローズドモデルが依然として優位だが、ライセンスやデータの保存場所に関する条件が、機微な情報を扱う分野での導入を制限することがある。多くの組織は、コストと管理性を重視してオープンモデルを使い、性能で代替が難しい部分には有料サービスを組み合わせる混合構成を選ぶだろう。

もう1つの違いは、本番運用に向けた実績だ。アリババは数百の派生モデルを含む幅広いQwen系列を構築し、開発者に広く採用されていると報告している。Qwen3 Omniのリアルタイム音声・動画対話が日常的な利用でもベンチマーク並みの性能を発揮し続ければ、多言語対応で低遅延、かつ自社でホスティング可能なアシスタントを必要とするチームにとって、有力な選択肢となる。

導入状況と市場の反応

開発者の関心は目に見える形で表れている。Qwen3 OmniはHugging Faceのトレンドランキングで首位に立ち、アリババの他のモデルも上位の複数枠を占めている。この勢いは、中国の研究機関が開発したオープンモデルの世界的なコミュニティーでの存在感が高まる、より広い潮流を反映している。

アリババ・クラウドによると、Qwen系列の世界累計ダウンロード数は4億回を超え、同系列の開始以降に公開したモデルは300を超える。投資家の反応も好意的だった。Qwen3 Omniがコミュニティーランキングの首位に浮上した日、香港市場でアリババ株は4％強上昇した。同社のAI分野の進展を市場が注視していることを示している。

「オープン」の意味を巡る議論もある。モデルはApache 2.0で提供され、重みも公開されている一方、生データから学習を再現するための完全な手順は公開されていない。厳密な意味では「オープンウェイト」と呼ぶべきだという見方もある。多くの企業にとって重要なのはライセンス条件であり、ユーザー単位やシート単位の料金を払わずに製品を提供できる。

安全性とガバナンスで注視すべき点

企業は、公表されたベンチマークの向上が、高負荷時にも予測可能で安全な振る舞いにつながるかを確認するだろう。音声システムには、指示の聞き違いから説得力のある音声合成まで、特有のリスクがある。チームは本人確認、コンテンツフィルタリング、データ保持に関する安全策を設けるべきだ。ThinkerとTalkerを分離する設計はこうした管理を支える。音声生成前に安全レイヤーがテキストを遮断できるためだ。

運用体制の整備も焦点となる。オープンモデルを大規模導入する組織は、MLOps、ファインチューニングのパイプライン、評価体制に投資することが多い。Qwen3 Omniはテキスト、音声、画像、動画を一か所で扱うため、複数モデルを使い分ける必要を減らす。インフラの簡素化と製品開発サイクルの短縮につながる可能性があり、特に地域の規則を満たす必要があるオンプレミスやソブリンクラウドへの導入で有用だ。

アリババは今後の課題として、複数話者の認識向上、動画内の文字認識、音声と動画を組み合わせた学習の強化、より高性能な自律型エージェントなどを挙げている。顧客が試験導入から本番運用へ移る中で、これらはまずモデルに求める機能と重なる。

要点

• Qwen3 Omniはテキスト、画像、音声、動画を受け付け、ストリーミング形式でテキストと音声を出力する単一モデル。
• アリババはApache 2.0の下で重みを公開。特許ライセンス付きで、商用利用、改変、再配布が可能。
• 現在提供されるのは3種類。フル対話向けのInstruct、テキスト出力で長い推論を行うThinking、幻覚を抑えた音声説明向けのCaptioner。
• ThinkerとTalkerが推論と音声生成を分担し、Mixture of Experts方式で同時負荷時の低遅延を実現する。
• 公表された初回パケット遅延は音声で約234ミリ秒、動画で約547ミリ秒。リアルタイム係数1以内で動作する。
• テキストは119言語に対応し、19言語の音声を理解、10言語で発話できる。広東語などの方言にも対応。
• 約2,000万時間分のデータで訓練された6億パラメーターの音声エンコーダーAuTが、音声理解の中核を担う。
• ベンチマーク36項目中22項目で首位、オープンモデルでは32項目で首位。音声、音楽、視覚、動画で強い結果を示した。
• API料金はテキスト入力が1,000トークン当たり0.00025ドル、テキスト出力が同0.00096ドルから。90日間の100万トークン無料枠もある。
• Hugging Faceで急速に採用が進んでおり、アリババはQwenのダウンロードが数億回に達したと報告。企業は本番利用に向けてオープンモデルを評価している。