アリババ、オープンソースのマルチモーダルAIモデル「Qwen3-Omni」を発表

ネイティブなマルチモーダルモデルがオープンソースで登場

アリババは、テキスト、画像、音声、動画を入力として受け付け、テキストまたは合成音声で応答するネイティブなマルチモーダル人工知能（AI）モデル「Qwen3-Omni」を発表した。同モデルはApache 2.0ライセンスのオープンソースとして公開されており、特許ライセンスの付与とともに、商用利用、改変、再配布が認められている。幅広い機能と寛容なライセンスの組み合わせにより、Qwen3-Omniは米国の有力なクローズドシステムと正面から競合する一方、スタートアップ、研究者、大企業が導入する際のハードルを下げる。

Qwen3-Omniは、複数のモダリティをリアルタイムで理解し、処理するよう設計された「オムニモデル」への業界の移行を反映している。音声や視覚機能をテキストモデルに後付けする構成とは異なり、アリババによると、Qwen3-Omniはエンドツーエンドのマルチモーダルシステムとして開発された。思考中に音声と動画を直接処理し、専用の音声モジュールで発話を生成するため、ファイル全体の処理完了を待たずに、会話のリズム、口調、文脈を保てる。

初回リリースでは、Mixture of Experts（MoE）設計を採用し、推論の高速化と拡張性を図った300億パラメーターのファミリーが中心となる。アリババによると、最初のパケットが届くまでの遅延は音声で最短234ミリ秒、動画で547ミリ秒で、同時処理時もリアルタイム係数（RTF）は1未満だ。テキストは119言語、音声入力は19言語、音声出力は10言語に対応し、多言語アシスタント、コールセンター、ライブ翻訳への活用が期待される。

今回の発表は、アリババがクラウド事業をフルスタックAIプロバイダーとして位置づけ、中国発のオープンモデルが開発者向けプラットフォームで存在感を高める中で行われた。数日のうちにQwen3-Omniの派生モデルがHugging Faceのトレンドランキング上位に入り、世界の開発者コミュニティから強い関心を集めている。同社は、より高速なAPI版を提供するとともに、重みを直接ダウンロードしてローカル環境に導入できるよう公開している。

Qwen3-Omniの特徴

Qwen3-Omniは、思考と発話を並行して行うよう設計されている。「Thinker」コンポーネントがマルチモーダル推論を担い、「Talker」コンポーネントが音声・視覚特徴を直接条件としてThinkerの出力を自然な音声に変換する。この分離により、開発者は発話が始まる前にThinkerの段階で検索、安全性チェック、ビジネスロジックを組み込めるため、規制対象の業務にも有用だ。

ThinkerとTalker

Thinkerはテキスト、音声、画像、動画を対象に、約2兆トークンで学習した大規模言語モデルだ。Mixture of Expertsによるルーティングを採用し、トークンごとに有効化されるパラメーターを一部に限定する。これにより計算コストを抑え、処理能力を高めている。Talkerは軽量な音声生成モデルで、複数コードブックを用いた自己回帰方式により声質や韻律を保ち、コンパクトなCode2Wavネットワークで音声を高速に生成する。

リアルタイム配信とキャッシュ

会話では遅延が重要だ。アリババによると、ストリーミングでは最初に聞こえる音声トークンが、音声の場合は約4分の1秒、動画を含む場合は約0.5秒で届く。音声処理基盤には、教師あり音声データ2,000万時間（大半は中国語と英語の音声認識データで、その他の言語も世界各地から収録）で学習した新しいAudio Transformerエンコーダーを採用。ライブ通話向けのオンラインキャッシュと、バッチ処理向けのオフラインエンコードの両方に対応する。

対応言語と長文コンテキスト

開発者は長いプロンプトや書き起こしを入力できる。Thinking Modeのコンテキスト長は最大65,536トークンで、推論の連鎖は最大32,768トークンに対応する。Non Thinking Modeは最大49,152トークンをサポートする。モデルは最大16,384トークンを入力として受け付け、テキストで最大16,384トークンを生成できる。音声出力は現在10言語に対応しており、カスタマーサポートや現場サービスでのグローバルな試験導入に実用的な範囲だ。

モデル、モード、料金

アリババは、チームが用途に応じて調整できるよう、300億パラメータのファミリーから3つのモデルを公開する。InstructモデルはThinkerとTalkerの全機能を備え、音声、動画、テキストを入力として受け付け、テキストと音声を出力する。Thinkingモデルは複雑な推論と長い思考連鎖に重点を置く。入力は同じくマルチモーダルだが、出力はテキストのみで、研究、分析、コンプライアンスに配慮した企業記録に適している。Captionerモデルは音声キャプションに特化したファインチューニング済みモデルで、音楽、音声、複合音声を幻覚の少ない正確な説明文にすることを目指す。

Qwen3-Omniは、モデルハブからダウンロードでき、コードと重みはGitHubで公開されている。アリババクラウドのAPIでも利用でき、対話型サービス向けの高速なFlashオプションも用意されている。新規ユーザーには100万トークンの無料利用枠が付与され、有効期間は利用開始から90日間。従量課金は1,000トークン単位で、テキスト入力は0.00025ドル、画像または動画入力は0.00046ドル、音声入力は0.00221ドル。出力料金は、入力がテキストのみの場合、テキストが0.00096ドルで、画像または音声を含む入力では0.00178ドルに上がる。テキストと音声の両方を出力する場合、音声部分は1,000トークン当たり0.00876ドルで、テキスト部分は無料となる。

API経由の音声出力はNon Thinking Modeでのみ利用できる。この仕様により、ストリーミング音声の処理スケジュールが簡素化され、長時間にわたる構造化推論との競合を避けられる。長い思考連鎖が必要なチームは、Thinkingモデルで計画や検索を行い、最終回答を音声合成エンジンまたは音声出力用のInstructモデルに渡すこともできる。

ベンチマークの結果と見方

アリババは36の公開テストで好成績を報告しており、22項目で最先端のスコアを記録し、オープンモデルの中では32項目で首位に立ったという。結果からは、テキストと視覚の品質を維持しながら、音声機能を伸ばしたバランスのよいシステム像がうかがえる。推論タスクでは、Qwen3-OmniはAIME25で65.0、ZebraLogicで76.0を記録。WritingBenchは82.6だった。音声書き起こしでは、Wenetspeechの単語誤り率が4.69と5.89、Librispeech otherでは2.48で、同データセットとして非常に低い。音楽のタグ付けと分類でも、GTZANで93.0、RUL-MuchoMusicで52.0などのスコアを記録し、ジャンルや音響特徴の識別能力を示した。

視覚と数学のベンチマークでも強さを示した。HallusionBenchは59.7、MMMU_proは57.0、MathVision_fullは56.3。動画理解ではMLVUで75.2を記録した。アリババが公表した数値に基づくと、これらの個別テストではGPT 4oやGemini 2.0 Flashを含む多くのクローズドモデルを上回る。

ベンチマークですべての利用場面を評価できるわけではない。実際の会話では雑音が多く、アクセントもさまざまで、照明条件も変化する。業務では複数のツールを連続して使うことも多い。初期の第三者レビューでは、整備されたテストで好成績を示す小型モデルでも、実運用では苦戦する場合があるとの指摘がある。開発者は、自社データを使って概念実証を行うべきだ。特に、業界用語、専門的な図表、複数人の発話が重なる場面など、例外的なケースの確認が重要になる。

GPT 4o、Gemini、Gemmaとの比較

Qwen3-Omniは、OpenAIのGPT 4oやGoogleのGemini 2.5を含む競争の激しい市場に投入された。これらのシステムは高性能で、すでに大規模なプラットフォームに統合されているが、ソースは非公開だ。利用者は呼び出しごとに料金を支払い、基盤モデルを法的に改変したり再配布したりできない。Qwen3-OmniはApache 2.0で公開されており、商用利用、コードや重みの変更、再配布が認められる。特許ライセンスも含まれる。この組み合わせは、AIを製品や自社のプライベートインフラに直接組み込む必要がある企業の法的リスクを抑える。

機能面では、Qwen3-Omniはテキスト、画像、音声、動画を入力として受け付け、テキストまたは音声で回答できる。GPT 4oはテキスト、画像、音声を入力でき、テキストと音声で応答するが、基本構成では動画クリップを入力として扱わない。Gemini 2.5 Proは動画入力を分析でき、Googleのサービスを通じてテキストと音声で応答する。アリババは、音声と視覚をテキストモデルに後付けするのではなく、主要な機能として備えたネイティブなマルチモーダルシステムとしてQwen3-Omniを位置づけている。

GoogleはGemma 3nもApache 2.0のオープンソースとして提供している。Gemma 3nは動画、音声、テキスト、画像を入力できるが、出力はテキストのみだ。ライブ音声出力に対応する完全なオープンスタックを求めるチームにとって、寛容なライセンスのもとで音声生成を標準搭載する現行モデルは、Qwen3-Omniが唯一の選択肢かもしれない。

導入企業にとってApache 2.0が重要な理由

ライセンスによって、モデルをどこで動かせるか、どのように製品化できるかが決まる。Apache 2.0では、派生モデルの公開を求められることなく、ファインチューニングやクローズドな形での再配布が認められている。特許ライセンスと貢献者ライセンスも含まれる。知的財産権の精査が厳しい規制業界では、こうした条件が統合に伴うリスクを軽減する。企業はQwen3-Omniを自社サーバー、選択したクラウド、エッジ環境に導入でき、独自モデルを非公開に保てる。

企業と開発者の活用例

Qwen3-Omniは幅広い業務を想定している。多言語のテキスト・音声基盤は、音声入力19言語、音声出力10言語に対応し、コールセンターの書き起こしやライブ翻訳に利用できる。音声キャプションモデルは、音楽、環境音、複合音声クリップを説明し、編集者、アーキビスト、支援ツールに役立つ。視覚処理パイプラインはスクリーンショットや写真から文字を読み取り、レイアウトを把握できるため、バックオフィス業務の自動化や顧客登録の効率化につながる。

動画理解は際立った機能だ。サポート担当者はスマートフォンで撮影した短い動画を分析し、エラーランプや配線ミスを特定できる。保守アプリはライブ映像を確認し、バルブが開いたかどうかを判断できる。ThinkerとTalkerが並行して動くため、入力フレームの処理を続けながら発話を始められ、ハンズフリーの場面でも人間のようなテンポを保てる。

思考と発話を明確に分けることで、開発者は制御しやすくなる。検索システムから社内文書を取得でき、ポリシーフィルターでコンテンツを審査できる。Talkerが音声を生成する前に、安全性チェックで推論過程を確認することも可能だ。この構成は、ブランドイメージの維持が求められる消費者向けアシスタント、情報漏えいを避ける必要がある企業向け要約ツール、段階的な案内を要する現場ツールに適している。

ツール利用とエージェント

Qwen3-Omniは、複雑な業務のために外部ツールやサービスと連携できる。検索の実行、データベースへの照会、ワークフローエンジンの起動などが可能だ。アリババはクラウドプラットフォーム上でエージェント用フレームワークも開発しており、ローコードとハイコードの両方のチームがツールを組み合わせ、タスクをスケジュールし、本番環境に導入できる。Non Thinking Modeで49,000を超えるトークンのコンテキストウィンドウを利用できるため、長い複数段階のセッションを保持し、過去の操作を追跡できる。

導入動向、市場、戦略

開発者の関心は急速に高まっている。Qwen3ファミリーの派生モデルはいくつかの主要モデルハブのトレンドランキングで上位を占め、Qwen3-Omni-30B-A3Bは首位に立つことが多い。この注目度は、研究と産業の両分野で関心を集める中国発オープンモデルの広がりを反映している。

市場の動きも同じ方向を示している。AIとクラウド事業の拡大への期待が高まり、アナリストによる新たな格上げや世界のファンドからの関心再燃を受けて、アリババ株は上昇した。同社は中国国外の顧客を支えるためデータセンター網を拡充しており、ブラジル、フランス、オランダに新施設を設け、他地域でも追加の設備容量を計画している。AIインフラにも多額の投資を進めており、今後3年間で数百億ドルを投じる方針を示すとともに、AI関連の設備投資総額を増やす意向を明らかにした。

ハードウェア企業との提携も計画の一部だ。アリババは、学習、シミュレーション、検証などの分野でAI開発ツールを統合するため、Nvidiaとのソフトウエア協業を発表した。また、高度なコード生成やエージェント動作を目的とする、1兆を超えるパラメーターを持つ大型モデル「Qwen3 Max」の開発も予告した。Qwen3-Omniが、対話型アシスタントから大規模な研究用モデルまでを網羅する幅広いファミリーの一角であることを示している。

アリババ関係者の発言

アリババグループの最高経営責任者（CEO）、エディ・ウー氏は杭州で開かれた同社の年次会議で、AIとクラウドを次の成長段階に向けた2つのエンジンと位置づけ、方針を示した。また、海外のデータセンター拡大と、学習・導入をめぐる提携の強化についても説明した。

ウー氏は、同社がAI投資を拡大する理由を次のように述べた。

AIとクラウドは、電子商取引と並ぶアリババの成長エンジンだ。世界的な需要に応えるため、支出と供給能力を拡大していく

Qwenチームの研究者、リン・ジュンヤン氏は、音声と視覚に関するこれまでの研究を生かし、新しいシステムを構築した経緯を説明した。

音声と画像の基盤プロジェクトを組み合わせ、Qwen3 Omniを構築した

リスク、限界、注目点

ベンチマークで好成績を収めても、本番環境で使わなければ分からない点は残る。実環境の音声には、大きな背景雑音、発話の重なり、珍しいアクセントが含まれることがある。動画では、光の反射、手ぶれ、遮蔽が起きやすい。専門的な図表を高い再現率で処理する必要がある場合や、特定分野で高い精度が求められる書き起こしを行う場合は、データの整備と分野特化のファインチューニングに時間を割く必要がある。

現在のリリースは音声出力10言語に対応しており、多くの市場をすでにカバーしているが、利用頻度の低い言語まで必要とするチームは、テキスト出力やサードパーティーの音声エンジンに頼ることになる。ThinkerとTalkerの分離によって、選択肢も生まれる。長い推論はテキストに限定し、最終回答のみを音声に合成したい組織もある。一方、音声応答の高速化と引き換えに、出力を短くすることを受け入れる組織もある。こうしたトレードオフは、ユーザー体験の目標に照らして検証すべきだ。

オープンソースライセンスは製品開発者にとって強みだが、誰でもモデルを改変できることも意味する。企業は不正利用を防ぐため、コンテンツフィルター、不正検知、利用状況の監視を導入すべきだ。一方、Apache 2.0には特許ライセンスが含まれ、導入企業の知的財産リスクを軽減する。これは企業のコンプライアンス部門にとって重要な要素だ。

目指すのは、テキスト、視覚、音声を人間に近いタイミングで横断的に処理するマルチモーダルアシスタントだ。Qwen3-Omniが整備された評価環境の外でも実力を示し続ければ、ローカルでの制御、予測可能なコスト、幅広い開発者コミュニティを求めるチームにとって、標準的な選択肢になる可能性がある。

要点

• Qwen3-Omniはテキスト、画像、音声、動画を入力として受け付け、テキストと音声を出力する。
• 特許ライセンス付きのApache 2.0で公開され、商用利用が可能。
• Thinkerが推論を担い、Talkerが音声を生成する。両者は高速化のためMixture of Expertsを採用。
• 最初のパケットが届くまでの遅延は、音声で234ミリ秒、動画で547ミリ秒と報告されている。
• テキスト119言語、音声入力19言語、音声出力10言語に対応。
• Instruct、Thinking、Captionerの3モデルを提供。
• API料金はテキスト入力1,000トークン当たり0.00025ドルから。100万トークンの無料利用枠もある。
• ベンチマークでは、音声、動画、推論の多くのテストで高い成績を示した。
• Hugging Faceのランキングや投資家の関心が、急速な普及を示している。
• アリババはデータセンターを拡充し、Nvidiaとの協業を深めるとともに、Qwen3ファミリーを拡大している。