なぜ今重要なのか：オープンなマルチモーダルAIが主流に
アリババは、テキスト、画像、音声、動画を入力として受け取り、リアルタイムでテキストまたは自然な音声で応答できる、無料で利用可能なマルチモーダル人工知能モデル「Qwen3-Omni」を公開した。同社は、4種類すべての入力を後付けで組み合わせるのではなく、単一モデル内に統合した初のネイティブなエンドツーエンドのオムニモーダルシステムと位置付けている。OpenAIやGoogleの主要システムが依然としてプロプライエタリである市場に登場したことで、クローズドなプラットフォームと、Apache 2.0ライセンスの下で誰もがダウンロード、改変、導入できるオープンソースの代替モデルとの鮮明な対比が生まれている。
目次
その利点は明快だ。企業や開発者は、低遅延、幅広い言語対応、応答を調整するツールを備え、複数のモダリティに対応するモデルを利用できる。影響は技術ベンチマークにとどまらない。企業での利用に適したオープンなライセンスにより、特定ベンダーへのロックインがなくなり、自社インフラ上でモデルを動かす選択肢が組織に与えられる。多くの企業がAIスタックのコスト、制御、性能のバランスを模索する今、これは大きな違いとなる。
Qwen3-Omniは、オムニモデルの登場が相次いだ後に公開された。OpenAIのGPT-4oはテキスト、画像、音声を統合し、GoogleのGemini 2.5 Proは動画分析に対応した。これらのシステムは有料で、クローズドなままだ。Qwen3-Omniは動画理解、音声入力、音声出力を一つにまとめ、コミュニティが中身を検証し、基盤として活用できるようにした。この公開は、開発者向けプラットフォームで広く採用され、競争環境を変えつつある中国発のオープンAIプロジェクトの台頭も反映している。
Qwen3-Omniの概要と仕組み
Qwen3-Omniは、パイプラインの異なる段階にそれぞれ最適化された「Thinker」と「Talker」と呼ばれる2部構成を採用している。Thinkerはマルチモーダルな理解、推論、テキスト生成を担う。Talkerは承認された出力を音声に変換し、音声と映像を連携させる。両コンポーネントはMixture of Experts（専門家混合）アーキテクチャを採用している。これは、モデルのパラメーターを専門分野ごとのグループに分け、必要なときだけ動作させる方式だ。すべてのリクエストで全パラメーターを実行する必要がないため、推論の高速化とスケーラビリティの向上につながる。
ThinkerとTalkerの仕組み
Qwen3-Omniでは、Thinkerが入力を受け取り、テキスト、画像、音声、動画の信号を融合して、中核となる応答をテキスト形式で生成する。長い文脈での推論、ツール利用、検索、安全フィルターはここで実行できる。重要なのは、TalkerがThinkerのテキストトークンを条件として出力する必要がない点だ。代わりに、音声と映像の特徴を直接条件として使う。この設計により、翻訳時に元の話者のタイミングや強弱に合わせた音声を生成したり、画面に表示される内容と話す速度を同期させたりできる。また、Talkerが音声に変換する前に外部モジュールがThinkerの出力を確認、調整できるため、ワークフローの制御にも対応する。
音声処理には、コンパクトな音響トークンを予測するマルチコードブック自己回帰方式を採用し、その後、軽量なCode2Wavネットワークで波形に変換する。この設計は、音声の細部を保ちながら遅延を抑える。Audio Transformerと呼ばれる音声エンコーダーは、ストリーミングとオフラインの両方に対応するため、一から学習された。
低遅延のストリーミングに対応
Qwen3-Omniは、ライブでの対話利用を想定している。システムが公表するエンドツーエンドの初回パケット遅延は、音声で約234ミリ秒、動画で約547ミリ秒だ。リアルタイム係数は1未満で、入力を受け取るのと同じ速さ、またはそれ以上の速さで出力を生成できる。これは、音声エージェント、コンタクトセンター向けコパイロット、会議の文字起こしなど、遅延が会話の流れを妨げるあらゆる用途で重要となる。
対応言語とコンテキスト上限
テキストは119言語、音声入力は19言語、音声出力は10言語に対応する。長時間のやり取りも扱える。Thinking Modeのコンテキストウィンドウは65,536トークンで、推論チェーンの最大長は32,768トークン。Non Thinking Modeのコンテキストは49,152トークンだ。入力と出力の最大長はいずれも16,384トークンとなっている。これらの上限は、1回のセッションでモデルが処理、生成できる情報量を定めるため、動画の文字起こしや長文書を扱う際に特に重要だ。
バージョンと導入方法
アリババは、用途に合わせて調整した「Qwen3-Omni-30B-A3B」の3つのバージョンを公開する。
InstructモデルはThinkerとTalkerを組み合わせたものだ。テキスト、画像、音声、動画を受け取り、テキストと音声で応答する。Thinkingモデルは推論や長い思考連鎖を要するタスクに重点を置く。同じ入力に対応するが、出力はテキストのみだ。そのため、音声よりも詳細な文章による応答が重要な場面に適している。Captionerモデルは音声のキャプション生成向けにファインチューニングされ、幻覚を抑えながら詳細なテキスト説明を生成する。この3種類により、幅広いマルチモーダル対話、深い推論、専門的な音声理解をカバーする。
Qwen3-Omniはローカル環境とクラウドの両方で利用できる。開発者は公式リポジトリやコミュニティーハブから重みをダウンロードするか、アリババのAPIを通じて、より高速なFlash版を呼び出せる。クイックスタートガイド、音声認識、翻訳、音楽分析、OCR、音声・映像対話などのタスク別レシピ、Dockerでの導入手順もプロジェクトのドキュメントで公開されている。GitHubリポジトリはこちら：https://github.com/QwenLM/Qwen3-Omni。
ホスト型APIを試すチーム向けに、アリババは有効化から90日間使える、全モダリティ合計100万トークンの無料枠を提供する。API利用時、音声出力が使えるのはNon Thinking Modeのみだ。こうした条件は、初期実験の試験導入やコスト見積もりを計画するうえで重要となる。
学習パイプラインの概要
Qwen3-Omniは、大規模な事前学習と的を絞った事後学習を組み合わせた多段階のプロセスで学習された。音声エンコーダーとして機能するAudio Transformerのパラメーター数は約6億。教師あり音声データ2,000万時間を用いて学習された。データ構成は、中国語と英語の音声認識が約80％、その他言語の音声認識が10％、音声理解タスクが10％だ。このエンコーダーは、リアルタイムのキャッシュ処理とオフライン処理の両方に対応するよう設計されている。
事前学習は3段階で行われた。第1段階の「エンコーダーのアライメント」では、言語モデルの中核部分を固定したまま、視覚エンコーダーと音声エンコーダーを学習させた。これにより、初期の融合段階でモデルの知覚能力が低下するのを防いだ。第2段階の「汎用学習」では、テキスト、音声、画像に加え、少量の動画および音声・動画サンプルを含む約2兆トークンのデータセットを使用した。第3段階では、最大トークン長を8,192から32,768に拡張し、長い音声や動画のデータを増やして、長系列の処理能力を強化した。
事後学習では、推論能力と音声品質の両方を改善した。Thinkerには教師ありファインチューニング、強いモデルから弱いモデルへの蒸留、ルールベースのフィードバックと「モデルを判定者とする」採点を組み合わせたGSPO最適化を適用した。Talkerは、数億件のマルチモーダル音声サンプルを用いた4段階のプロセスを経て、厳選データによる継続的な事前学習を受けた。目標は、幻覚の発生率を下げ、音声をより自然にすることだった。
性能と強みを発揮する分野
同社が公表した公開ベンチマークでは、Qwen3-Omniはテキストと視覚でも高いスコアを維持しつつ、音声、オーディオ、動画の理解で優れた結果を示している。多くのオープンなランキングで首位に立ち、クローズドなシステムに対しても競争力のある成績を収めている。
テキストと推論では、AIME25で65.0、ZebraLogicで76.0を記録した。WritingBenchでは82.6に達した。音声とオーディオでは、Wenetspeechで単語誤り率4.69と5.89、Librispeech otherで2.48を記録。音楽関連タスクでも強みを示し、GTZANで93.0、RUL MuchoMusicで52.0だった。画像と視覚では、HallusionBenchが59.7、MMMU proが57.0、MathVision fullが56.3。動画ではMLVUで75.2を記録した。外部評価でも再現されれば、従来のテキストタスクと高度な音声・動画理解のバランスを取るモデルであることを示す数値だ。
留意すべき点は2つある。第一に、結果の多くは自己申告だ。日常的な性能をより完全に把握するには、より幅広いテストスイートでの独立した再現検証が必要となる。第二に、4種類の入力に対応する単一モデルの構築にはトレードオフが生じる可能性がある。同社の資料はモダリティ間の同等性を示そうとしているが、コミュニティーのレビュアーの中には、以前のテキスト中心のQwenが一部の限定的なタスクで純粋なテキスト出力にやや優れるケースを指摘する人もいる。これは、特化型モデルと汎用型モデルの間でよく見られる緊張関係だ。今回の公開版はその差を縮める一方、特化型モデルには実現できないクロスモーダルな動作を可能にする。
料金、無料枠、利用上限
Qwen3-Omniは、Apache 2.0ライセンスの下でローカル導入向けにオープンソースとして公開されている。アリババのAPIでマネージド利用する場合、料金はトークン単位で課金される。Thinking ModeとNon Thinking Modeのトークン単価は同じ。音声出力を利用できるのはNon Thinking Modeのみだ。
入力料金（1,000トークン当たり）
- テキスト入力：0.00025米ドル
- 音声入力：0.00221米ドル
- 画像または動画入力：0.00046米ドル
出力料金（1,000トークン当たり）
- テキストのみの入力に対するテキスト出力：0.00096米ドル
- 画像または音声を含む入力に対するテキスト出力：0.00178米ドル
- テキストと音声の出力：音声部分は0.00876米ドル、テキストは無料
無料枠は全モダリティ合計100万トークンで、有効化から90日間利用できる。コンテキスト上限は大きく、Thinking Modeでは65,536トークン、Non Thinking Modeでは49,152トークンだ。単一入力の最大長は16,384トークン、出力の最大長も16,384トークン。推論チェーンの最大長は32,768トークンに達する。こうした上限を踏まえ、実運用では長いメディアや文書をどのように分割するかを決めることになる。
企業にとっての意義
ライセンスは、この発表の重要な要素だ。Apache 2.0は商用利用、改変、再配布の権利を認める。特許ライセンスも含まれており、モデルを独自システムに組み込む際の法的リスクを軽減する。派生物を公開する義務はないため、ファインチューニング版を非公開にしておきたい企業も導入しやすい。コスト、利用制限、モデルの挙動が予告なく変更されても対処できない、ベンダー管理のブラックボックスとは対照的だ。
この公開は、アーキテクチャの選択にも影響を与える。多くの組織が、タスクごとにオープンモデルとクローズドモデルを組み合わせ、日常業務には高速で小規模なモデル、複雑な推論には大規模なモデルを使い分け、データ管理のため一部の処理をオンプレミスで行う、複数モデル構成へと移行している。Qwen3-Omniは、音声を多用する場面、多言語環境、動画中心のワークフローで有力な候補となる。複数のモダリティを1つのモデルで処理できれば、学習や保守が必要な個別システムの数を減らせる可能性がある。
導入を成功させるには、引き続き慎重な運用が欠かせない。セキュリティ審査、プライバシー管理、評価の仕組み、ファインチューニングのパイプラインは今も必須だ。モデルがオープンであるため監査や最適化はしやすいが、安全性とコンプライアンスを確保する責任は導入側にある。MLOps、ツール利用、ガードレールに投資するチームほど、大きな価値を引き出せる。
用途：コンタクトセンターからフィールドサービスまで
アリババは、モデルの強みを生かせる幅広い用途を挙げている。多言語の文字起こしと翻訳に、低遅延の音声出力を組み合わせれば、リアルタイムの会話に対応できる。音声のキャプション生成は、メディア制作やコンテンツのアクセシビリティ向上に役立つ。OCRや文書理解は、フォーム、レシート、図表の画像にも対応する。音楽のタグ付けや音響分析は、メディアライブラリーやクリエーティブツールに役立つ。動画理解を使えば、チュートリアルや機器の操作手順から、内容のインデックス化、ナビゲーション、指示の実行が可能になる。
用途の一例は、技術サポートだ。顧客がスマートフォンから動画を配信し、モデルが画面上の文字を読み取り、周囲の音を聞きながら、音声で段階的な案内を返せる。もう一つの例は、メニューや標識をリアルタイムで翻訳するウェアラブルアシスタントだ。開発者はシステムプロンプトで口調、ペルソナ、対応分野の境界を設定できるほか、検索、計算機、サードパーティーツールを連携させて機能を拡張できる。
普及の兆しと世界的な背景
初期の反応からは、開発者コミュニティーの強い関心がうかがえる。Qwen3-Omniの派生モデルは、人気のAIハブで注目モデルの上位に入り、ほかのQwenモデルも上位を占めた。この急伸は、中国のチームが手掛けるオープンシステムが、欧米の既存勢に正面から競い合う、より大きな潮流を浮き彫りにしている。市場では、公開への注目が高まった日にアリババの香港株が4％強上昇した。
このオープンな代替モデルは、特に音声や動画を多用する用途で、クローズドなシステムの価格設定や製品戦略に圧力をかけるだろう。長い調達プロセスを経ずにアイデアを試す必要がある企業は、低コストでオムニモーダルモデルを動かせるようになった。実環境での性能が公表ベンチマークに沿うなら、この公開はコンタクトセンター、メディア制作、教育、医療分野の文字起こし、産業設備の保守において、マルチモーダルアシスタントの導入を加速させる可能性がある。
要点
- Qwen3-Omniは、テキスト、画像、音声、動画を入力し、テキストと音声で応答する、リアルタイム利用に最適化されたオープンソースモデルだ。
- ThinkerとTalkerのアーキテクチャにMixture of Expertsを組み合わせて速度と規模に対応し、専用のAudio TransformerとCode2Wav変換器も備える。
- 遅延の目標値は音声で約234ミリ秒、動画で約547ミリ秒。リアルタイム係数1未満のストリーミングに対応する。
- テキストは119言語、音声入力は19言語、音声出力は10言語に対応し、コンテキストウィンドウは最大65,536トークン。
- 3種類のモデルを提供する。全モダリティの入出力に対応するInstruct、テキストのみの推論向けThinking、詳細な音声キャプション生成向けCaptionerだ。
- Apache 2.0の下でオープンソースとして公開され、API試用向けに100万トークンの無料枠を提供。ホスト型利用はトークン単位で課金される。
- 同社公表のベンチマークでは、音声、オーディオ、動画、テキストで優れた成績を示し、複数の最先端スコアを記録した。
- 企業は、ベンダーロックインなしにマルチモーダルAIを無償で導入、カスタマイズ、運用できる。ただし、評価と安全性の確保への投資が必要となる。
- 開発者向けプラットフォームでQwenモデルが注目を集めるなど、コミュニティーで急速に採用が進み、中国発のオープンAIシステムへの関心が高まっている。
