Alibaba、オープンソースのマルチモーダルAIモデル「Qwen3 Omni」を発表

読了時間：約13分

最終更新: September 30, 2025 • 17:13 UTC

Alibaba Plans Qwen 3 AI Model Release in Mid-April, Following Qwen2.5 ...

マルチモーダルAIの新たなオープンソース勢力

アリババは、テキストを読み、画像を見て、音声を聞き、動画を視聴できる幅広いマルチモーダルモデル「Qwen3 Omni」を発表した。テキストと自然な音声で応答する。同社は、ネイティブなエンドツーエンドのオムニモデルと位置付けている。つまり、音声や視覚を後付けの機能として扱うのではなく、これらすべての入力を一体的に処理できるよう、当初から設計されたモデルだ。オープンソースモデルと、GPT 4oやGemini 2.5 Proなどの独自システムとの間で、コストや制御性のトレードオフを検討する組織が増えるなかでの登場となる。最大の違いは利用条件だ。Qwen3 OmniはApache 2.0ライセンスで公開されており、商用利用、改変、再配布を無償で認める寛容な枠組みが採用されている。これにより、ユーザーごとの料金やベンダーロックインを避け、自社でホスティングしたり製品に組み込んだりしたいチームにとって、導入のハードルが下がる。

マルチモーダルAIの新たなオープンソース勢力
Qwen3 Omniの特徴
用途に応じた3つのモデル
ThinkerとTalkerのアーキテクチャ
開発手法と対応機能
ベンチマークと強み、結果の見方
GPT 4o、Gemini 2.5 Pro、Gemma 3nとの比較
利用方法、料金、無料枠
サポート窓口からメディアツールまで、幅広い用途
ライセンスと企業への影響
リスク、安全対策、今後の評価項目
要点

Qwen3 Omniは、テキスト、画像、音声という一般的な3分野を超える機能も備える。動画も分析でき、これまでは主にクローズドなプラットフォームに限られていた機能だ。テキストは119言語、音声入力は19言語、音声出力は10言語に対応し、主要言語に加えて広東語など一部の方言も含む。初期資料では、バッチ処理型ではなく会話のように感じられるストリーミング応答性が強調されている。最初の音声パケットは約4分の1秒、動画は約0.5秒で届く。サポート電話やモバイルガイドのように、リアルタイムで割り込み、確認し、すばやく引き継ぐアシスタントにとって、これは重要な水準だ。

今回の公開では、用途に合わせて調整された3つのバリエーションが提供される。Instructは機能をすべて備えた会話モデル、Thinkingはテキスト出力による複雑な推論や長い思考過程に重点を置くモデル、Captionerは幻覚を抑えることが重要な音声キャプション生成に特化したモデルだ。開発者は主要なモデルハブから重みを入手でき、より高速なFlashオプションを備えたAPIを利用したり、ドメイン制御や文体に合わせてファインチューニングしたりできる。同社が公表したベンチマークでは、テキストや視覚の性能を主要システムと競える水準に保ちながら、音声、オーディオ、動画タスクで優れた結果を示している。

Qwen3 Omniの特徴

いくつかの技術的な選択がQwen3 Omniを際立たせている。第一に、学習パイプラインでは単一モダリティのデータとモダリティ横断データを初期段階から組み合わせ、事前学習と事後学習を通じて規模を拡大する。第二に、モデルはMixture of Experts（専門家混合）アーキテクチャを採用し、トークンごとにパラメーターの一部だけを有効化する。これによりスループットの向上や推論コストの削減が期待でき、リアルタイムアプリケーションやハードウェアに制約のある環境での展開に役立つ。第三に、システムは推論と音声を「Thinker」と「Talker」と呼ばれる連携する2つのコンポーネントに分けている。Thinkerがマルチモーダルの理解と推論を担い、Talkerが高水準の表現を、タイミングや個性を保った音声に変換する。

用途に応じた3つのモデル

アリババクラウドは、チームが適切なモデルを選べるよう、Qwen3 Omni 30B A3Bファミリーから次の3種類を公開した。

InstructはThinkerとTalkerを組み合わせ、テキスト、画像、音声、動画を入力として受け付け、テキストと音声の両方で出力する。
Thinkingは深い推論と長い思考過程に重点を置く。同じマルチモーダル入力を受け付けるが、出力はテキストのみ。
Captionerは、幻覚を抑えた音声のキャプションや説明の生成を目的とする。メディア分析、アクセシビリティ、コンテンツモデレーションの業務に役立つ。

APIには、低レイテンシーと高い同時処理性能を狙ったFlashバリエーションも用意されている。回答を遅らせずにトラフィックの急増へ対応する必要があるコールセンターアシスタントやショッピングガイドの構築では、重要な選択肢となり得る。

ThinkerとTalkerのアーキテクチャ

Qwen3 Omniは、推論の柔軟性を保ちながら自然な音声を実現するため、役割を分けている。Thinkerは中核となるマルチモーダルモデルだ。テキスト、画像、音声、動画の特徴を整合・融合し、応答を導くトークン単位の表現を生成する。Talkerは専用の音声生成器である。Thinkerの出力をテキストとして受け取るのではなく、音声と視覚の特徴を直接条件として使う。この設計により、Talkerは聞いた内容や見た内容に合わせて韻律や声質を調整しやすくなり、翻訳や、話すペース、強調、感情のトーンといった音声表現の向上につながる。

音声の遅延を抑えるため、Talkerは複数のコードブックを使う自己回帰方式で離散的な音響トークンを予測し、その後、軽量な畳み込みネットワークCode2Wavがトークンを波形に変換する。TalkerはThinkerのテキスト出力から切り離されているため、音声化の前に外部モジュールがThinkerの出力へ影響を与えたり、フィルタリングしたりできる。これにより、推論と発話の間にポリシーチェックや情報検索を挟めるため、安全性を確保するワークフローを実用化しやすくなる。ストリーミング性能も重視されている。同社によると、音声の最初のパケットは約234ミリ秒、動画は約547ミリ秒で届く。システムはリアルタイム係数が1未満を維持する。つまり、複数のリクエストを処理する場合でも、再生時間より速く音声を生成できる。

ThinkerとTalkerの両方にMixture of Expertsアーキテクチャを採用している。Mixture of Expertsでは、モデルは多数の小さな専門家ネットワークで構成され、ゲーティングネットワークが各トークンをそのうちの数個に振り分ける。トークンごとに動作するパラメーターは一部に限られるため、高い同時処理性能を支え、推論の応答性を保ちやすい。開発者にとっては、割り込んで対話できるアシスタントと、発話の順番を待つボットの違いにつながる可能性がある。

開発手法と対応機能

音声性能の出発点はエンコーダーだ。Qwen3 Omniは、ゼロから構築し、約2,000万時間分の教師ありデータで学習したAudio Transformerを導入した。学習データは中国語と英語の自動音声認識データが中心で、ほかの言語のデータや音声理解を中心とするタスクのデータも加えている。エンコーダーは約6億パラメーターを持ち、低レイテンシーを実現するストリーミングキャッシュに対応するほか、長時間の録音などを分析するオフライン処理も可能だ。このエンコーダーから、整合化の段階を経てマルチモーダルの中核へ情報が渡り、モデルが形式をまたいだ推論を行う。

事前学習は3段階で行われた。エンコーダーの整合では、言語モデルを凍結したまま視覚・音声エンコーダーを学習し、整合させた。一般学習では、テキスト、音声、画像、一部の動画および音声付き動画のペアを含む約2兆トークンへ規模を拡大した。長文脈学習では、長い音声や動画のシーケンスをさらに取り入れながら、最大トークン長を8,192から32,768へ拡張した。事後学習では、教師ありファインチューニング、より高性能な教師モデルからの蒸留、Thinker向けにルールとモデルの判断の両方を用いたポリシー最適化を行った。Talkerは、幻覚の低減と音声品質の向上を目指し、数億件のマルチモーダル音声サンプルと継続的な事前学習を組み合わせた4段階の学習を受けた。

30億ではなく300億パラメーターのファミリーとして、対応機能と限界は幅広い。Qwen3 Omniはテキストで119言語、音声入力で19言語、音声出力で10言語に対応する。Thinking Modeのコンテキストウィンドウは65,536トークン、Non Thinking Modeは49,152トークンで、入力は最大16,384トークン、出力も最大16,384トークンに対応する。最長の思考過程は32,768トークンに達する。この規模は、他のモデルでは分割が必要になる複雑な文字起こし、長時間の会議、コードベースや文書の処理に役立つ。

ベンチマークと強み、結果の見方

アリババによると、36種類の幅広いベンチマークでQwen3 Omniは22項目で最高得点を記録し、32項目でオープンソースモデルの首位に立った。テキストと推論では、AIME25で65.0を記録し、GPT 4oが公表した26.7を大きく上回った。ZebraLogicでは76.0となり、Gemini 2.5 Flashの公表値57.9を上回った。WritingBenchでは82.6で、GPT 4oの75.5を上回る。音声・オーディオでは、Wenetspeechの2つの一般的なテスト分割に対する単語誤り率（WER）が4.69と5.89で、GPT 4oの15.30と32.27を大きく下回った。Librispeech otherではWERが2.48となり、同等モデルの中でも低い。

画像・視覚の結果は、HallusionBenchで59.7、MMMU proで57.0、MathVision fullで56.3となり、いずれも同社の報告でGPT 4oを上回った。動画理解ではMLVUで75.2に達し、Gemini 2.0 Flashの71.0、GPT 4oの64.6を超えた。音楽タスクでも向上が見られ、GTZANで93.0、RUL MuchoMusicで52.0を記録した。これらの数値は、設計上の重点と一貫している。Qwen3 Omniは、テキストと画像の強みを保ちながら、音声および音声・映像理解で高い水準を打ち出している。

ベンチマークは有用だが、あくまで統制されたテストだ。データセットや採点方法によって、特定の学習データの組み合わせが有利になる場合がある。実運用では、雑音の多いマイク、なまり、扱いにくいスマートフォンのカメラ、頻繁な文脈切り替えなど、新たな負荷に直面する。マルチモーダルモデルには一般的なトレードオフもある。モダリティの幅を広げる学習によって、テキスト専用の大型モデルと比べ、テキストのみの性能がわずかに下がることがある。チームは自社データを使った対象を絞った試験運用を行い、必要なら複数モデルを組み合わせる戦略を選ぶべきだ。多くの企業は、聞く・見る機能を持つ小型のマルチモーダルモデルと、報告書やメールの作成を担う大型テキストモデルを組み合わせている。Apacheライセンスのオープン性により、調達上の摩擦を抑えながら、こうした連携を実現しやすくなる。

GPT 4o、Gemini 2.5 Pro、Gemma 3nとの比較

OpenAIは、テキスト、画像、音声を密接に統合し、自然な音声で応答するGPT 4oで期待を高めた。Qwen3 Omniは入力に動画分析を加える。GoogleのGemini 2.5 Proも動画分析を提供するが、独自モデルのままだ。GoogleはオープンモデルとしてGemma 3nも提供しており、テキスト、画像、音声、動画を入力できるものの、出力はテキストのみだ。Qwen3 Omniはテキストと音声で出力できるため、ライブ翻訳やコールセンターでのエージェント間の引き継ぎなど、対話型の用途の幅が変わる。

もう一つの違いはライセンスだ。Qwen3 Omniは特許ライセンスを含むApache 2.0で公開されており、企業はソースコードの公開や実行時の料金負担を強いられることなく、利用、改変、製品への組み込みができる。クローズドモデルでは有料アクセスが必要で、利用は提供元のプラットフォームに縛られる。近年のオープンモデルにはよくある留意点もある。重みと利用コードは公開されているが、厳選された学習データを含む、ゼロから再構築するための完全な手順が公開されることは通常ない。多くの導入企業にとって主な目的は、モデルを実行し、ファインチューニングし、本番環境に統合することだが、Qwen3 Omniではそれが可能だ。

レイテンシーも競争力がある。アリババは、音声の最初のパケットが約234ミリ秒、動画が約547ミリ秒で届くとしている。これは最も優れた会話型システムと同等の水準だ。企業は最初のパケットのタイミングだけでなく、安定した内容が得られるまでの時間や長い回答の総応答時間など、サービスレベル目標を評価する必要がある。Qwen3 OmniにはAPIのFlashバリエーションもあり、他のエコシステムにおける速度重視のプランと同様、さらなる応答速度の向上を狙える。

利用方法、料金、無料枠

開発者はいくつかの方法でQwen3 Omniを試せる。重みは主要なモデルハブで入手可能だ。APIはオンデマンドで利用でき、有効化から90日間、すべてのモダリティを合わせて100万トークンの無料枠がある。料金は1,000トークン単位。テキスト入力は0.00025ドル、音声入力は0.00221ドル、画像・動画入力は0.00046ドル。テキスト出力は入力がテキストのみの場合、1,000トークン当たり0.00096ドル。入力に画像または音声が含まれる場合は0.00178ドルとなる。テキストと音声の両方を出力する場合、音声部分は1,000トークン当たり0.00876ドルで、テキスト部分は無料だ。

これらの料金は多くのクローズドなサービスと比べて低く、高額な請求を心配せずに実験できる。同社によると、Thinking ModeとNon Thinking Modeの料金は同じ。音声出力はNon Thinking Modeに限られる。プラットフォームではModel Studio内にコンテキストの上限やモデルの選択肢も表示され、企業は速度、品質、コストに基づいてモデルを選べる。公式情報は、アリババクラウドModel Studioのこちらのリンクで確認できる。

サポート窓口からメディアツールまで、幅広い用途

Qwen3 Omniは、見る、聞く、話すことが重要な業務を想定している。用途の幅を示す例をいくつか挙げる。

リアルタイムの技術サポート。顧客の話を聞きながらスマートフォンのカメラ映像を確認し、自然な音声で手順を追った案内を提供できる。
多言語の文字起こしと翻訳。会議、通話、講義を複数言語で文字起こしし、英語の要約を作成したり、別の言語で回答を読み上げたりできる。
音声のキャプション生成と音楽タグ付け。Captionerは、背景音や音楽の特徴を含む音声について、幻覚を抑えた説明を作成する。検索や権利管理に役立つ。
動画理解。クリップ内で何が起きたかについて質問に答え、出来事を追跡し、場面を要約できる。
OCRと書類の取り込み。視覚と言語を組み合わせ、フォームやレシートから項目を抽出し、文脈に照らして確認できる。
消費者向けアシスタント。ウェアラブル端末やスマートフォンで、メニューの翻訳、ランドマークの識別、周囲の状況説明などのアクセシビリティ機能に利用できる。

開発者はシステムプロンプトを通じて、会話の文体やペルソナをファインチューニングできる。ツール利用にも対応しており、情報検索、計算、データベース照会などのために外部サービスを呼び出せる。モデルが計画を立て、ツールを呼び出し、音声で結果を返すエージェント型のパターンを実現できる。

ライセンスと企業への影響

Apache 2.0ライセンスは、今回の発表の重要な要素だ。商用利用、改変、再配布を認め、特許ライセンスも含むため、独自システムへの統合に伴う法的リスクを軽減できる。企業はベンダー料金を支払うことなくQwen3 Omniを製品や社内業務に組み込め、変更点をオープンソース化する必要もない。データの経路や記録を管理する必要がある規制業界にとって魅力的だ。重みが公開されているため、オンプレミスや信頼できるクラウド環境での運用も可能になる。

オープンな公開によって、あらゆる懸念が自動的に解消されるわけではない。学習データや学習コードの全容は通常含まれず、コミュニティは開発全体を再現できない。多くの企業にとっては、モデルの実行、カスタマイズ、サービスレベル目標の達成が焦点であるため、それでも問題ない。今回の公開により、複数モデルを組み合わせた構成の利点が強まる。チームは高速なオープン型マルチモーダルモデルと大型の独自モデルを適宜組み合わせてもよく、プラットフォームの制約を避けるため、すべてをオープンなモデルで構成してもよい。いずれにしても、動画を認識し音声に対応するモデルが寛容なライセンスで利用できることで、長い交渉を経ずに構築できるものが広がる。

リスク、安全対策、今後の評価項目

マルチモーダルモデルでは、テキストにとどまらないセキュリティや安全性の問題が生じる。音声や動画の入力には機密情報が含まれる可能性がある。音声出力は、根拠付けやフィルタリングが不十分だと誤解を招きかねない。アリババは、Talkerによる音声化の前に、外部モジュールがThinkerの出力を遮断できるゲーティング段階を説明している。この設計は、ポリシーチェック、情報検索、レッドチーム用フィルターに対応する。それでも企業は、自社の環境や地域に応じてコンテンツの安全性を検証する必要がある。プロンプトインジェクションへの防御、プライバシー管理、録音や分析に対する同意も含まれる。

性能に関する主張は、実データで検証すべきだ。なまり、専門用語、背景雑音は自動音声認識の品質を低下させる可能性がある。暗所やモーションブラーは視覚理解を妨げる。ツール利用やエージェントのオーケストレーションでは、誤ったツール呼び出しやループといった新たな失敗要因が生じる。ログ記録、人による確認、ロールバックのためのガバナンスポリシーが必要だ。最後に、インフラも重要となる。リアルタイム音声を大規模に運用するには、スループット、GPUメモリー、負荷制御を慎重に計画する必要がある。Mixture of Expertsは効率化に役立つが、急激な負荷や長いコンテキストに備えて、クラスターやキャッシュの規模を適切に設計しなければならない。