ネイティブなマルチモーダルモデルがオープンソースで登場
Alibaba Cloudは、テキスト、画像、音声、動画を単一のシステムでネイティブに統合するマルチモーダルAIモデル「Qwen3-Omni」を発表した。幅広い機能と、企業利用に適したオープンソースライセンスを組み合わせた今回の公開により、リアルタイムアシスタントをめぐる競争は新たな段階に入る。モデルは4種類すべてのモダリティの入力を受け付け、テキストまたは自然な音声で応答する。特許ライセンスを含む寛容なApache 2.0ライセンスのもと、無料でダウンロード、改変、商用利用できる。この動きにより、アリババはOpenAIやGoogleのプロプライエタリ製品に対抗する有力な選択肢として位置づけられ、開発者はモデルの実行環境や場所を全面的に制御できる。
目次
Qwen3-Omniは、適用範囲を着実に広げてきたQwenシリーズの一環として登場した。チームによると、新モデルは大規模なテキストコーパスと膨大な音声・視覚データで訓練され、リアルタイムの会話に応答できるよう調整された。一般的なニーズに対応する3つの主要バリエーションが提供される。Instructモデルは複合的な入力を処理し、回答を音声で話すこともできる。Thinkingモデルは、長いコンテキストを用いた高度な推論に重点を置く。Captionerは、幻覚を抑えた音声キャプション生成に特化している。公式GitHubリポジトリやHugging Faceなどのモデルハブに加え、高速なFlash版を選べるホスト型APIでも提供される。深夜の発表では、新たなQwen3 TTSシステムと画像編集モデルも公開され、マルチモーダルな対話を支えるフルスタックの提供を目指す姿勢が示された。
今回の発表が重要な理由
マルチモーダルアシスタントは、デモ段階から実運用へと移行しつつある。企業は、リアルタイムで聞き、見て、読み、推論し、自然なテンポで音声応答できる単一のモデルを求めている。Qwen3-Omniは、まさにその用途を狙う。オープンな利用環境と、音声、画像、動画に関する幅広いテストで最先端とするスコアの公表を組み合わせたことで、柔軟性、コスト管理、オンプレミス導入を必要とする企業にとって重要な発表となった。
Qwen3-OmniがGPT-4oやGeminiと異なる点
競合各社は、視覚、聴覚、会話の能力を備えたオムニモデルという考え方を広めた。OpenAIはGPT-4oでテキスト、画像、音声を1つのモデルに統合した。Googleは一部の製品プランで、Gemini 2.5に動画分析を加えた。Qwen3-Omniは、4種類すべての入力を扱う単一のエンドツーエンドスタックとして、ゼロから構築された。シーン検出やイベント追跡といった動画理解に対応し、OCRや根拠付けのための静止画像や文書を受け付け、音声を聞き取り、テキストを読み取る。応答はテキストまたは音声で出力されるため、ライブ対話で扱いやすく、画像や動画を生成する複雑さも避けられる。
大きな違いは利用可能性にある。Qwen3-OmniはApache 2.0ライセンスで公開されており、企業は重みをダウンロードして自社インフラで実行し、ライセンス交渉をせずに特定業界向けに動作を微調整できる。プロプライエタリなシステムでは、自社環境での運用が制限されたり、やり取りのたびにトークン単位で料金が発生したりする。Googleの別のオープンモデル群Gemmaは、依然としてテキストのみを対象としており、同じマルチモーダル範囲をカバーしない。音声、視覚、テキストのタスク全体でオープンモデルを標準化したいチームにとって、Qwen3-Omniはその空白を埋める。
ライブ会話に向けた速度
アリババが公表した理論上の初回パケット遅延は、音声で約234ミリ秒、動画で約547ミリ秒。人間が自然な会話の順番交代に期待する範囲に収まり、効率的なストリーミングと組み合わせれば、地域を問わずリアルタイム利用が現実的になる。公表値は社内システムで測定されており、実運用での結果はハードウェア、同時実行数、ネットワーク環境によって異なる。それでも、負荷時の遅延がリアルタイム係数を下回ることから、実用的な導入を意識した設計とみられる。
アーキテクチャの概要
モデルは、チームがThinkerとTalkerと呼ぶ2つの部分からなる設計を採用している。Thinkerはマルチモーダルな理解と推論を担う。テキストを読み、ピクセルを見て、音声特徴を聞き取り、内容を計画して組み立てる。Talkerは音声に特化し、高水準の表現をストリーミング応答用の自然な音声に変換する。役割を分けることで、言語モデルが先を考える間も、音声スタックは独自のテンポで動作できる。
両コンポーネントはMixture of Experts（MoE）を採用する。これは、多数の専門サブネットワークを訓練し、各トークンではそのうち少数だけを有効化する手法だ。すべてのパラメーターを毎回動かさずに、同時実行数が多い場合の処理能力を高められる。音声パイプラインでは、音声を離散コードに圧縮するマルチコードブック自己回帰方式を使う。軽量なCode2Wav畳み込みネットワークが、それらのコードを波形に変換する。この方法は、音色や韻律を保って低遅延でも機械的に聞こえにくい音声を実現しながら、遅延を減らす。
TalkerはThinkerのテキスト表現から切り離され、音声と視覚の特徴を直接条件として処理する。この設計により、音声と映像が連動する対話で、画面上の出来事に声を合わせやすくなる。認識側では、約2,000万時間の教師あり音声データでAudio Transformerエンコーダーを訓練した。事前学習は複数段階で進められる。エンコーダーを整合させ、テキスト、音声、画像、動画にまたがる約2兆トークンで訓練し、その後、長時間のセッションに対応できるようコンテキストを拡張する。事後学習では、ThinkerとTalkerの双方に教師ありファインチューニング、蒸留、最適化を施す。
バージョン、言語、コンテキスト上限
Qwen3-Omniは、Qwen3-Omni-30B-A3Bとして3つの一般公開バリエーションで提供される。Instructモデルは音声、動画、テキストの入力を受け付け、テキストと音声で出力する。Thinkingモデルは、高度な推論、数学的な手順、計画立案を対象とし、テキストで出力する。Captionerは、詳細な音声キャプション生成に特化して調整されている。Alibaba Cloudのホスト型Flash版は、より高速なやり取りを目指す。
多言語対応も重視されている。ベースモデルは、テキストで119言語、音声入力で19言語、音声出力で10言語をサポートし、広東語など広く使われる方言も含む。この対応範囲のバランスは、音声体験を現地のアクセントや文字体系に適応させる必要があるグローバル展開を簡素化できる。
長時間のセッションにも対応する。Thinking Modeのコンテキストウィンドウは最大65,536トークン、Non Thinking Modeでは49,152トークン。入力と出力の最大長は16,384トークンに設定されている。複雑な推論では、最長32,768トークンの連鎖が可能だ。APIは1,000トークン単位の従量課金で、テキスト、音声、画像・動画の入力と、テキストまたは音声の出力で料金が分かれる。新規アカウントには、有効化から90日間、各モダリティ合計で100万トークンの無料枠が付与される。
ベンチマークの内容と見方
アリババは、テキストと推論、音声、画像と視覚、音声・動画タスクを網羅する36のベンチマークで結果を公表している。同社によると、Qwen3-Omniは22のテストで最先端のスコアを達成し、32のテストでオープンソースモデルの首位に立つ。音声や音声・映像に関する多くの評価では、GPT-4oやGemini 2.5 Proを上回るともしている。対象には、音声認識、音声理解、音声・映像を使った質問応答、動画説明、音声生成が含まれる。テキスト中心のタスクでは、Qwenテキストモデル群と同等の性能を示すという。
ベンチマークは指標であり、性能を保証するものではない。テストセットによって対象範囲、指示形式、採点規則が異なる。ベンダーは公表する指標を選び、実行条件によって特定のアーキテクチャや訓練データに有利な結果となることもある。実運用では、ノイズの多い音声、さまざまなマイク、頻繁なシーン切り替え、アクセントの違いに直面する。各チームは自社のサンプルで評価し、負荷をかけた状態で幻覚を検証し、コストと処理量を測る必要がある。それでも、公表結果が幅広いタスクをカバーしていることは、後からアダプターで追加したのではなく、マルチモーダル性を中核目標として訓練されたことを示している。
公式ドキュメントでQwenチームは、Qwen3-Omniを、テキスト、画像、音声、動画を処理し、テキストと音声でストリーミング応答を返すネイティブな多言語モデルと説明している。言語モデルが次の手順を計画する間も、自然な音声を保つことを目指した設計だ。
開発者が今すぐ構築できるもの
リポジトリやデモには、重いカスタマイズなしですでに十分に機能する一般的なタスク向けのクックブックが含まれている。各チームは簡単な例から始め、確信が深まるにつれて本番機能へと拡張できる。
主なユースケース
認識、推論、音声に関するモデルの強みを生かせる用途は次の通りだ。
- 通話、会議、メディア向けの多言語音声認識。
- 広く使われる言語ペア間の音声翻訳と、音声による応答。
- 環境音の音声キャプション生成や、音楽のタグ付け。
- 文書やスクリーンショットのOCRと、該当箇所を示す根拠付き回答。
- 複雑な図表やダッシュボードを対象にした画像質問応答。
- 長い動画の閲覧に役立つ動画説明、ハイライト、イベント検出。
- 研修、サポート、ハウツーコンテンツ向けの音声・映像質問応答。
- 状況を聞き、見ながら修正方法を説明するリアルタイム技術サポート。
- 外部ツールやAPIを呼び出してタスクを完了するエージェント型ワークフロー。
システムプロンプトでペルソナ、口調、形式を指定し、動作を調整できる。リアルタイムストリーミングに対応しているため、推論を続けながら部分的な回答を返せる。この形式は、長い沈黙より短い間や素早い確認が望まれる音声アシスタントで、より自然に感じられる。機密性の高い導入では、プロンプトの強化、テキストと音声のコンテンツフィルター、コンテキストや判断を記録するポリシーエンジンを組み合わせた安全対策の整備が有効だ。
企業導入とライセンスの判断
Apache 2.0で公開する判断は重要だ。このライセンスは商用利用、配布、改変、サブライセンスを認める。特許ライセンスも含まれ、製品にモデルを組み込む際の法的リスクを軽減する。企業はQwen3-Omniをプライベートクラスターや信頼できるクラウド上で実行し、自社データに合わせて調整し、ベンダーに利用料を支払うことなくソフトウェアを提供できる。この組み合わせにより、特定ベンダーへの依存がなくなり、各チームが試験導入しやすくなる。
アリババはQwenシリーズを取り巻くエコシステムの拡大を挙げている。同社によると、最初のQwenチェックポイント公開以来、数百のモデルをリリースし、ダウンロード数は数億回に達した。開発者は公開モデルハブで数万件の派生モデルを公開しており、試作から本番導入までの時間短縮につながっている。規制の厳しい業界では、自社運用のマルチモーダルスタックが、推論コストの予測可能性を保ちながら、データ所在地や監査要件への対応に役立つ。
コストと運用
マルチモーダルモデルの運用には計画が必要だ。GPUメモリー、音声・動画用ストレージの帯域幅、ストリーミング向けの高速ネットワークはいずれも応答性に影響する。トークン単位のAPIは初期開発を簡素化し、その間にインフラチームがクラスターの規模を見積もれる。90日間の100万トークン無料枠は、実現可能性の確認、プロンプト調整、社内データでの品質評価に十分な量だ。処理量が拡大すると、複数のモデルを組み合わせる組織も多い。日常的なタスクの大半はオープンモデルで処理し、特殊な機能や例外的なケースはプロプライエタリなAPIで補う方法なら、柔軟性を保ちながら支出を抑えられる。
リスクと責任ある導入
高度な音声・動画理解は魅力的な製品を可能にする一方、悪用のリスクも生む。モデルが既定で特定の声を出力しなくても、音声合成によって話し方を模倣できる。ユーザーを見守り、聞き取るリアルタイムエージェントには、明確な同意の仕組み、安全な保存、削除方針が必要だ。法務チームは、端末上での取得からサーバー、ログに至るまでデータの流れを確認し、規制に沿った保存期間を定めるべきだ。
企業は、幻覚、バイアス、安全でないコンテンツについてモデルに負荷をかけて検証すべきだ。音声キャプションは雑音の多い環境で音を誤認することがある。動画説明では場面の切り替わりをまたいだ文脈を見落とす可能性がある。長いコンテキストでは指示からずれることもある。適切な評価計画には、敵対的なプロンプト、アクセントや方言の網羅、安全性の境界に対するレッドチームテストが含まれる。エンドユーザーが問題を報告できるフィードバックの仕組みは、導入の説明責任を保ちながらモデルの改善に役立つ。
利用開始の手順
開発者は、Qwen3-Omniの公式GitHubリポジトリから重みとサンプルを取得できる。クイックスタートでは、TransformersやvLLMなどの一般的なライブラリを使ってモデルを実行する方法が紹介されている。すぐに試せるDockerイメージやWeb UIのデモも用意されている。AlibabaのAPIを通じたホスト型アクセスは、インフラ導入を決める前にストリーミング音声の試作を進めたいチームに適している。モデルハブには、すぐに使えるチェックポイントと、ファインチューニングや評価に関するコミュニティーのガイドが公開されている。
リンク： GitHubのQwen3-Omni
要点
- アリババは、特許ライセンスを含むApache 2.0のもとでQwen3-Omniをオープンソース公開し、商用利用と再配布を無料で可能にした。
- モデルはテキスト、画像、音声、動画を受け付け、リアルタイムストリーミングでテキストまたは自然な音声を返す。
- マルチモーダル対話向けのInstruct、複雑な推論向けのThinking、音声キャプション向けのCaptionerという3つのバリエーションがある。
- 公表された遅延は音声で約234ミリ秒、動画で約547ミリ秒で、自然な会話の順番交代を支える設計となっている。
- 広東語を含め、テキストは119言語、音声入力は19言語、音声出力は10言語に対応する。
- アリババは36のテストのうち22で最先端、32でオープンモデル中の首位と報告しており、音声や動画でも高い結果を示した。
- Thinking Modeのコンテキストウィンドウは最大65,536トークンで、入力または出力の最大長は16,384トークン。
- APIでは90日間にわたり100万トークンを無料で利用でき、各モダリティに応じて1,000トークン単位で課金される。
- 文字起こし、翻訳、OCR、音楽のタグ付け、動画理解、リアルタイムアシスタントなどに利用できる。
- 企業はセキュリティー、プライバシー、コンプライアンス上の対策を講じながら、Qwen3-Omniを自社環境で運用し、ファインチューニングして統合できる。
