マルチモーダルAI分野に登場した新たなオープンソースの挑戦者
百度（Baidu）は、画像、動画、文書、テキストを処理する280億パラメーターのマルチモーダルモデル「ERNIE 4.5 VL 28B A3B Thinking」をオープンソース化した。同社によると、視覚処理を重視するベンチマークで主要なクローズドモデルを上回りながら、必要なリソースは少ないという。ライセンスはApache 2.0で、商用利用に制限はない。独立したテストでも主張が裏付けられれば、利用しやすいハードウェアで動作するエンタープライズ向け視覚推論モデルの主要な供給元として、百度の存在感が高まる可能性がある。
目次
ERNIE 4.5 VL 28B A3B Thinkingは、Mixture of Experts（専門家混合）設計を採用し、入力ごとに最も関連性の高い専門ネットワークへ振り分けることで、トークンあたり約30億パラメーターを活性化する。これは総パラメーター数の一部にすぎない。この選択的な活性化により、はるかに大規模なモデルの能力を保ちながら、計算量とメモリー使用量を抑えられる。百度によると、モデルは80GBのGPU1基で推論を実行でき、文書理解、グラフの解釈、複雑な視覚推論でも高い性能を発揮する。
目玉機能は、百度が「Thinking with Images」と呼ぶものだ。モデルは推論しながら画像を拡大・縮小し、手掛かりを求めて細かな領域を調べ、局所的な発見を全体の場面と組み合わせられる。この動作は、人が視覚的な問題を解く方法に近く、技術図面の細かな文字を読む、製造ラインの欠陥を見つける、「2本目のボルトの下にある青いコネクター」といった参照対象を特定するなどの作業に役立つ。
百度はこのほか、視覚的な対象の特定精度の向上、画像タスクでの指示追従の強化、画像検索を含むツール利用、時間的な流れを把握する堅牢な動画理解を強調している。モデルには、Transformers、vLLM、FastDeployで使える統合キットと、ERNIEKitと呼ばれる学習・ファインチューニング用ツールキットが付属する。主要な視覚言語システムの大半がクローズドな競争環境において、今回の公開により、開発者や企業は商用利用に適したライセンスの新たなオープンモデルを利用できる。
モデルができるとうたうこと
百度はモデルの能力を、視覚推論、STEM分野の問題解決、視覚的な対象の特定、ツール連携、動画理解、動的な画像分析の6分野に分類している。具体的には、請求書や財務諸表の読み取り・要約、グラフや表の分析、回路図や幾何学問題の推論、求めに応じた画像内の対象物や領域の正確な指示、外部ツールを使った参考画像の取得、動画の複数区間にまたがる出来事の追跡ができるという。
百度の文書に掲載されたリーダーボードでは、視覚に重点を置いた複数のテストで、OpenAIのGPT-5 HighやGoogleのGemini 2.5 Proと同等以上の成績を示したとされる。これには、グラフに関する質問応答、文書理解、多段階の視覚推論ベンチマークが含まれる。同社は速度面の優位性も挙げ、精度が同程度のモデルと比べて推論が2～3倍速いと主張している。
これらのグラフは、独立した研究機関による検証をまだ受けていない。ベンチマークは、実際の雑然とした導入環境での信頼性よりも、パターンの再現、プロンプトの形式、限定的なテクニックを評価してしまうことがある。ERNIE 4.5 VL 28B A3B Thinkingの評価を検討する企業は、本番導入を決める前に、自社の文書、照明条件、カメラアングル、セキュリティ方針を使った対象を絞った試験を行う必要がある。
こうした留意点を踏まえても、対応するタスクの範囲は広い。推論、対象の特定、ツール利用を組み合わせたこのモデルは、保険の受付業務で届いた請求書類を読み取る、倉庫業務の異常を検出する、注釈付きの写真や短い動画を使って技術者の機器トラブル対応を支援するといった、エージェント型の作業フローに活用できる可能性がある。
280億パラメーターのモデルをGPU1基で動かす仕組み
鍵となるのはMixture of Expertsだ。多数の専門サブネットワークをルーターの背後に配置する設計で、トークンや画像パッチごとに、ルーターが活性化する専門家の一部を選ぶ。計算を行うのは選ばれた専門家だけなので、各処理では小規模なモデルのように動作する一方、多数の処理やタスク全体で見ると、専門家の全体プールによって大きな能力を発揮できる。この構造では、特定の処理中に大半のパラメーターが使われないため、処理効率が高まる。
選択的な活性化によって、必要なメモリーと計算コストを削減できる。密結合型の280億パラメーターのモデルを実用的な速度で動かすには、はるかに高性能なハードウェアが必要になる。トークンあたり約30億パラメーターを活性化することで、百度は視覚言語モデルをGPU1基で推論できるとしており、多くの研究機関が試験しやすくなる。一方で、複雑さが増すという代償もある。少数の専門家だけに処理が集中しないよう、エンジニアは高速でバランスの取れたルーター、慎重な負荷分散、安定した学習手法を用意する必要がある。
画像を使った推論と正確な対象特定
従来の視覚言語モデルは、解像度が固定された画像を受け取り、テキストで回答する。Thinking with Imagesは、計画のループを加える。モデルは質問を複数の段階に分解し、次に見る場所を提案し、高解像度で領域を切り出し、その範囲内の文字を読んだり図形の寸法を測ったりしてから、計画を更新する。回答に必要な証拠が十分に集まるまで、このループを繰り返す。対象を指し示すタスクでは逆方向にも機能し、言葉をピクセル上の位置に対応づけて、枠やマスクを描く。
画像が雑然としていたり、技術的な内容を含んだりする場合、対象特定の精度向上は重要だ。製造現場では、拡大して初めて違いが分かるほど似た部品がある。設計図では、記号の表記がわずかに違うだけで意味が変わる。医療画像では、ごく小さなアーティファクトが診断を左右することもある。場面全体の文脈と細部を行き来し、その手順を説明できるシステムは、作業者にとって確認しやすい記録となり、誤りを修正する手掛かりにもなる。
ベンチマークと実業務
ベンダーが示すグラフでは、さまざまな評価のスコアがまとめられていることが多い。きれいな画像を正確に切り出して使うベンチマークもあれば、学習データですでに扱われている質問を使うものもある。実際の導入環境では、光の反射、手ぶれ、見慣れないフォント、遮蔽、多言語のラベルが加わる。入力が学習データの分布から外れると、性能が大きく変わる可能性がある。そのため、特定のテストでGPT-5やGeminiを上回ったという主張は、結論ではなく出発点として捉えるべきだ。
より信頼できる方法は、タスクごとの評価だ。文書処理なら、代表的なファイルを数百件集め、人が監査した正解データを使って、各項目の抽出精度を測定できる。画像タスクでは、本番環境を再現した条件を用意し、枠やマスクの適合率と再現率を追跡できる。グラフでは、対数目盛りや積み上げ系列などの難しいケースを含む合成グラフを作成できる。こうした評価によって、モデルの挙動や失敗のパターンをより明確に把握できる。
学習方法と開発者向け基盤
ERNIE 4.5シリーズの学習では、従来型の教師あり学習と、マルチモーダルタスクにおける強化学習を組み合わせている。文書には、MoEの学習時にルーターを安定させ、報酬設計を改善するGSPOやIcePopという手法と、モデルの性能向上に応じて難しい例を提示する動的難易度サンプリングが記載されている。その結果、1回の処理で答えを推測するのではなく、画像、グラフ、動画を対象に複数段階の推論計画を立てられるシステムになっている。
モデルファミリーには、テキスト専用モデルと視覚言語モデルがあり、ごく小規模な密結合型モデルから、総パラメーター数が数千億に達する大規模MoEシステムまでそろう。百度によると、このアーキテクチャはモダリティ間でパラメーターを共有できるため、言語品質を損なわずにテキストと視覚の各コンポーネントが互いの恩恵を受けられる。学習と推論には同社のPaddlePaddleプラットフォームを使用し、大規模環境で高いハードウェア利用率を実現していると開発チームは説明している。
百度は開発者向けに複数のツールを提供する。ERNIEKitは、ファインチューニング、選好最適化、リソース効率の高い展開に向けた量子化をサポートする。視覚言語モデルはTransformersやvLLMなど一般的な基盤で提供でき、本番環境での推論にはFastDeployを利用できる。Apache 2.0ライセンスにより、商用利用の制約は大幅に軽減される。公式モデルページはHugging Faceで公開されており、コードとレシピは百度のGitHubリポジトリーで入手できる。
企業にとっての意味
オープンなライセンスとGPU1基での推論により、データをクラウド事業者に送らず、社内設置型の視覚AIを使いたいチームにとって魅力的なモデルとなる。文書を多く扱う業界では、契約書、請求書、保険金請求書類の受付を自動化する仕組みを試せる。製造業では、視覚情報と言語による案内を組み合わせた品質検査設備を、ライン作業者向けに構築できる。小売・物流の現場では、対象特定機能を使って倉庫内の商品を探したり、ラベルを確認したりできる。カスタマーサービス部門は、埋め込み画像のグラフやスクリーンショットを読み取らせ、チャットの回答に情報を加えられる。
コストも重要だ。多くの組織では、単一のアプリケーションのためにH100クラスのGPUを複数台確保できない。80GBのカード1枚で動くシステムなら、試験導入や初期展開のハードルが下がる。対象特定、ツール利用、動画理解を組み合わせた機能は、モデルが複数の段階を通じて読み取り、検索し、クリックし、推論しながらタスクを完了するエージェント型の作業フローにも適している。これは、専用APIではなく標準的なインターフェースを操作する「コンピューター利用エージェント」への移行とも合致する。
広がる競争：オープンモデルとクローズドサービス
今回の公開は、オープンモデルが相次いで登場する活発な年に行われた。DeepSeekは、総パラメーター数が数千億で、トークンあたりの活性化数は数百億にとどまる非常に大規模なMoE言語モデルを発表。クローズドシステムで見られる学習コストの一部で、一般的なベンチマークで高いスコアを記録したと報告した。AlibabaのMarco o1は、思考の連鎖を使ったファインチューニングや検索に基づく計画立案などの手法で推論能力を強化し、明確な数値報酬がない自由形式のタスクへの対応を目指した。
百度やAlibabaなど中国の研究機関は、寛容なライセンスの下で高性能なモデルを相次いで公開している。オープンアクセスにより、地域の開発者はプロプライエタリーサービスへの依存を抑えて開発できる。また、信頼性、ツール、連携機能で明確な優位性を示すよう、グローバル事業者にプレミアム価格の妥当性を問う圧力にもなる。特にグラフ分析や文書抽出などの専門タスクでは、オープンモデルとクローズドモデルの性能差は多くの分野で縮まっている。
限界と未解決の課題
トレードオフもある。視覚言語モデルを最良の性能で動かすには、依然として80GBのGPUが必要で、多くの一般消費者向け端末では利用できない。コンテキストウィンドウは128Kトークンとされ、長いPDFの処理には有用だが、多数の画像、OCRテキスト、指示を組み合わせる場合には限界がある。MoEのルーティングは大規模展開を複雑にする可能性があり、エンジニアは専門家間の負荷バランスを監視し、ルーティングの集中による遅延の急増を防ぐ必要がある。
安全性も重要な課題だ。画像システムは、敵対的なパターンや見せかけの相関によって誤誘導されることがある。画像を自ら切り出して拡大するモデルでは、誤った領域を見続けてしまう確証バイアスを避けなければならない。企業は、モデルが思考モードで動く場合、思考の連鎖における各段階の明確な監査ログ、または少なくともツール呼び出しやバウンディングボックスの構造化された記録を求めるだろう。百度は、モデルがマルチモーダル強化学習と対象特定のアライメントを経たとしているが、信頼を築くには幅広い第三者評価が必要となる。
要点
- 百度は、商用利用が可能なApache 2.0ライセンスのオープンソース・マルチモーダルモデル「ERNIE 4.5 VL 28B A3B Thinking」を公開した。
- 独立した検証はまだだが、視覚処理を重視するベンチマークでGPT-5 HighやGemini 2.5 Proを上回ると主張している。
- Mixture of Experts設計を採用し、280億パラメーターのうちトークンあたり約30億を活性化することで、計算量とメモリー使用量を削減する。
- GPU1基で推論できるため、試験導入や社内設置型のテストを始めるハードルが下がる。
- 主な機能は、画像を拡大・確認しながら推論するThinking with Images、強化された視覚的な対象特定、動画理解。
- 中核となる6つの能力は、視覚推論、STEMタスク、対象特定、ツール利用、動画分析、動的な画像計画を対象とする。
- 学習ではGSPOやIcePopを用いたマルチモーダル強化学習と動的難易度サンプリングを採用し、MoEの安定化を図る。
- 開発者向けツールとしてERNIEKitを提供。Transformers、vLLM、FastDeployとの互換性があり、公開モデルページとコードリポジトリーも用意されている。
- 活用分野は、文書処理、製造業の品質管理、倉庫業務、カスタマーサポートなど。
- 限界として、80GBのGPU要件、128Kトークンのコンテキストウィンドウ、MoEルーティングの複雑さ、堅牢性と安全性に関する未解決の課題がある。
