50タスクのテストで完了数が8件増加
AI教育者・開発者で、エージェントクライアント「LobeHub」の保守も担うMaxForAIが実施した内部ベンチマークで、DeepSeekの現行モデル「V4 Pro」は50タスク中32件を完了した。旧バージョンの「V4 Pro-0813」は24件だった。2026年11月8日付の報告で紹介された結果によると、新モデルの完了率は48％から64％に上昇した。
目次
最も注目された改善点は、一貫性だ。少なくとも1回タスクを完了できるかどうかで測ると、2つのバージョンの成績はほぼ同じだった。大きな差が出たのは、タスクを3回連続で成功させる必要がある場合だった。ソフトウェアに安定した作業を期待するうえで、これは厳しい評価基準といえる。
この結果を受け、DeepSeekが既存サービスを通じてV4.1 Proを段階的にテストしているとの見方が広がっている。モデルの正体やリリース時期は確認されておらず、ベンチマーク結果も現行のV4 Proという名称で発表された。
テストをめぐる議論は、2度目の報告となる11月7日のサービス一部停止から1週間以内に起きた。DeepSeekは修正を実施し、状況を監視していると発表した。利用者にとって、目下の関心事はタスク完了能力の向上と、サービスを安定して利用できることという2つの異なるニーズだ。
LobeBenchで何が変わったのか
MaxForAIは内部テスト集「LobeBench」を使い、現行のV4 ProとV4 Pro-0813を比較した。公表されたランキングで旧バージョンは13位、新バージョンは中国モデルの中で首位となった。
スコアは16ポイント上昇し、「Hard」に分類されたタスクを8件多く完了した。完了タスク数が24件から32件に増えたことを、旧バージョンの合計と比べると、成功したタスクは約3分の1増えたことになる。どちらも同じ結果を異なる角度から示している。テストの完了率が上がり、完了したタスク数も増えた。
LobeBenchが複数回の完了を求める点は、この結果が注目された理由を説明している。1回は成功しても、その後の試行で失敗するモデルは、日常業務で使いにくいことがある。AIシステムがソフトウェアを通じてタスクを実行できるようにするエージェントクライアントには、ときに優れた回答を出す能力だけでなく、安定した実行力も必要だ。
公表された比較は、50タスクと内部ランキングを中心とするものだ。完全なタスクリスト、評価ルール、モデル設定、競合システムのスコアなど、結果の再現に必要な詳細は公表内容に含まれていない。
繰り返し成功することの重要性
AIモデルは、同じ依頼に対して異なる回答を生成することがある。複数の手順を要するタスクでは、初期段階のミスがその後のすべてに影響する場合もある。3回連続の成功を求める評価は、1回でも成功すれば数える方式より、安定した動作を重視する。
報告によると、MaxForAIの比較では、少なくとも1回成功すれば評価される条件では、2つのバージョンに大きな差はなかった。一方、繰り返し成功するかを測る基準では差が広がった。つまり、主な発見は、旧バージョンではまったく完了できなかったタスクを新たに解けるようになったことよりも、信頼性の向上にある。
エージェントに作業を任せる利用者にとって、この違いは実用上の意味がある。失敗が繰り返されれば、再試行や確認、人手による介入が増える。同じタスクを安定して完了するモデルは、旧バージョンが時折出す成功回答と比べて見劣りしなくても、より役に立つ可能性がある。
更新の可能性をめぐって広まったほかの非公式なデモには、アニメーションの描画や、自転車に乗る鵜の画像が含まれていた。LobeBenchは、名称が明らかな旧バージョンとの数値比較を示し、再現性のあるタスク遂行能力に注目を集めた。
サービス停止中に何が起きたのか
当時説明された同社のステータス情報によると、DeepSeekの11月7日のサービス停止は15時11分に始まった。影響を受けたのはチャット、V4 Pro API、V4.1 Flash APIだった。APIとは、別のアプリケーションがDeepSeekに自動でリクエストを送るための接続を指す。
利用者はチャット機能が使えなくなり、「サーバーが混み合っている」とするメッセージが表示された。DeepSeekはその後、修正を実施し、状況を監視していると発表した。その後のテストでは、サービスは通常どおりに復旧したとされた。
11月3日にも同様の事案があり、16時58分に始まって同じ3つのサービスに影響した。この事案では修正が発表された後も、サービスは性能低下の状態と表示されていた。アクセスの復旧と通常速度への回復は、障害対応の別々の段階で起こることがある。
2度のサービス停止は、モデルをめぐる憶測の背景にもなっている。説明されたステータス情報では11月7日の停止原因は明らかにされておらず、利用者は、トラフィック増加とモデルの展開のどちらかに関連するという確かな説明を得られていない。
Proへの期待をめぐる経緯
V4.1 Proへの関心は、今回のテスト結果より前から高まっていた。9月のリリース計画、10月のサービス変更、11月のベンチマーク比較がそれぞれ期待を強めてきたが、DeepSeekの製品ラインの異なる部分に関する動きだ。
- 2026年9月10日：V4.1 Flashがリリースされた。V4.1 Proの登場まで「deepseek-v4-pro」へのリクエストをFlashに振り分ける案は、その後、開発者の反対を受けて撤回された。
- 10月17日：10月に報告されたその後のサービス変更によると、V4.1 Flash-1017がリリースされた。
- 10月27日：18時21分ごろからモデルのフィンガープリントに変化が確認された。19時07分までに、3つのモデル選択肢で観測されたフィンガープリントは1つに収束した。
- 11月3日：16時58分にチャットと、名称が示された2つのAPIサービスで一部停止が発生した。
- 11月7日：15時11分に再び一部停止が始まり、DeepSeekはその後、修正を発表した。
- 11月8日：MaxForAIによるLobeBench比較の報告で、完了タスク数が24件から32件に増えたと紹介された。
9月の振り分け案は、アプリのモデル名がその運用上の前提の一部になり得るため、開発者にとって重要だ。その名称の背後にあるモデルを変更すると、回答やコスト、性能に影響する可能性がある。案の撤回後も、V4 Proは請求条件を変えずに提供され続けた。
10月のフィンガープリントから分かったこと
10月27日の観測対象はモデルのフィンガープリントだった。これは、リクエストを処理するシステムの変更を追跡する手がかりとなる識別情報だ。旧フィンガープリントはV4.1 Flash-1017に関連付けられていた。新しい識別情報からは、背後にあるモデルを特定できるほどの手がかりは得られなかった。
当時、確認された変化はProではなくFlashに関するものとみられていた。考えられる説明には、モデルの保存済みバージョンを指す別のチェックポイントか、同じモデルの新たな展開があった。新しい識別情報だけでは、どちらか判断できなかった。
こうした変化が現れた時点で、V4.1 Flash-1017の提供開始からまだ10日しかたっていなかった。Proへの期待がすでに高まっていたため、Flashに関連する変化にも注目が集まった。11月のLobeBenchの結果は、V4 Proの名称を持つ2つのバージョンを比較しているため、Proにより直接関係している。
DeepSeekの過去のリリース時期も、期待に影響していた。報道によると、V4世代ではFlashとProの間隔は約2週間だった。V4.1について後に議論された時点では、Flashのリリースから7週間以上が経過していた。そのため、今回のリリースサイクルは従来とは異なる日程で進んでいる。
開発者が現時点で比較できること
公表された料金では、V4 ProとV4.1 Flashは異なる価格帯にある。V4 Proの入力料金は100万トークン当たり0.66ドル、ピーク時間外の出力料金は100万トークン当たり1.98ドルとされている。Flashの入力と出力は、それぞれ100万トークン当たり0.15ドル、0.60ドルと記載されている。
トークンとは、単語やその一部など、モデルが処理する細かなテキスト単位だ。公表料金に基づくと、Proの入力料金はFlashの4.4倍となる。ピーク時間外のProの出力料金は、Flashの公表出力料金の3.3倍だ。実際の支出は、入出力の量、利用時間、適用されるキャッシュ処理によって変わる。
Flashでは、キャッシュヒット時の料金は100万トークン当たり0.003ドルと報告されている。キャッシュを使うと、サービスは以前に処理した入力を再利用できる。公表された機能には、画像をモデルに直接渡せるネイティブ画像入力も含まれていた。
V4 Proの公表仕様では、コンテキストウィンドウは100万トークン、出力上限は38万4000トークンとされている。コンテキストウィンドウとは、モデルが1回のリクエストで考慮できる情報量だ。これらの仕様は、顧客が将来のProリリースと比較する際の基準となる現行製品のものだ。
アップデートが正式発表される条件
V4.1 Proの名称を挙げたリリース発表があれば、利用者は評価対象となる具体的な製品を把握できる。対応するAPIドキュメント、モデルリポジトリ、料金の更新があれば、アクセス方法や価格、対応機能といった実用的な詳細も分かる。
DeepSeekの公開リリース情報を調べたレビューでは、関連する最新のリポジトリは2026年9月10日に作成された「DeepSeek-V4.1-Flash」だった。また、Flashに付属する全51ページの技術レポートには「V4.1-Pro」も「V4.1 Pro」も記載されていないという。レビューで説明された公開製品情報は、引き続きFlashとV4 Proが中心だった。
11月のベンチマーク結果を受けた楽観的な見方では、翌週のリリースが予想されていた。しかし、説明されたリリース情報に、DeepSeekが公表した日付やリリース時期、四半期の指定はなかった。現時点で具体的に確認されているのは、現行のV4 Proという名称で報告された、タスクの繰り返し完了率の改善だ。
要点
- V4 ProはLobeBenchの50タスク中32件を完了し、V4 Pro-0813の24件を上回った。
- スコアは48％から64％へ、16ポイント上昇した。
- 主な改善は、タスクを3回連続で成功させる必要がある場合に見られた。
- DeepSeekでは11月3日と11月7日にサービスの一部停止が発生し、チャットと2つのAPIサービスに影響した。
- 10月のフィンガープリントの変化はFlashに関するものとみられる一方、11月のベンチマーク比較はProを対象としていた。
- V4.1 Proの正体、リリース日、料金は確認されていない。
