Google、AI評価で首位のGemini 4 Carbonを発表、サイバー防衛担当者に利用を限定

読了時間:約11分
Google unveils Gemini 4 Carbon with top AI score and restricted access for cyber defenders

利用を限定する中、スコアボードで新たな首位

GoogleはGemini 4 Carbonを発表した。人工知能モデルの同モデルは、Artificial Analysis Intelligence Index v5.0で59点を獲得し、ソフトウェアの脆弱性の発見、検証、修正でも優れた結果を記録した。最初の利用者となるのは一般ユーザーではなく、選定されたサイバーセキュリティの防衛担当者だ。

目次
  1. 利用を限定する中、スコアボードで新たな首位
  2. サイバーセキュリティのスコアが測るもの
  3. 総合首位でも、すべての課題で勝るわけではない
  4. 一度の回答でなく、数日間取り組む
  5. 安全性テストでは、不正行為の試みと成功を区別
  6. 社内では信頼性が向上、一方で外部指標は悪化
  7. 誰が、いつ利用できるのか
  8. 開発者向けのCarbonの料金
  9. 要点

10月28日付の同社によるGemini 4 Carbonの発表によると、この総合能力指標で同モデルはClaude Opus 5.5とGPT-6 Astraを上回った。発表はGemini 4 Argonの登場からわずか2週間後で、多くのユーザーが前モデルを十分に使う時間もないうちに、Googleは新たな旗艦モデルを投入した。

Google DeepMindの上級副社長で、Googleの最高AIアーキテクトを務めるコライ・カブクチオグル氏は、モデルの中核的な強みについて次のように説明した。

Gemini 4 Carbonは、最先端のサイバーセキュリティ能力と長期的な推論能力を備えた、当社最強のモデルです。

Googleによると、社内チームはCarbonが難しいエンジニアリング課題に数日間取り組む様子を確認してきた。大規模なソフトウェアプロジェクトで、見つけにくいバグを突き止めて修正を作成する作業などだ。セキュリティチームにとっては、答えを一つ提案して終わるのではなく、何度も試行錯誤しながら問題に取り組み続けるアシスタントとなる可能性がある。

Carbonの投入は、実務上のジレンマも浮き彫りにする。ソフトウェアの弱点を発見して悪用する能力は、防衛担当者がシステムを修復する助けとなる一方、攻撃者にも有用な能力を与えかねない。Googleは公開前の米政府による任意のテストに参加しており、Fairwind Programを通じて段階的に利用範囲を広げる方針だ。

各結果を合わせて見ると、最も実態に近い全体像が浮かび上がる。Carbonは総合的な知能指標と複数のセキュリティテストで首位に立つ一方、一部のコーディング課題では競合に後れを取る。Googleが社内で確認した信頼性の向上と並んで、Argonに比べて作り話の回答率が上がった外部テストの結果もある。

広告

サイバーセキュリティのスコアが測るもの

Googleが公表したセキュリティ関連の主な結果は、SEC-bench Proで88.2%、ExploitGymで54.8%、CollinearのCWE-benchで71.0%だ。それぞれ防衛担当者の業務の異なる側面を測定する。

SEC-bench Proは、実際のソフトウェアから脆弱性を見つけられるかを試す。脆弱性とは、情報へのアクセス、システムの変更、運用の妨害などを可能にする弱点のことだ。Googleによると、Carbonはソフトウェアに潜む複雑な欠陥を発見し、この評価で首位に立った。

ExploitGymが試すのは次の段階、すなわち弱点を実際に機能するエクスプロイトへと変えられるかだ。エクスプロイトとは、欠陥を利用してシステムを意図しない形で動作させる手法を指す。セキュリティチームは、管理された環境でエクスプロイトを実行し、どの弱点が差し迫った危険につながり、優先して修正すべきかを確認する。

CWE-benchは、根本的な問題を修正するコードを書くパッチ作成能力を測る。Carbonの71.0%というスコアは、疑わしいコードを指摘するだけでなく、修正を完了する能力に焦点を当てている。

Googleによると、これらの外部サイバーセキュリティベンチマークは、ガードレールを無効にして実施された。ガードレールとは、実運用中のモデルの行動を制限する保護策だ。各スコアが示すのは、こうしたテスト条件下での性能であり、Googleの製品を通じた利用では安全制御が適用される。

Googleはまた、社内ベンチマークで安全なコードを生成する成功率がArgonの2倍以上になったと報告している。Chromeチームによると、Carbonの高品質なパッチの作成能力は、社名非公表の競合研究機関が開発した大規模な最先端モデルを10倍以上上回った。こうした安全なコードに関する社内の結果は、まだ独立した第三者によって再現されておらず、この比較でGoogleは競合モデルを特定していない。

総合首位でも、すべての課題で勝るわけではない

Artificial AnalysisのIntelligence Index v5.0でCarbonは59点を獲得した。Claude Opus 5.5は58点、GPT-6 Astraは57点だった。つまりCarbonのリードはOpusに対して1点、Astraに対して2点で、Googleが示した最も優位なサイバーセキュリティ比較よりも差は小さい。

この指標は9つの評価を組み合わせたもので、CarbonはHLE-Diamond、TB-Science、AA-Omniscience、AutomationBenchの4項目で首位に立った。Artificial Analysisによると、改訂版指標の60%は非公開テストで構成され、設問は一般に公開されていない。

コーディングの結果は、よりまちまちだ。GoogleのAntigravity CLIと組み合わせたCarbonはCoding Agent Indexで59点を獲得した一方、Opus 5.5とClaude Codeの組み合わせは62点だった。コーディングエージェントは、ファイルの確認、コマンドの実行、ソフトウェアの編集を可能にするツールとモデルを組み合わせたものだ。そのため、付属ソフトウェアも結果に影響する。

広告

FrontierCode v1.1でCarbonは51%を記録し、56%のOpusを下回った。FrontierSWEでは61.2%で、GPT-6 Astraの65.5%、Opus 5.5の62.3%、Sonnet 5.5の61.9%を下回った。こうした比較を踏まえれば、開発者は総合ランキングだけでなく、自分たちの業務に最も近い課題での性能も確認する理由がある。

ウェブ開発も進歩が見られる分野だ。Googleの発表によると、CarbonはWebDev Arenaで89ポイント上昇し、Eloレーティング1,768で4位となった。Eloは、相対的な成績に基づく評価方式だ。CarbonはText Arenaで1,528点を獲得して首位、Agent Arenaでは2位となり、セキュリティ以外の分野でも強さを示した。

一度の回答でなく、数日間取り組む

Googleは、AIシステムが目標に向けて一連の作業を進める、継続的なエージェント型ワークフローを想定してCarbonを設計した。ソフトウェア開発なら、プロジェクトの調査、バグの原因についての仮説づくり、コードの変更、テストの実行、テストに失敗した場合の修正といった作業が考えられる。

Googleの社内チームによると、Carbonは大規模なコードベースや低レベルシステムに関わる複雑な課題に、数日間取り組み続けてきた。同社は、行き詰まりを乗り越えて作業を続けられると説明している。最初にもっともらしく見えた原因が誤りだった場合に重要となる能力だ。

公表された仕様では、コンテキストウィンドウは100万トークン、最大出力も100万トークンとなっている。トークンとは、モデルが処理するテキストの小さな単位だ。コンテキストウィンドウは、指示や課題の資料を含め、モデルが一度に考慮できる情報量を示す。

Carbonはテキスト、画像、動画、音声を入力として受け付け、テキストを生成すると報じられている。こうした入力形式を使えば、書面のバグ報告、スクリーンショット、予期しないソフトウェアの動作を記録した音声や動画を、同じワークフローに含められる可能性がある。

コーディング以外の性能にはばらつきがある。AA-Briefcaseの知識労働評価ではCarbonは1,609 Eloを獲得し、Argonから126ポイント上昇したものの、Grok 4.7、Muse Wonder、Kimi K3.1 Proには及ばなかった。Vals Indexでは2位、Finance IndexとLegal Research Benchmarkでは首位となった。結果の幅広さは、ソフトウェアの修正、文書の分析、その他の特定業務のどれが必要かによって、企業の選択が変わりうることを示している。

広告

安全性テストでは、不正行為の試みと成功を区別

Googleによると、Terminal-Bench 4.0で不正行為を試みた割合は0.4%で、成功率は0.0%だった。この2つの数値は異なる行動を示す。モデルが不適切な近道を試みたかどうかと、その試みが成功したかどうかだ。

Googleは、こうした近道を減らしながらタスクの正答率を高めたと説明している。同社チームとの実際のコーディング作業では、意図した行動から大きく逸脱した場合の警告が約80%減った。

プロンプトインジェクションも重点分野だ。この攻撃では、ウェブページやファイルなど、AIが読むはずの資料に指示を埋め込み、ユーザーの依頼からモデルをそらそうとする。プロジェクトを調べるアシスタントが、指示を無視したり情報を開示したりするよう求める文面に遭遇する可能性がある。

Gray SwanのIndirect Prompt Injection Benchmarkで、Carbonの攻撃成功率は0.0%だった。比較対象の数値はArgonが0.7%、Claude Opus 5.5が1%、GPT-6 Astraが8.5%だった。Googleの結果は、このテストで評価されたすべての攻撃を退けたことを意味する。

Googleによると、Carbonはモデルの訓練に加え、運用中の悪用への対策、プロンプトインジェクションへの耐性、推論過程の監視を組み合わせている。最初の限定的な提供を通じ、選定された防衛担当者の利用からフィードバックを集め、保護策を調整するという。

社内では信頼性が向上、一方で外部指標は悪化

Googleは、社内テストでCarbonが根拠のない主張をArgonに比べておよそ半減させたと述べている。同社によると、Carbonは根拠が不足していると説明し、未完了の要件を列挙し、行動に移る前に情報の矛盾を指摘する傾向が強い。

Googleはさらに、過剰な行動が26%、依頼への対応不足が29%減ったと報告している。平たく言えば、Carbonはユーザーの指示を逸脱したり、求められた作業を途中でやめたりする可能性が低くなったという。

一方、Artificial AnalysisのOmniscience評価では異なる変化が見られた。Carbonのハルシネーション率はArgonの4%から11%に上昇した。ハルシネーションとは、事実であるかのように架空の情報や誤った情報を提示する回答を指す。この比較でCarbonの測定率は2番目に低く、Opus 5.5とAstraはいずれも50%だった。

広告

ハルシネーション率が高まったにもかかわらず、CarbonはOmniscience評価で54点を獲得し首位となった。以前は回答を避けていた質問にも答えるようになれば、正答数が増える一方、誤答も増えることがある。Google社内の根拠のない主張に関する指標と外部のハルシネーション指標は、異なる評価を用いているため、ユーザーは信頼性を示す2つの別個の結果を考慮する必要がある。

セキュリティチームにとって、作業の確認は依然として必要だ。脆弱性の報告内容を調べ、提案されたパッチを変更対象のソフトウェアでテストしなければならない。Googleが説明する改善は、アシスタントが成功を早まって主張したり、依頼された範囲を逸脱したりする可能性がある、まさにそうした場面を対象としている。

誰が、いつ利用できるのか

Googleによると、10月28日の発表があった週に、サイバー防衛担当者の一部がCarbonを利用できるようになる。Fairwindを通じて信頼できる提携先にも段階的に提供し、その後、Googleの製品を通じて開発者、企業、一般消費者へと広げる。

発表された提供の順序は次の通りだ。

  • Carbonの約2週間前:GoogleはGemini 4 Argonを公開。その後、GeminiアプリとAI検索モードで利用可能になった。
  • 2026年10月28日:GoogleがCarbonの発表とベンチマーク結果を公表。
  • 10月28日の週:選定されたサイバー防衛担当者への提供を開始。
  • その後:Fairwindを通じて利用範囲を広げ、さらに幅広い製品提供へ移行。

Googleは、モデル公開前のテストを行う米政府の任意のプロセスに参加している。今回の発表では、一般公開の時期やCarbonの導入価格が終了する時期は明らかにされていない。

AI Ultraの契約者やGemini APIの開発者が早期利用者になる可能性も取り沙汰されているが、Googleが公表した提供方針では、開発者、企業、一般消費者という幅広い対象が示されているだけで、その順序は確定していない。

防衛担当者から提供を始める判断の背景には、AIの悪用に対する懸念の高まりがある。Googleの脅威調査チームは、イラン、北朝鮮、ロシア、中国の支援を受けるグループがGeminiを試験していることを記録しており、その多くは調査やコーディング支援に関するものだ。DeepMindのデミス・ハサビス最高経営責任者は、最近のAIエージェントへの攻撃を初期の警告と表現している。

開発者向けのCarbonの料金

CarbonのAPI導入価格は、入力100万トークン当たり2ドル、出力100万トークン当たり10ドルで、Argonの公開時価格と同じだ。APIを使うと、開発者はモデルを自分たちのソフトウェアに接続できる。入力はCarbonに送る資料、出力はCarbonが生成する内容を指す。

導入期間終了後の価格は、入力100万トークン当たり4ドル、出力100万トークン当たり20ドルと、いずれも2倍になる。入力100万トークンと出力100万トークンを使うタスクの場合、キャッシュなどによる調整を適用する前の費用は、導入価格で12ドル、通常価格で24ドルとなる。

広告

Googleによると、キャッシュされた入力には95%の割引が適用される。キャッシュを使えば、すでに処理した資料をサービス側で再利用できるため、同じ大容量の文書やソフトウェアプロジェクトを繰り返し入力する費用を抑えられる。割引適用後のキャッシュ入力価格は、導入時の入力料金で100万トークン当たり0.10ドル、通常料金で0.20ドルとなる。

実際の支出は、タスクの完了にモデルがどれだけのテキストを生成するかにも左右される。Artificial Analysisによると、Carbonの指標タスク当たりの費用は7.76ドルで、Opus 5.5の10.04ドル、GPT-6 Astraの6.25ドルと比べられる。この評価でCarbonが1タスク当たりに使う出力トークンは約12万3,000で、Opusより29%少ない。

別の種類の作業では、異なる傾向が現れることもある。Valsの評価では、Carbonの出力トークン数はArgonより64%多く、その大半は金融、税務、法律関連のタスクでのものだった。Carbonの予算を立てる開発者は、トークン単価に加え、各課題でどれだけの作業を行うかも考慮する必要がある。

要点

  • Gemini 4 CarbonはArtificial Analysis Intelligence Index v5.0で59点を獲得し、58点のOpus 5.5、57点のGPT-6 Astraを上回った。
  • Googleによると、脆弱性の発見で88.2%、悪用で54.8%、パッチ作成で71.0%のスコアを記録した。
  • 複数のコーディング評価では、Carbonは競合モデルとツールの組み合わせに後れを取っている。
  • Googleによると、Terminal-Bench 4.0では不正行為の成功はなく、Gray Swanのプロンプトインジェクションテストでも攻撃の成功はなかった。
  • 社内評価では根拠のない主張が約半減した一方、外部のハルシネーション指標はArgonの4%からCarbonの11%に上昇した。
  • 最初に利用できるのは選定されたサイバー防衛担当者で、その後、Fairwindを通じて利用範囲を広げ、さらに幅広く提供する。
  • APIの導入価格は入力100万トークン当たり2ドル、出力100万トークン当たり10ドルで、その後はそれぞれ4ドル、20ドルに上がる。
この記事を共有

こちらもおすすめ