KAIST、画面を見てウェブサイトを操作するAIエージェント「KORMo-Web」を発表

読了時間:約8分
KAIST unveils KORMo-Web, an AI agent that uses websites by watching the screen

小型AIモデルが実際のウェブサイトのタスクに挑む

KAISTの研究者らは、マウスクリックやキーボード入力でウェブサイトを操作する人工知能エージェント「KORMo-Web」を公開した。実際のウェブサイトを使った評価では、最小モデルが韓国語と英語の両方で、割り当てられたタスクの42.3%を完了した。

目次
  1. 小型AIモデルが実際のウェブサイトのタスクに挑む
  2. AIは人間のようにどうウェブサイトを使うのか
  3. 操作を始める前に学習したこと
  4. 成功率42.3%は何を意味するのか
  5. 韓国語の評価データが重要な理由
  6. 3種類のモデルと実行に必要なツール
  7. デモから実用的な作業委任へ
  8. 要点

KAIST文化技術大学院の林慶澤(イム・ギョンテク)教授が率いるチームは、2026年11月17日に公開を発表した。システムに画面の見方と操作方法を学習させるため、1,000万件を超えるウェブ画面サンプルと、10万件を超えるウェブサイト操作記録を用いた。

KORMo-WebはChatGPTやClaudeなどのサービスを利用できるほか、Naver ShoppingやCoupangで商品を検索したり、メールの下書きを作成したり、オンラインコミュニティで活動したりできる。研究者らは、実際のウェブサイトでの40のタスクを4分間にまとめたデモ動画も公開した。

基本的な発想はシンプルだ。サービスごとに個別のソフトウェア接続を構築する代わりに、人間と同じ画面を理解し、その画面上の操作部を動かす能力をAIに与える。

KAISTは、パラメーター数40億のモデルを含む、3種類のサイズのモデルを公開した。この最小モデルはパソコン上で直接動作する。公開物にはモデルの重み、学習データ、韓国語の評価データ、Chrome拡張機能のコードも含まれ、開発者がシステムを実行・研究するために必要な要素が提供されている。

AIは人間のようにどうウェブサイトを使うのか

KORMo-WebはAIエージェントだ。つまり、文章で答えるだけでなく、依頼を実行するために行動する。ユーザーが指示を出すと、システムはウェブ画面を読み取り、操作部を選び、テキストを入力して、求められた結果の実現を目指す。

例えば、買い物のタスクでは、検索ボックスの場所を理解し、商品名を入力して、検索結果をたどる必要がある。別のAIサービスを使って資料を準備する場合は、入力欄を見つけて依頼を送信し、返答を扱う必要がある。

広告

多くのソフトウェアサービスは、別のプログラムが情報を要求したり、操作を実行したりできるアプリケーション・プログラミング・インターフェース(API)を提供している。これに対し、KORMo-Webは表示されたウェブサイト上での操作を目指しており、サービスごとに専用の接続を構築する必要性を減らす。

林教授はプロジェクトの目標について、次のように説明した。

私たちの目標は、サービスごとに外部のアプリケーション・プログラミング・インターフェース(API)を一つずつ接続することではなく、AIが人間のように画面を理解し、コンピューターを直接操作できるようにすることです

この手法は、主にページの基盤となるHTMLや、Document Object Model(DOM)を利用した自動化とも異なる。こうした構造は、ウェブページがどのように組み立てられているかを示す。KORMo-Webは、表示画面と人々のウェブサイト利用記録を中心に学習する。

操作を始める前に学習したこと

研究者らは、韓国で広く使われているウェブサイトを含む、韓国語と英語のウェブ画面から1,000万件を超える学習サンプルを作成した。目標は、ボタンやテキスト欄の位置だけでなく、それ以上のことをモデルに学ばせることだった。

チームはこの段階を「アトミックレベルのウェブ事前学習」と呼ぶ。簡単に言えば、大きな作業に取り組む前に、ウェブサイトを構成する小さな要素を学ぶことだ。メニューの場所、ボタンの機能、入力欄に入力できる内容、操作部がどの状態にあるかなどを習得する。

ボタンの見た目と機能は関連しているが、別の情報だ。エージェントは正しい操作部を見つけるだけでなく、それを使うことでユーザーのタスクがどのように進むのかを理解する必要がある。そうした詳細を学習することで、行動を選択するための土台ができる。

その後、研究者らは韓国語と英語のウェブサイト操作記録を10万件以上追加した。「軌跡」とも呼ばれるこれらの操作手順は、ウェブサイトの利用が単一のクリックではなく、複数のステップを経て進むことを示す。

2つの学習段階は、それぞれ異なるニーズに応える。画面サンプルは、目の前にあるものを認識し、解釈する方法をエージェントに教える。操作記録は、一連の行動によって指示からタスク完了に至る方法を学ばせる。

広告

成功率42.3%は何を意味するのか

パラメーター数40億の「KORMo-Web-4B」は、実際のウェブサイトでエージェントにタスクを実行させる評価「Online-Mind2Web」で、英語と韓国語の双方で42.3%のタスク成功率を達成した。

公式のKORMo-Web-4Bの公開ページには、評価手順と全結果が記載されている。すべてのモデルが、実際に稼働するウェブサイト上の同じ612件のタスクを実行した。内訳は英語300件、韓国語312件。各モデルはそれぞれのプロンプトと操作形式を使用し、GPT-6とされる同一の言語モデル判定者がすべての実行結果を採点した。成功率は全タスク数を分母として算出されるため、実行がクラッシュした場合や結果が空だった場合は失敗に数えられる。同ページには、評価用ハーネスの完全な仕様、システムプロンプト、ツールスキーマへのリンクも掲載されている。

全結果は、英語、韓国語の順に、Qwen3.5-4Bが20.0%と13.5%、Fara-1.5-4Bが20.7%と7.7%、UI-TARS-1.5-7Bが22.3%と20.2%、OpenWebRL-4Bが32.7%と15.4%、KORMo-Web-4Bが42.3%と42.3%、KORMo-Web-9Bが51.0%と48.1%だった。

研究者らによると、比較対象に含まれた、モデルの重みが一般公開されているエージェントの中で最高の結果だった。モデルは従来の比較で最良だった結果を、英語で9.6ポイント、韓国語で22.1ポイント上回った。

この差から、従来の最良結果は英語で32.7%、韓国語で20.2%だったことが分かる。韓国語での改善幅は大きく、KORMo-Webのスコアは従来の比較対象の2倍を超えた。

パーセントポイントは、2つの割合の差を示す。例えば20.2%から42.3%への上昇は、22.1ポイントの増加となる。このため、今回の評価で韓国語の結果が大幅な変化を示したことが分かる。

成功率は、信頼性を測る実用的な目安にもなる。42.3%という数値は、割り当てられたタスクの半分にも満たない数しか成功しなかったことを意味する。残る57.7%は成功に分類されず、ユーザーが結果を確認せずに日常的に作業を任せられるようになるまでには、なお大きな改善の余地がある。

韓国語の評価データが重要な理由

KAISTは、グラフィカル・ユーザー・インターフェース(GUI)エージェント向けの主要な4つのベンチマークをもとに作成した韓国語の評価データも公開した。GUIとは、ボタンやメニュー、テキストボックスなど、人がソフトウェアを操作するための視覚的な操作部の総称だ。

韓国のウェブ環境に適合させるため、韓国語の評価データは人手で作成された。これにより、開発を主導してきた英語環境に加えて、現地のウェブサイトや言語の使い方でエージェントを検証する手段が研究者に提供される。

Online-Mind2Webで韓国語と英語のスコアがともに42.3%だったことは、報告された評価のもとで両言語の性能を並べて比較できる点で有用だ。韓国語で従来の比較結果を大きく上回ったことも、現地語対応が今回の公開内容の重要な柱であることを示している。

広告

評価データを公開することで、ほかの開発者も同じ種類のタスクで自分たちのシステムを検証できる。学習データや操作記録と合わせることで、学習プロセスのどの部分が性能向上につながるのかを調べるための、より明確な基盤となる。

3種類のモデルと実行に必要なツール

公開されたモデルは、パラメーター数が40億、90億、110億の3種類だ。パラメーターとは、学習中にモデルが習得する内部の数値で、その数はモデルの規模を示す一般的な指標となっている。

40億と90億のモデルはQwen3.5をベースとしている。KORMo-Web-11Bと呼ばれる110億のモデルは、KAIST独自の基盤モデル群「KORMo」を出発点としている。基盤モデルとは、広範な学習を施したAIシステムで、ウェブサイトの操作など、より具体的な役割に合わせて追加学習できる。

KORMo-Web-4Bは、パソコン上で直接動かすことを想定している。ユーザーの端末上でウェブアシスタントを利用できるようにし、大規模な遠隔システムだけに頼らないというチームの目標において、モデルの小ささは重要な要素だ。

公開内容はモデルそのものにとどまらない。KAISTは、学習済みモデルの重み、大規模なウェブ学習データ、ユーザーの操作手順、韓国語の評価データ、Chrome拡張機能のコード、インストール方法、動画、使用例も公開している。

研究者らは、必要となる最低限のコンピューター性能を明らかにしていない。公式の公開ページにも、商品の購入やメール送信、コメントなどの公開発信の前にユーザーの確認が必要かどうかは記載されていない。金銭を使うタスクや他者とやり取りするタスクにエージェントを利用することを検討する人にとって、こうした点は重要だ。

デモから実用的な作業委任へ

デモでは、ChatGPTを使ったプレゼン資料の準備、Claudeを使った最近の研究の調査、Notionでの結果整理、ショッピングサイトでの商品検索など、身近な種類の作業を扱っている。メールの下書き作成やオンラインコミュニティでの活動にも対応し、出力が他者に届く可能性のあるタスクにも踏み込んでいる。

4分間の動画では、40のウェブサイト上のタスクを短くまとめて紹介している。利用を検討する人にとって、より有用な信頼性の指標は、別途報告されたタスク成功率と、個々の作業にどの程度の確認が必要かという実務上の問いだ。

広告

メールの下書きは送信前に確認できる。商品検索の結果は、予算や要件に合っているかを確かめられる。一方、コメントの投稿や商品の購入では、ユーザーがどの時点で操作を承認する必要があるのかを明確にすることが重要だ。こうした違いから、適切なタスクを選ぶことは、正しい操作部をクリックする能力と同じくらい重要となる。

林教授は、この種の支援をパソコン上で実現する構想について、次のように述べた。

今後は、パソコンにインストールした小型AIが、ユーザーに代わって幅広いウェブ作業を実行できる環境を作りたいと考えています

KORMo-Webは、公開された3種類のモデル、充実した学習リソース、韓国語の評価ツールを通じて、その構想を他者が検証・実行できる形にした。今回の結果は、実際のウェブサイト上のタスクを完了する能力の進歩を示す一方、報告された評価では、成功したタスクは半数に届いていない。

要点

  • KAISTは2026年11月17日、画面に表示された操作部を使ってウェブサイトを操作するAIエージェント「KORMo-Web」を発表した。
  • 学習には、韓国語と英語のウェブ画面サンプル1,000万件超と、操作記録10万件超が使われた。
  • 40億パラメーターのモデルは、Online-Mind2Webで両言語ともタスク成功率42.3%を達成した。
  • 従来の比較対象の最良モデルに対し、英語で9.6ポイント、韓国語で22.1ポイント上回った。
  • 公開内容には3種類のモデル、韓国語の評価データ、学習リソース、Chrome拡張機能のコードが含まれる。
  • 最小モデルはパソコン上で動作するが、報告された成功率を踏まえると、ユーザーによる確認がなお多く必要となる。
この記事を共有

こちらもおすすめ