検出の迅速化とコンテンツ削除の課題
韓国のデジタル性犯罪対応センターは、職員による疑わしいコンテンツの発見と削除要請を支援する人工知能（AI）システムを使い、4月から9月にかけて児童性的虐待コンテンツ9万6,210件を特定した。女性家族部によると、監視担当者1人当たりの1日の検出件数は202.1件に達し、システム導入前の20.8件と比べて約9.7倍に増えた。
目次
4月に導入されたこのシステムは、ソーシャルメディア、オンラインコミュニティー、ランダムチャットアプリを24時間検索する。職員が検出結果を確認した後、プラットフォームに削除を要請する。従来は職員がウェブサイトを検索し、報告書を手作業で作成していた業務を、はるかに短時間で処理できるようになった。
この数字は、センターがコンテンツを発見し、通報する能力が大きく向上したことを示している。一方、ウェブサイト側を動かすのは別の課題だ。センターによると、2025年には削除要請の28.5％が未対応だった。サーバーの所在地を特定できたウェブサイトのうち、少なくとも95.5％は海外でホスティングされていた。
被害者にとって、現実的な課題は最初の削除要請だけにとどまらない。画像はコピーされて再投稿される可能性があり、繰り返し検索し、継続的な支援を行う必要がある。国のセンターは、監視や削除支援に加え、法的措置に関する支援も提供している。
韓国の事例は、同じ技術の二つの用途も示している。AIはディープフェイクと呼ばれる、性的な偽造画像の作成に使われる一方、検出システムは職員がそうしたコンテンツを特定し、より迅速に対応するのに役立つ。虐待が疑われるコンテンツの確認にも、被害者支援にも、人による判断が引き続き欠かせない。
国のシステムの仕組み
国のセンターのシステムは、監視業務から得た約220のキーワードを使って投稿を収集する。テキストと画像をあわせて分析し、評価結果とその理由を職員に提示する。最終的な通報の判断は職員が行う。
職員が報告を承認すると、システムは該当するプラットフォームや当局が必要とする情報を準備する。削除要請の処理にかかる時間は、現在では約1分以内だ。これは要請の準備と処理にかかる時間であり、その後、ウェブサイト側が対応してコンテンツを削除する必要がある。
画像は初期設定でぼかされており、職員は判断に必要な場合に表示する。これにより、確認作業を維持しながら、衝撃的なコンテンツに繰り返しさらされることを抑えられる。センターは、保有データベースを使ってシステムを訓練し、検出精度を高める方針だ。
デジタル性犯罪対応センターのキム・ミスン所長は、自動化が業務をどう支援しているかを説明した。
コンテンツが流通しているかどうかの検出から削除要請の提出まで、各段階で人が介入しなくても、システムが大半の処理を自動で行います
センターは、Google、X、Bluesky、Telegramなど14のプラットフォームにデータ収集ツールを設置した。これらのツールが評価対象のコンテンツを自動で集めるため、職員は手作業での検索時間を減らし、確認や被害者支援により多くの時間を割ける。
増加を数字で見る
センターが2025年の1年間に処理した件数は4万5,438件だった。翌年の4月から9月までの処理件数は9万6,210件で、6カ月間で前年の年間件数の約2.1倍に達した。監視担当者1人当たりの1日の処理件数は20.8件から202.1件へと、181.3件増えた。
センターが2025年に支援した被害者は1万637人で、2020年の4,973人から増加した。5年間で5,664人、約114％の増加となる。被害者数は支援を受けた人の数であり、処理件数はコンテンツや削除要請に関するセンターの業務を示す。一人の被害者について、コンテンツの流通に応じて繰り返し対応が必要になる場合もある。
女性家族部は、2027年に監視対象を139のプラットフォームに拡大する計画だ。同部の発表では現在の対象は74プラットフォームとされているが、現行の対象数として79も挙げられている。センターはこれとは別に、自動収集の対象を14プラットフォームから139に拡大すると説明している。公表された数字からは、監視対象全体の拡大と収集ツールの設置先との正確な関係は明らかになっていない。
女性家族部が示した74を基準にすると、139への拡大は65プラットフォームの追加となり、約88％の増加にあたる。対象範囲が広がれば、虐待コンテンツが見つかる可能性のある場所が監視に加わる一方、職員が評価するコンテンツも増える。
支援を受ける人の大半は10代と20代
2025年に国のセンターが支援した人のうち、10代と20代が77.6％を占めた。10代は28.5％、20代は49.1％だった。センターは20歳未満の3,052人を支援し、10歳未満の女児20人も含まれていた。
センターは、加害者がチャットアプリを通じて被害に遭う可能性のある人に接触し、すぐに信頼関係を築いて、性的搾取へと誘導する手口も確認している。子どもは虐待コンテンツが流通していることに気づかなかったり、恐怖から支援を求められなかったりする場合がある。そのためセンターは、被害者からの要請がない場合も含め、児童の性的搾取に関するコンテンツを先回りして検索している。
警察の統計は、オンライン上の性的虐待の規模を別の角度から示している。韓国警察は2024年11月から2025年10月までに、オンライン上の性的虐待事件で容疑者3,557人を拘束した。容疑者のほぼ半数は10代で、ディープフェイクを伴う犯罪は事件の35.2％を占めた。
ディープフェイクとは、本人がしていない行為をしたように、あるいは本人が言っていないことを言ったように見せるため、AIで加工または生成した画像、動画、音声を指す。性的虐待事件では、偽造コンテンツに本人の顔を合成して性的なコンテンツにすることがある。キム所長は、目視では見分けにくいディープフェイクもセンターのシステムで特定できると述べた。
ソウル市では報告を迅速化する別の事例も
ソウル市は2023年に独自のAI監視システムを導入し、2025年には自動報告機能の導入を発表した。市は5月23日の発表で、従来は2時間半から3時間かかっていた検出と特定を、6分で完了できるようになったと説明した。
市のシステムは継続的に監視し、報告書を作成して、ホスティング事業者にコンテンツの削除を求めるメールの下書きを準備する。送信前に削除支援担当者が各下書きを確認する。海外で運営されるウェブサイトに要請を届けるため、英語、中国語、日本語、ロシア語を含む7言語でメールを作成できる。
ソウル市は、より限定的な処理時間の短縮も説明している。キーワードの入力から結果の生成までにかかる時間は3分で、職員が手作業で行う場合の平均2時間から短縮された。市はこの短縮率を97.5％と算出した。6分と3分の数字は、それぞれ処理工程の異なる作業を示している。
ソウル市のAIシステムが扱った削除案件は、2022年の2,509件から1万4,256件に増え、約468％の増加となった。ソウルデジタル安全支援センターは3年間で3,650人を支援し、捜査・法的支援、心理カウンセリング、医療ケアなど、計6万4,677件の支援を記録した。
2022年には、子どもと10代の支援件数は50件で、全体の16.2％だった。2024年には624件、22.1％に増えた。件数は約12.5倍となり、全体に占める割合も5.9ポイント上昇した。ソウル市の自治体サービスと国のセンターは別々のシステムを運営しているため、それぞれの活動実績は異なる事業の数字だ。
削除要請だけでは虐待が終わらない理由
国のセンターで2025年に削除要請の28.5％が未対応だったということは、4件に1件以上で要請した削除が実現しなかったことを意味する。キム所長は、連絡したウェブサイトの4分の1以上から全く返答がなかったとも述べた。違法サイトの中には、アクセス経路を変更して遮断を逃れようとするものもある。
海外でのホスティングは、さらに別の対応を必要とする。センターは警察や捜査機関のほか、海外の支援団体や大使館とも連携している。適切な言語で要請を送ればプラットフォームの対応を促せるが、協力的でない運営者への法執行には、センターの外部との連携が必要になる。
女性家族部、警察、韓国放送通信審議委員会は、虐待コンテンツの流通を止めることに重点を置いた被害者支援の合同チームを結成した。サーバーレベルでの削除や違法ウェブサイトの閉鎖を進める措置などを挙げている。
キム所長は、削除後にコンテンツがコピーされ、再配布される可能性があるため、継続的な支援が必要だと強調している。被害者への支援には、新たな投稿の検索、追加の削除要請、長期にわたる法的・心理的支援が含まれることもある。
次の目標は会話の中のグルーミング検出
国のセンターは、会話の進み方を分析してオンライン上のグルーミングを検出する技術を開発している。グルーミングとは、大人などの加害者が若い人との信頼関係を築き、性的搾取へ誘導する過程を指す。
ここでは、個々のメッセージが一般的な言葉を含む場合があるため、キーワード検索には限界がある。容姿に関するコメントや年齢を尋ねる質問も、続いて個人的なやりとりや性的行為を迫る内容があれば、より懸念されるやりとりの一部となり得る。開発中の技術は、単独の言葉だけに頼らず、会話の流れや文脈を評価することを目指す。
センターは、支援サービスに関する情報を届けるAIチャットボットも開発している。どちらの取り組みも、すでにオンラインにあるコンテンツの発見にとどまらない。前者は搾取につながる可能性のある接触を見極め、後者は支援を見つけやすくすることを目指す。
会話分析ツールとチャットボットの導入時期は公表されていない。日程が示されている拡大目標は2027年で、センターはAIによる監視対象を139のプラットフォームに広げる計画だ。
支援の担い手は人
国のセンターは2018年に運営を開始し、性暴力防止と被害者保護に関する法律の改正を受けて後に名称を変更した。韓国女性人権振興院の一部門として運営され、4チームで構成されている。定員は43人だ。
自動化によって、職員の時間の使い方は変わる。継続的な検索、検出結果の整理、要請書類の準備は、ソフトウェアで一部を処理できる。一方、どのような対応を取るかの判断、被害者の法的救済の支援、苦痛に寄り添う対応には、今も職員の力が必要だ。
韓国女性人権振興院のパク・グァンス院長は、支援における人の役割について次のように述べた。
どのようなAIや技術を使うにしても、被害者支援は人から始まり、人で完結しなければなりません」とパク院長は述べた。「そして、その間の数え切れない場面でも、人が必要です
ぼかしたプレビューや書類作成の自動化、収集の迅速化は、反復作業と有害画像への接触を減らすことで、その考えを支えている。センターの対象拡大は、より多くのコンテンツを見つけることと、それに対応するための人による確認・支援の維持、その両方にかかっている。
対応の歩み
韓国の国と自治体の取り組みは、いくつかの段階を経て発展してきた。これらの年表からは、自動検索や報告の導入と並行して、被害者支援が拡充してきたことが分かる。
- 2018年：国のデジタル性犯罪被害者支援センターが運営を開始。
- 2023年：ソウル市がAI監視システムを導入。
- 2024年11月～2025年10月：警察がオンライン上の性的虐待事件で容疑者3,557人を拘束。
- 2025年5月23日：ソウル市が自動報告機能を発表。削除依頼メールの送信前に職員が確認する。
- 2025年：国のセンターが被害者1万637人を支援し、4万5,438件を処理。
- 2026年4月～9月：4月のAIシステム導入後、国のセンターが9万6,210件を処理。
- 2027年：国のセンターがAIによる監視対象を139のプラットフォームに拡大する計画。
次に予定されている拡大は、監視対象のプラットフォームだ。その実効性は、疑わしいコンテンツがどれだけ速く人による確認に回るか、また、プラットフォームや当局が要請にどれだけ効果的に応じるかに左右される。
要点
- 国のセンターは4月から9月にかけて、児童性的虐待コンテンツ9万6,210件を特定した。
- 監視担当者1人当たりの1日の検出件数は20.8件から202.1件へ増え、従来の約9.7倍となった。
- 削除要請を送る前に、職員が疑わしいコンテンツを確認する。
- 2025年、国のセンターが送った削除要請の28.5％は未対応だった。
- 国の支援を受けた被害者の77.6％を10代と20代が占めた。
- ソウル市は別のAIシステムを運用し、削除依頼メールを7言語で作成して、職員の確認に回している。
- 国のセンターは2027年に監視対象を139のプラットフォームに広げる計画で、グルーミングの検出や支援情報の提供に向けたツールも開発している。
