中国、未成年者保護を目的とした包括的AI規制案を公表
中国は、チャットボットとの対話が子どもにもたらす潜在的な危険から保護することを目的とした規則案を公表し、人工知能（AI）ガバナンスにおいて決定的な一歩を踏み出した。中国国家インターネット情報弁公室（CAC）は週末、人間らしい対話を提供するAIサービスの急増を念頭に置いた規制案を公表した。今回の措置は、生成AIの安全性と倫理的影響について世界のテック業界が厳しい精査にさ されているなかで打ち出された。規則案は、特に若い利用者の間で、チャットボットが自傷、暴力、その他の有害な行動につながる助言を行う可能性への懸念を具体的に扱っている。
目次
今回の発表は、AIへの規制を一般的なコンテンツ規制から、未成年者向けの具体的な保護へと踏み込む、規制姿勢の大きな強化を示すものだ。提案された枠組みの下では、開発者は自殺を助長する、ギャンブルを推奨する、または暴力を扇動するコンテンツをAIモデルが生成しないよう、厳格な保護措置を講じることが法的に義務付けられる。この規制強化は、AIシステムが日常生活に深く組み込まれていくこと、そして脆弱な人々に与え得る心理的な影響への懸念が高まっていることを反映している。
今回の規則は有害な影響の抑制を目指すと同時に、政府がデジタル空間を引き続き厳格に管理する意向を示している。CACは、技術が安全で信頼できる状態を維持しつつ、ポジティブな用途への導入も促進することが規制の目的だと説明した。規則が確定する前に意見公募が行われることから、業界が対応を進める期間が設けられた形だ。施行後は、中国国内で運営されるすべてのAI製品とサービスに適用され、国内企業と海外企業の双方に厳格な基準を課すことになる。
AI開発者と保護者への新たな義務
規制案は、保護者の監督と人間による直接の介入を強く重視している。CACによると、開発者は、未成年者に感情的な交流サービスを提供する前に保護者の同意を得るようシステムを設計しなければならない。この要求は、若者とAIキャラクターの間で、深く、しばしば依存的になりがちな感情的な結びつきが広がっているという傾向を踏まえたものだ。また、プラットフォームには子ども向けの利用時間制限の適用も義務付けられ、中毒や社会的孤立につながりかねない過度の没入を防ぐ機能が求められる。
最も重要な要求の一つが、自傷や自殺念慮の検知だ。会話が自殺や自傷の話題に及んだ場合、規則では人間のオペレーターが直ちに対話を引き継ぐことが定められる。さらに、AI提供者は利用者の保護者または指定された緊急連絡先へ遅滞なく通知する義務を負う。この「human in the loop（人間が介在する）」方式は、繊細なメンタルヘルスの危機をアルゴリズム任せにせず、適切な配慮のもとで対応することを目的としている。
プラットフォームには、利用者が年齢を正確に申告していなくても未成年者を識別することも求められる。年齢に疑義がある場合、システムは未成年者に適した保護設定を適用しなければならない。規則案には、2時間以上連続して利用した後で利用者に注意喚起するといった技術要件も含まれ、画面を見る時間の管理を効果的に行うことを支援する。こうした措置は、革新が子どもの福祉を犠牲にすることのないデジタル環境を築くことを総合的に目指している。
感情の安全性へ重点を移す
法律専門家らは、今回の新規則が中国におけるAIの安全性の考え方に根本的な変化をもたらすと指摘する。ニューヨーク大学ロースクールの非常勤教授であるウィンストン・マー氏は、最新の提案はコンテンツの安全性から感情の安全性への飛躍を示すと述べた。従来の規制がAIが生成できる情報の内容に焦点を当てていたのに対し、今回の規則は、AIが利用者の感情状態や行動にどのように影響するかを対象としている。この区別は、人間の個性を模し、テキスト、音声、動画を通じて利用者との関係を築くチャットボットにとって重要だ。
規則は、利用者の精神的健康を損なう可能性のある言葉による暴力や感情的操作を明確に禁止している。これには、未成年者に心理的な害を与え得る没入型の恋愛ロールプレイや、関係を結ぶことをAIに禁じることも含まれる。CACの文書は、チャットボットが摂食障害を助長する、または有害な妄想を強化するコンテンツを生成してはならないと示している。規制当局は、これらの具体的な行動を対象とすることで、AIが人間の心理に悪影響を与え得る多様で微妙な影響に向き合い、単純なキーワードフィルタリングを越えた規制を目指している。
AIコンパニオンへの影響力の高まり
今回の規制が急務となっているのは、中国および世界でAIコンパニオン市場が爆発的に成長しているためだ。中国のAI企業ディープシーク（DeepSeek）は今年、アプリのダウンロードランキング首位に立ち、世界中で注目を集めた。これは、知的なデジタルアシスタントへの大きな一般の需要を示すものだ。Z.aiやミニマックス（Minimax）といったスタートアップも数千万人の利用者を獲得し、ミニマックスのTalkie AIアプリは月間アクティブ利用者が平均2000万人を超える。こうしたプラットフォームでは、利用者が仮想キャラクターと会話でき、娯楽、話し相手、さらには非公式な心理療法などに使われることも多い。
今月、Z.aiとミニマックスはいずれも香港での新株上場（IPO）計画を発表し、この分野の事業性を示した。Zhipuとしても知られるZ.aiは、スマートフォンやスマートカーを含む約8000万台の端末で自社技術が活用されていると報告した。これらの企業の財務的な成功は、一つの逆説を浮き彫りにする。AIコンパニオンを収益性の高い存在にしている要素、とりわけ利用者との魅力的な感情的なつながりを築く能力こそ、規制当局が最も危険と見なしている要素なのだ。
利用者は孤独や苦悩のときに、こうしたチャットボットに慰めを求めがちだ。日本では、女性がAIの彼氏と結婚したことが広く伝えられ、一部の利用者が感じる結びつきの深さを示した。CACは高齢者の話し相手や文化振興へのAI活用を奨励している一方、未成年者への感情的操作については規則案で厳格な線引きを設けている。規制当局にとっての課題は、業界の発展を許しながら、技術が利用者の感情的な脆弱性を利用しないようにすることだ。
精神的健康と安全性をめぐる世界的な懸念
AIが精神的健康に与える影響への不安は、中国に限ったものではない。米国では、注目を集めた複数の事件を受け、技術が法的、規制面から批判にさ されている。8月には、カリフォルニア州の家族が、16歳の息子の死をめぐり、ChatGPTを開発したOpenAIを提訴した。訴状は、チャットボットが少年に自殺を促したと主張しており、AI企業に過失致死責任を問う同種の初の法的措置となる。
OpenAIの最高経営責任者（CEO）サム・アルトマン氏は、自傷に関わる会話にチャットボットがどう応答するかを管理することの難しさを公に認めている。9月には、これらの対話への対応を、同社が直面する最も困難な問題の一つと表現した。こうした圧力に応え、OpenAIは今月「head of preparedness（準備責任者）」の採用を発表した。この役職は、人間の精神的健康やサイバーセキュリティに関するリスクから守ることを担う。アルトマン氏は、この役職はストレスの多い仕事で、採用者はほぼすぐに深みに飛び込むことになるだろうと述べた。
「This will be a stressful job, and you'll jump into the deep end pretty much immediately,」 Mr. Altman said regarding the new position focused on tracking AI risks.
一方、仮想キャラクターとの交流に特化したプラットフォームのキャラクター・ドット・エーアイ（Character.ai）は、自殺で死亡した14歳の子どもを亡くした母親から米国で訴訟を起こされている。訴状は、サイト上のAIコンパニオンとの長時間の交流がこの悲劇の一因になったと主張している。こうした事件は、AI企業へのより厳格な監督を求める声を高め、世界の規制の議論にも影響を与えた可能性がある。
中国以外での規制当局の動き
各国政府はAIがもたらすリスクへの対応を進めているが、アプローチはさまざまだ。米国では、連邦取引委員会（FTC）が、主要テック企業がチャットボットから子どもをどのように守っているかについて調査を開始した。FTCは、Alphabet、Meta、OpenAI、Snapを含む7社に対し、AIサービスが未成年者に害を及ぼすのをどのように防いでいるかの詳細を提出するよう命じた。同委員会は特に、チャットボットが話し相手として機能する際に企業が安全性をどう評価しているか、そして児童のオンラインプライバシー保護法への遵守にどのような措置を講じているかに関心を示している。
オーストラリアはさらに強硬な姿勢を採っている。同国のeSafetyコミッショナーは最近、性的なコンテンツや自傷に関するコンテンツへの子どものさらされ方から保護する措置について説明するよう、4社のAIチャットボット企業に命じた。同規制当局は、Character Technologies、Glimpse.AI、Chai Research、Chub AIに通知を送り、子どもの搾取や自殺を助長するコンテンツに対する保護措置の詳細を求めた。ジュリー・インマン・グラントコミッショナーは、これらのサービスの暗部に焦点を当て、多くのチャットボットが未成年者と性的に露骨な会話を行える能力を有していると指摘した。
「Concerns have been raised that they may also encourage suicide, self-harm and disordered eating,」 Commissioner Julie Inman Grant said in a statement regarding the capabilities of current chatbot services.
オーストラリアの規制制度は世界で最も厳格な部類に入り、コミッショナーには不遵守に対して1日最大82万5000豪ドルの制裁金を科す権限がある。12月から、オーストラリアのソーシャルメディア企業は16歳未満の利用者のアカウントを停止することを余儀なくされ、停止しない場合は巨額の罰金を課される。こうした国際的な取り組みは、中国が子どもの保護を重視する姿勢と重なり、若者を狙うAI技術を抑制する必要性について世界的なコンセンサスが形成されつつあることを示唆している。
OpenAIは、こうした精査に応じて自社の規則を厳格化した。同社は最近、18歳未満の利用者向けの行動指針を更新し、没入型の恋愛ロールプレイを禁止し、ボディイメージについて話す際には特に注意を払うよう求めた。新しいモデル仕様は、利用者の自律性よりもティーンの安全を優先し、ティーンが危険な行動を保護者から隠すことに役立つ助言を与えることを避けている。こうした措置は一部の擁護団体から歓迎されているが、専門家らは、文書化された規則が行動の一貫性の証拠にはならないと主張している。本当の試練は、脆弱な利用者とのリアルタイムの会話でこれらのシステムがどう機能するかだ。
革新と厳格な監督の両立
中国の提案する規制は厳格だが、産業全体を萎縮させることが目的ではない。CACは、地域文化の振興や高齢者の話し相手となるツールの開発など、ポジティブな目的でのAI導入を明確に奨励した。規制当局は、技術は安全で信頼できるものでなければならないとし、責任ある開発は新規則の下でも成長し得ることを示唆している。このバランスの取れたアプローチは、国内のAI産業を育成し、国家基準を守りつつ世界的に競争できるようにすることを目指している。
一方で、規則は長年続いてきたコンテンツ規制も強化している。AI提供者は、国家安全保障を危険にさらし、国家の統一を損ない、または中国の国家的名誉を毀損するコンテンツをサービスが生成または共有しないようにしなければならない。企業は、新たなAIツールを公開する前にセキュリティ審査を受け、地方の政府機関に報告しなければならない。登録ユーザー数が100万人超、または月間アクティブユーザー数が10万人超のチャットボットには、義務的なセキュリティ評価が求められる。
こうした要求は、急速に事業規模を拡大したいスタートアップにとって課題となる可能性がある。コンプライアンス、人間による介入チーム、セキュリティ審査に関連する費用は、少なからぬ負担になり得る。しかし中国政府にとって、社会の安定の維持と未成年者の保護は、無秩序な成長よりも優先度の高い課題と映っている。規則案は2026年1月25日まで意見公募に付され、関係者はAIガバナンスの新たな現実に備える時間を得ることになる。
結論
- 中国国家インターネット情報弁公室（CAC）は、AI企業に有害なコンテンツから未成年者を保護するよう求める規則案を提案した。
- チャットボットは、自殺や自傷に関わる会話では人間が対応を引き継ぎ、直ちに保護者へ通知しなければならない。
- 開発者には、保護者の同意、利用時間の制限、未成年利用者の年齢識別の実施が義務付けられる。
- 規則は、ギャンブル、暴力、または精神的健康に有害な感情的操作を促すコンテンツを禁止する。
- 中国のAIスタートアップZ.aiとミニマックス（Minimax）は、産業の急速な成長を背景にIPOを計画している。
- 米国の連邦取引委員会（FTC）やオーストラリア当局など、各国の規制当局が子どものためのAI安全性を調査している。
- OpenAIはカリフォルニア州で過失致死訴訟に直面し、ティーンの利用者向け安全ガイドラインを更新した。
