OpenAIがCSAM検出ツールを公開、ChatGPTでの関連検索はアカウント停止の可能性も

OpenAIが新たなCSAM検出ツールを発表
米OpenAIは11月16日(現地時間)、児童性的虐待コンテンツ(CSAM:Child Sexual Abuse Material)を検出する新しい画像分類ツール「OpenAI CSAM Image Classifier」を発表しました。このツールは、生成AIで作成された画像や、これまで確認されていない画像も検出対象とします。審査を通過した組織には、OpenAI APIを通じて無償で提供されます。
ツールの特徴と検出能力
新ツールは、画像に含まれる性的虐待の視覚的な特徴を分析し、CSAMである可能性をスコアで示します。既知の違法画像のハッシュ値と照合する従来の方法では見つけにくかった新規の画像やAI生成画像も対象とし、AI生成CSAMの可能性を示す専用のスコアも出力します。OpenAIは、AI生成CSAM専用の判定指標を備え、幅広い組織が利用できる分類ツールとしては初めてだとしています。
開発には米国の行方不明・被搾取児童センター(NCMEC)が協力し、学習や評価、設計に関わりました。業界団体のTech Coalitionと非営利団体のROOSTも、ツールの提供に協力しています。
OpenAIがユーザーのアップロード画像を対象に実施した評価では、既存の検出ツールとほぼ同数の虐待画像を検出し、レビュー対象として報告される画像の数を48%削減できると推定されています。新ツールが示した画像に実際に虐待コンテンツが含まれる割合は、既存ツールの約2倍だったとのことです。
先行導入したパートナー企業での試験結果も公表されており、AIプラットフォームのfalでは、確信度の高い検出結果の72%が新規のCSAMと確認されました。動画生成AIのinvideo AIでは、検出されたケースの4件に1件がアカウント停止につながっています。SafetyKitによる評価では、検出率は90%で、合法的な成人向けコンテンツの誤検出率は1%未満でした。
ただし、同時に公開されたモデルカードによると、ChatGPT上の実際の通信を対象にした場合の適合率は、オフライン評価より大幅に低く、例えば乳児が写った画像の検出率(再現率)は49.3%にとどまりました。また、動画フレームでの検証は行われていません。OpenAIは、スコア単体でCSAMと断定したり法的通報の根拠としたりするものではなく、最終的な判断は人間の審査担当者が行うよう推奨しています。
ChatGPTにおける警告機能と開発者向けガイドライン
OpenAIは同時に、ChatGPTで児童性的虐待コンテンツを探そうとする行為を抑止する警告機能も導入しました。該当する行為を検出すると、AI生成かどうかにかかわらず、児童を性的に扱うコンテンツは有害で違法となる可能性があり、探すこと自体が利用規約違反に当たると警告します。対象の会話は削除され、アカウントは24時間停止されます。警告画面からは、無料の専門的な支援窓口も案内されます。違反を繰り返した場合は、制限期間の延長やアカウントの閉鎖、当局への通報につながる可能性があるとのことです。
開発者向けには、CSAMの防止、検出、対応・通報に関するガイドラインが公開されました。また、法執行機関の児童保護専門部署向けには、膨大なチャット履歴や法的手続きで入手した記録の確認作業を支援し、事案の関連性や時系列の整理を効率化するツールと研修が提供されます。
これまでの取り組みと今後の課題
OpenAIはこれまでも、ChatGPTの未成年ユーザー向けにペアレンタルコントロールや年齢予測機能を導入してきました。一方で、米非営利団体Common Sense Mediaは10月、13~17歳向けの「ChatGPT for Teens」を「容認できないリスク」と評価し、安全機能の改善と第三者による検証が済むまでChatGPTの利用を18歳以上に限るよう求めています。


