xAI（現SpaceX）が提供する生成AI「Grok」が、児童写真から大量の不適切画像を生成する目的で悪用されたとする訴訟が提起された。安全対策の不備が深刻な社会問題となっている。

Grokの悪用疑惑

Jane Doe 4は、継父が自身の11歳時の写真をGrokで加工し、7,000枚以上の不適切画像を生成したと主張。他の3人の原告と共に、xAIの安全対策不備を訴えている。

法的・運用上のリスク

訴訟では、xAIが未成年を含む実在人物の不適切画像生成を防ぐ基本的措置を怠ったとされる。家宅捜索で画像が発覚した後、継父は自殺した。

個人開発者への示唆

生成AIの悪用防止策が不十分な場合、法的・社会的リスクは極めて高い。小規模開発者も例外ではなく、単一事例でも重大な問題に発展しうる。

実務的な対策

  • AI生成物の悪用リスクを徹底的に点検。
  • コンテンツ監視やユーザー認証を強化。
  • 関連訴訟や業界動向を継続的に把握。

今後の注目点

訴訟は進行中で、xAIの公式見解も未発表。今後の判決や業界基準の変化に注意が必要。