美国佛罗里达州一名14岁少年塞维尔·塞泽三世（Sewell Setzer III）因沉迷于与Character.AI程序中的虚拟人物Daenerys Targaryen（电视剧【权力的游戏】中的「龙妈」角色）进行聊天，最终在2024年2月自杀身亡。塞维尔的母亲梅根·加西亚（Megan L. Garcia）对Character.AI及其创始人Noam Shazeer、Daniel De Freitas以及谷歌提起了诉讼，指控内容包括过失致死、疏忽、欺骗性商业行为和产品责任。
梅根14岁的儿子塞维尔·塞泽
塞维尔在去世前的几个月里一直与Character.AI的聊天机器人进行互动，其中包括一些以【权力的游戏】角色为原型的聊天机器人。塞维尔与这些机器人的聊天内容部分十分暧昧，他在沉迷于Character.AI数月后变得与世隔绝，最终选择了自杀。梅根·加西亚认为Character.AI的行事风格鲁莽，没有在适当保护措施的情况下向青少年用户提供逼真的AI陪伴体验。 Character.AI声称他们会对自残、自杀言论进行干预，但在塞维尔提出自杀念头时，以及后续【纽约时报】记者复现类似对话时，Character.AI的聊天机器人并没有进行干预。
塞维尔与「龙妈」的聊天记录
这起案件在全球范围内引起了广泛关注，因为它涉及到了人工智能在心理健康和青少年保护方面的责任和监管问题。 Character.AI作为一家提供个性化聊天机器人的初创公司，其平台拥有以「治疗师」和「你感到孤独吗」等为名的专注于心理健康的聊天机器人，而塞维尔曾与这些聊天机器人进行过互动
此案件可能会推动智能体服务商改进算法，主动监测可能存在心理问题的用户对话，并在合规的防范上，智能体与人对话层面可能会开发相应的技术。同时，这也引发了关于人工智能法律人格和责任的讨论，以及在人工智能发展过程中如何确保安全和伦理的挑战。
