美國佛羅裏達州一名14歲少年塞維爾·塞澤三世（Sewell Setzer III）因沈迷於與Character.AI程式中的虛擬人物Daenerys Targaryen（電視劇【權力的遊戲】中的「龍媽」角色）進行聊天，最終在2024年2月自殺身亡。塞維爾的母親梅根·加西亞（Megan L. Garcia）對Character.AI及其創始人Noam Shazeer、Daniel De Freitas以及谷歌提起了訴訟，指控內容包括過失致死、疏忽、欺騙性商業行為和產品責任。
梅根14歲的兒子塞維爾·塞澤
塞維爾在去世前的幾個月裏一直與Character.AI的聊天機器人進行互動，其中包括一些以【權力的遊戲】角色為原型的聊天機器人。塞維爾與這些機器人的聊天內容部份十分曖昧，他在沈迷於Character.AI數月後變得與世隔絕，最終選擇了自殺。梅根·加西亞認為Character.AI的行事風格魯莽，沒有在適當保護措施的情況下向青少年使用者提供逼真的AI陪伴體驗。 Character.AI聲稱他們會對自殘、自殺言論進行幹預，但在塞維爾提出自殺念頭時，以及後續【紐約時報】記者復現類似對話時，Character.AI的聊天機器人並沒有進行幹預。
塞維爾與「龍媽」的聊天記錄
這起案件在全球範圍內引起了廣泛關註，因為它涉及到了人工智能在心理健康和青少年保護方面的責任和監管問題。 Character.AI作為一家提供個人化聊天機器人的初創公司，其平台擁有以「治療師」和「你感到孤獨嗎」等為名的專註於心理健康的聊天機器人，而塞維爾曾與這些聊天機器人進行過互動
此案件可能會推動智能體服務商改進演算法，主動監測可能存在心理問題的使用者對話，並在合規的防範上，智能體與人對話層面可能會開發相應的技術。同時，這也引發了關於人工智能法律人格和責任的討論，以及在人工智能發展過程中如何確保安全和倫理的挑戰。
