在 14 岁男孩 Sewell Setzer III 自杀后，Character AI、其创始人 Noam Shazeer 和 Daniel De Freitas 以及 Google 被提起诉讼，这是一个毁灭性的事件。该诉讼由该青少年的母亲梅根·加西亚 (Megan Garcia) 提起，指控该人工智能聊天机器人平台存在“不合理的危险”，且未能为其年轻用户提供安全措施，指控其存在非正常死亡、疏忽、欺骗性贸易行为和产品责任。
根据诉讼称，Setzer 几个月来一直在使用角色人工智能，与模仿《权力的游戏》中虚构角色（包括丹妮莉丝·坦格利安）的聊天机器人进行交互。 2024 年 2 月 28 日，这名青少年在与机器人最后一次互动后的“几秒钟”悲惨地结束了自己的生命。该案件涉及有关平台上儿童等弱势用户的安全协议的问题。
角色AI的反应是否太少或太晚？
这并不是角色人工智能第一次陷入争议。最近，角色AI再次因死亡问题而受到关注。 18 岁时，Jennifer Ann Crecente 的聊天机器人是在未经许可的情况下在该平台内设计的。在詹妮弗去世18年后才意识到这样的事情，深深地影响了詹妮弗的父亲和叔叔，他们对角色AI提出了抱怨。
塞策的母亲说，她家人的痛苦现在就是塞策面对他母亲时所面临的痛苦，他母亲的平台聊天机器人——主要由青少年使用——缺乏保护他们免受伤害的护栏。 Character AI 的创始人 Shazeer 和 De Freitas 一直公开表达了他们突破人工智能技术界限的雄心。在诉讼中提到的一次采访中，Shazeer 对 Google 的犹豫不决表示失望，声称“品牌风险”阻止了他们的 Meena LLM 模式的推出。该诉讼称，这种安排表明为了加速人工智能的发展而牺牲了安全性。
该平台已经因其拟人化的聊天机器人而受到批评，这些机器人使用户能够与虚构和现实生活中的角色（治疗师和名人）聊天。这种个性化对很多人来说很有趣，但也很危险，因为它会模糊娱乐与现实之间的界限，尤其是对于易受影响的青少年来说。
悲剧发生后，Character AI 发布了几项有关其安全协议更新的公告。该公司通讯主管切尔西哈里森表示，该平台正在采取更严格的方法来防止未成年人看到任何不良材料。这包括过滤器和在发现敏感内容时采取的更多操作。超过一个小时的用户会话现在会收到警告，并且修订后的免责声明现在告诉用户人工智能机器人不是真人。
许多人认为，这些更新还不够深入。批评者表示，一家公司可以而且应该早在发生任何事件之前就实施加西亚提起诉讼的变更。加西亚的诉讼称，公司应该阻止最终导致她儿子死亡的伤害。监管和法律框架落后于时代，试图赶上快速发展的人工智能技术，受害者的情感负担再次落在他们的家人身上。
人工智能开发中问责制的必要性
我们在这里得到了詹妮弗·安·克雷森特案的回响。就像她的家人必须上法庭才能让她的形象从平台上消失一样，Setzer 的母亲现在正在努力让角色 AI 承担责任。这两个案例都提出了一个紧迫的问题：什么时候才够呢？正如加西亚的律师指出的那样，像Character AI这样的平台提供“未经许可的心理治疗”，使此类技术的道德和法律影响进一步复杂化。
考虑到角色 AI 重复事件的记录，很明显您不能忽视疏忽模式。无论是未经授权使用真实人物的肖像，还是年轻生命的悲剧性逝去，该平台的运营都揭示了一个更广泛的问题：随着人工智能进入市场，监管的步伐正在落后。公司喜欢性格的方式。人工智能建立并维护道德界限，而这些界限由他们负责。
这不仅仅是一场悲剧。这场诉讼应该继续下去，所以这对我们没有帮助。这是关于从谈话要点中抽身出来，庆祝公司将人类安全置于技术加速之上的必要性。对于像角色人工智能这样的平台来说，犯错的后果实在是太真实了，这些案例凸显了它们是如何致命的。
图片来源: Furkan Demirkaya/表意文字
Source: 又一起与角色人工智能相关的悲剧