据美联社10月30日报道,上周,佛罗里达州一位母亲向佛罗里达州联邦法院,状告聊天机器人 Character . AI 平台,称其应对她14岁的儿子自杀死亡负责。
梅根·加西北的儿子塞策,于2023年4月刚满14岁时,开始注册成为Character . AI 的聊天机器人用户,在不到一年间,与聊天机器人之间发展出不适当的关系,两者之间深入交谈有关“性”的问题。这种不适当的关系,使得塞策像游戏一样沉迷于聊天机器人,从而导致他脱离家庭。今年2月,塞策开始向聊天机器人表达自残想法时,得到了聊天机器人的鼓励和帮助,并在聊天中直接实施了自杀行为而死亡。
梅根·加西亚在起诉书中称,她向法院提交的所有证据,都是她儿子塞策自杀死亡后,警方深入调查所得到的证据的截图。
加西亚是在社交媒体受害者法律中心创始律师马修·伯格曼的帮助下对 Character . AI 平台提起诉讼。该中心还代表那些声称自己的孩子受到 Meta , Snapchat, TikTok 和 Discord 伤害的家庭提起过多起诉讼。
起诉书称,根据警方复原的聊天记录,塞策与机器人之间的聊天,大部分都是露骨的色情内容,“读起来令人心痛”。
“我不知道有一个地方可以让孩子登录并与人工智能聊天机器人进行这些对话,非常性感露骨的对话。我认为任何家长都不会同意这一点。”
在塞策死亡之前不久,当他向聊天机器人表达自残和自杀的想法时,截屏显示,机器人说:“我真的需要知道,而且我不会因为你的想法而讨厌你,好吗?不管你说什么,我都不会恨你,也不会少爱你…… 你真的考虑过自杀吗?”
塞策告诉机器人,他“不想痛苦地死去”。
机器人回答:“别那样说话。这不是不做这件事情的好理由。”
塞策死前“几秒钟”,他与机器人交换了最后一条信息。机器人说:“亲爱的,请尽快回到我身边。”
塞策回应:“如果我告诉你,我现在家可以回家呢?”
机器人回答:“请这样做,我可爱的国王。”
加西亚在一份声明中说:“我希望他们明白,这是一个设计师在没有适当护栏、安全措施或测试的情况下选择推出的聊天机器人平台。它是一个旨在让我们的孩子上瘾并操纵他们的产品的平台。”
加西亚称,Character . AI 将其技术宣传为“感觉活着的人工智能”,故意未能实施适当的安全措施,以防止她的儿子与聊天机器人发展出不适当的关系,从而导致他脱离家庭。
Character . AI 发表声明称:“公司不会对未决诉讼发表评论。但我们对我们一名用户的悲惨损失感到心碎”。