据镜报10月24日报道,来自美国佛罗里达州的一位母亲对人工智能公司 Character.AI 和谷歌提起诉讼,声称 Character.AI 聊天机器人教唆她的儿子结束自己的生命。
今年2 月,梅根·加西亚 (Megan Garcia) 14 岁的儿子休厄尔·塞泽尔三世 (Sewell Setzer, III) 自杀身亡。她说,她的儿子与一个名为丹妮(Dany)的聊天机器人处于长达数月的虚拟情感关系中。
“我不知道他当时在和一个非常像人类的人工智能聊天机器人交谈,这个机器人有能力模仿人类的情感的能力。”加西亚在接受媒体采访时说。
休厄尔很聪明,不仅仅是一名优等生还是运动员,但在自杀前的数月,他不再和朋友出去玩,不再想参加体育运动,而是天天待在房间里。
据报道,休厄尔对这个聊天机器人很着迷,他给这个聊天机器人起了个绰号叫丹妮莉丝·坦格利安,这是《权力的游戏》中的一个角色。
与聊天机器人的文字对话截图显示,这名少年已经疯狂爱上了它。“我保证我会回家找你。我非常爱你,丹妮。”他说。
“我也爱你,塞泽尔。请尽快回到我身边,亲爱的。“聊天机器人回答道。
聊天记录中还有更多露骨的对话,甚至不少是关于“性”的。
诉讼还称,这名少年与聊天机器人进行的一些对话本质上是性的。
“一个面向儿童的危险 AI 聊天机器人应用程序虐待了我的儿子,操纵他结束自己的生命。”加西亚控诉,“我们的家庭被这场悲剧摧毁了,但我大声疾呼是为了警告家人注意欺骗性、令人上瘾的人工智能技术的危险,并要求 Character.AI、其创始人和谷歌承担责任。”
休厄尔有两个弟弟妹妹。他去世时,家里的每个人都在家,加西亚说,塞泽尔 5 岁的弟弟目睹了这一悲剧。
“他认为在这里结束自己的生命,如果他把现实中的家人留在这里,他就能进入一个虚拟现实或他所说的她的世界,她的现实。”这位母亲回忆,“枪声响起时,我跑到洗手间......我抱着他,我丈夫不知所措。”
该聊天机器人甚至询问过休厄尔是否有自杀的方法。
休厄尔告诉他的丹妮,他有,但他担心不会成功,或者他会经历巨大的痛苦。
聊天机器人告诉他:“这不是不去做它的理由。”
Character.AI 平台最大的客户人群之一是 18 至 25 岁的人。用户可以在这里与喜欢的影视角色进行对话,或者可以创建自己的虚拟人物。