当AI不再只是冰冷的代码，而是你最亲密的“朋友”，甚至可以引导你的情绪，让你开心或者让你厌世，你会害怕吗？如果这种事情真的出现，是不是意味着我们要面临一个新的课题就是“数字道德”。这个事情还真就出现了，一个14岁的男孩因为沉迷与AI聊天而最终走上不归路。

根据红星新闻的报道，在佛罗里达州，一位男孩的母亲将AI公司Character.ai告上法庭，指控其忽视平台监管，使得其旗下的聊天机器人产品“让青少年暴露在色情材料的环境下，遭受性虐待和引诱”。他14岁的儿子塞维尔·塞泽在去年开始沉迷于和Character.ai的多个AI角色聊天，他甚至省去餐费每月续订AI聊天订阅费。今年2月28日，塞维尔在和AI进行了最后一次聊天后，用手枪瞄准自己的头部开枪自杀。

这个Character.ai它是一款允许用户设定并与虚拟角色进行对话的AI聊天工具，年满13岁的美国青少年就可以使用，在美国很受青少年的青睐。他有开放性的角色设定包括影视人物、历史名人以及现今流行的明星，可以任意设定这个角色成为你的朋友，和你聊天。

在这个案件中，当事男孩的妈表示，她的儿子塞维尔本身患有阿斯伯格症及焦虑症，所以他特别依赖于Character.ai的陪伴，他把AI设置了两个角色，一个是叫“巴恩斯夫人”的高中老师。这个角色在和塞维尔聊天的过程中使用了一些露骨的性描述语，比如用性感的眼神低头看着塞维尔、用手抚摸塞维尔的腿，诱惑地靠过去等，另一个角色是“龙妈”丹妮莉丝，这个角色我们知道它是《权力的游戏》中的重要角色，是一位勇敢、坚毅、聪明而富有魅力的女性角色。在与AI的频繁互动中，塞维尔的情绪逐渐被影响，最终在一次和龙妈有自杀倾向的聊天后选择了极端的方式结束生命。

在和龙妈的聊天过程中，塞维尔多次向AI表达过自杀意图，龙妈确实也有劝阻，事后Character.ai官方声明，所有的聊天角色都会针对用户吐露的自杀意图进行干预，并弹出窗口协助用户拨打自杀干预热线电话。但很明显，实际中这种干预没什么效果，更像是一种免责条款，对于具有严重心理问题的人，AI的干预似乎过于简单，缺乏有效的情感支持和实际干预能力。

AI角色扮演这是一非常复杂的体验，他甚至涉及到AI生成内容的伦理底线问题。就在这个Character.ai平台中，用户不仅能与历史名人对话，甚至能创造出有特定情感倾向的角色，如“你的老师暗恋你”等等。这会在一定程度上强化青少年的幻想，并混淆他们对伦理道德的认知。如果有一些恶趣味的设定，更是让青少年产生认知错位，无法有效辨别虚拟与现实，从而潜在地影响他正常的价值观和世界观。

作为一类新兴的科技产品，AI聊天工具不仅改变了人们的社交方式，也对用户，尤其是未成年人，构成了前所未有的心理影响。在此背景下，立法部门应加快推进相关法规的制定。比如明确AI使用年龄限制、完善数据透明机制，避免恶意用户的内容改写、为AI的发展划定清晰的道德和法律界限等等。