前有雷军被换声，后有靳东遭换脸。
3月4日，全国人大代表，小米集团创始人、董事长兼CEO雷军建议针对“AI换脸拟声”问题推出单行法，防范技术滥用，并称自己就是受害者。
去年10月，雷军专门发布视频，表示有网友跟自己投诉国庆长假被“雷军语音”连续骂了7天，让自己非常困扰，呼吁大家不要再恶搞雷军AI语音。
无独有偶，第二天3月5日，在政协小组讨论会上，全国政协委员、演员靳东回应了AI换脸导致的诈骗问题，他表示，“一些喜欢我影视剧的观众，被AI换脸视频欺骗得很惨，这个性质非常恶劣，希望能建立更好的规则。”
他在提案中特别提到，大量的中老年女性因AI换脸诈骗遭受财产与情感双重伤害，例如有人被伪造的“假靳东”诱导投资、转账，甚至引发家庭破裂。
这已经是他第二年推动《AI换脸拟声》立法，他呼吁对所有的AI生成内容添加不可篡改水印，建立AI生成内容黑名单库，实时拦截高仿账号，并建立AI诈骗转向补偿基金，平台按比例赔付受害者损失。
AI换脸技术并不复杂，只需要一张正脸照片，就能将视频中的人物替换成自己的脸，可以说是一键换脸。
随着AI技术的发展，AI换脸、AI拟声已经成了重灾区。
中老年女性深受其害
同一天，古天乐和林峯发布声明，称有线上游戏平台利用AI技术，将自己的肖像、声音及过往的视频片段合成制作为带有赌博性质的代言宣传片。
宣传片中刻意模仿了古天乐的“港普”口音，但整体画面制作粗糙，AI痕迹明显。
而早在几年前，“真假靳东”的新闻就闹得沸沸扬扬。
2020年，当时AI换脸还未兴起，江西一位60岁大妈因沉迷短视频上的“假靳东”账号，声称“靳东已向我求婚”，离家出走赴长春“寻夫”，后被家属劝返。
2023年，江西61岁的黄女士刷到经AI换脸合成的“靳东”视频，被对方以“恋爱”为名诱导其转账，累计骗取6.8万元，黄女士甚至抵押了房产，称“愿为他付出一切”。
结合公安部数据，去年全国AI换脸诈骗案中，中老年女性占比62%，单案平均损失5.3万元，最高达120万元。
与高“收入”形成对比的是，AI换脸诈骗的门槛之低。
明星的照片、影像、声音作为公开素材，可以0元使用；3.5万元即可定制换脸模型；仅10分钟就能合成一条定制化视频。
年轻人拿AI换脸整活
而在以年轻人为主的平台，“AI换脸拟声”基本与诈骗两字无关。
b站上，这是粉丝对明星另一种表达喜爱的方式。
以“AI换脸”和“AI翻唱”为关键词搜索，可以找到一大堆制作精美的视频，其中不乏百万播放量。粉丝通过AI创作满足了自己的好奇心，也起到了娱乐效果。
想要完全禁止AI换脸和AI拟声是不可能的，但需要在自由创作和安全可控之间找到平衡，如果不能把握好这个度，那技术滥用的代价将由全社会共同承担。
AI生成软件要守好第一道防线，加强敏感词过滤、限制生成风险场景、防止模型被盗用；内容发布平台加强审核、举报机制；政府部门加强法规建设、提高对AI内容的监管；用户自身也要不断提升对AI的认知。
当下只有各相关方行动起来，才能防止AI向失控化发展。
