青锋
随着三只羊网络科技有限公司因直播带货“香港美诚月饼”等事件涉嫌虚假宣传、欺骗消费者等,被合肥市相关部门公开罚没共计6894.91万元,相关网络平台自9月21日起对“三只羊”旗下账号进行停播处理,和三只羊相关人员表示对购买“香港美诚月饼”的消费者退一赔三,有关网络上流传的“三只羊”卢某某在酒后发表的一段言论,经合肥警方调查核实,真相也已大白。
据合肥警方对外发布的通报,网络上流传的“三只羊”卢某某在酒后发表的“内容牵连公司旗下多位女主播,展现出他对市场与消费者的傲慢态度,以及对相关人士的不尊重”的录音,系25岁的男子王某某利用某AI配音大模型平台生成。合肥警方已对王某某采取刑事强制措施。
青锋注意到,在合肥警方公开王某某利用AI配音大模型平台伪造卢某某及相关女子的音频,形成谣言在网络传播之前,中央电视台午间法制节目就公开了某平台以一女配音员声音为脚本,合成制作相关视频,被仿冒的女配音演员告上法庭,最终法院判决某平台赔偿配音女演员25万元。
透过上述两起案件,似乎给每一个人都提了一个醒,在当下AI以极快速度发展,以及让人意想不到的方式侵入社会和每一个人身边之时,是否都要对AI这个新事物抱有警惕?
据王某某利用的某AI配音大模型平台的负责人介绍,王某某系“利用卢某此前直播片段约30秒的录音进行声音克隆,并通过文本生成了虚假音频”。这就是说,只要每一个人的声音留存到网络上,就都有可能被人通过某AI配音大模型平台克隆出自己涉及各个方面的声音,如欠债,或者婚外情,以及涉嫌违法的言论等都有可能被人伪造出来。
应该说三只羊卢某某因其本身为网红,其声音被人伪造报警后能够引起警方高度重视,得以及时将犯罪嫌疑人抓获归案,及时还其清白。假若说是普通人,恐怕就不可能如此幸运,能够让警方在短时间内破案并公开还自己以清白。
因此,除了相关平台方进一步加强安全管控措施,强化实名认证、敏感词侦测预警、高危内容拦截、可溯源音频水印等措施,确保技术的合法合规应用,不让犯罪分子有机可钻外,每一个人都应该时刻警惕,不要被所谓的“AI换脸”“AI音频”所蒙蔽,更不能让电信诈骗分子靠“AI换脸”“AI音频”诈骗而得逞。