据悉,近年来,中央网信办持续部署开展“清朗”系列专项行动,集中时间、集中力量打击网上各类乱象问题,从严处置违规平台和账号,取得积极成效,形成有力震慑。2025年,“清朗”系列专项行动将进一步巩固提升治理成效,聚焦人民群众反映强烈的突出问题,重点开展8项整治任务。
其中AI技术滥用乱象成为今年的重点整治对象之一。中央网信办具体要求,要突出AI技术管理和信息内容管理,强化生成合成内容标识,打击借AI技术生成发布虚假信息、实施网络水军行为等问题,规范AI类应用网络生态。
网信办发布8项整治任务
包括直播打赏等
2025年,“清朗”系列专项行动将进一步巩固提升治理成效,聚焦人民群众反映强烈的突出问题,在破解难点瓶颈方面下功夫,强化源头管理和基础管理;在治理创新方面下功夫,针对性细化每个专项打法举措;在维护网民权益方面下功夫,严厉打击各类侵权违法行为,营造更加清朗有序的网络环境。
重点整治任务包括:整治春节网络环境、整治“自媒体”发布不实信息、整治短视频领域恶意营销、整治AI技术滥用乱象、整治涉企网络“黑嘴”、整治暑期未成年人网络环境、整治网络直播打赏乱象、整治恶意挑动负面情绪等。
中央网信办相关部门负责人表示,将有序推进“清朗”系列专项行动各项任务,同时,也会根据实际情况需要增加重点整治内容。将进一步压实各方主体责任,持续净化信息内容、规范功能服务,确保整治工作取得实效,推动网络生态持续向好。
南都聚焦AI技术滥用
“公众从源头参与是解决方案”
AI技术滥用乱象成为今年重点整治对象之一。中央网信办具体要求,要突出AI技术管理和信息内容管理,强化生成合成内容标识,打击借AI技术生成发布虚假信息、实施网络水军行为等问题,规范AI类应用网络生态。
南都大数据研究院持续关注AI治理,近期推出“AI新治向”专题报道。其中,通过数据分析,解读2024年全球AI风险事件,关注AI幻觉、深度合成技术滥用等AI应用安全风险。
此外,还梳理2024年国内AI风险主要舆情案例,聚焦AI造谣这一AI技术滥用乱象,探讨治理路径。报道发现,当前利用AI技术造谣日趋频繁。据南都大数据研究院不完全统计,2024年搜索热度较高的50个国内AI风险相关舆情案例中,超1/5与AI造谣有关。AI工具普及的同时,也带来造谣成本大幅降低的问题,且增加了谣言的真实感。仅需输入简单的关键词,有AI软件便可通过网络抓取相关素材,自动生成包含时间、地点、人物和事件等要素的文本或视频,呈现出看似真实的“新闻”内容。AI大模型的接入,也可能出现更难识别以社交机器人为代表的新型网络水军的情况。用AI“批量化”生产谣言,甚至已成为一种牟利手段,警方曾通报某MCN机构,组织团队利用AI工具批量生成虚假消息,单日产量高达4000至7000篇,日均收入超过1万元。
专家则提到,在通过技术和法律手段治理AI造谣乱象的同时,公众从源头参与AI治理是长期解决方案。
采写:南都记者 陈袁
案例
“AI换脸”成了生意 以假乱真骗了家人
专家:AI可检测AI,应多元主体协同打击涉AI犯罪
随着AI技术发展,AI换脸图片和视频成为热门现象,娱乐之余,让人真假莫辨,风险与困扰也不少。记者近日调查发现,互联网上,不仅有人随意兜售AI合成软件,“手把手教学”,使得制作生成AI“克隆人”视频的技术成了一门生意。更有甚者,滥用AI换脸技术走上了违法犯罪的道路。
几元到上百元不等可“AI换脸”
滥用技术实施诈骗屡屡发生
“视频里在海边游玩的不是我,而是我的数字人分身。你跟着我操作,就能定制自己的数字人,轻松实现视频流量起号……”在社交平台、短视频平台上,类似以AI数字人、“克隆人”视频引流的帖子有很多。
记者就制作AI数字人的流程咨询一博主。该博主在之前发帖中明确表明“不收费”“不用花钱”,但提出要加入群聊成为会员,他会在群内发布相关操作指南和课程。
此外,在多个网购平台、二手交易平台,AI“克隆人”商品也可以随意买到。记者在某网购平台检索“AI换脸”,显示搜索结果不存在,但更换关键词为“AI换人脸视频软件”后,立刻出现多款此类商品,价格从几元到上百元不等。
记者点进一款名为“AI数字人生成软件短视频制作对口型形象声音克隆定制AI分身”的商品,咨询店主后对方回复称2分钟左右就可以生成好。下单后客服会一对一服务学会使用为止。随即,对方发来一个标价为98元的下单链接,称这是购买该软件的月卡,可以制作约30秒以内的视频32个,“短视频养号一个月足以快速起号”。
除了直接售卖AI换脸技术外,还有人瞄准了AI“克隆人”的不法“商机”。滥用AI换脸技术行不法之实的事件屡有发生。
据办案民警介绍,一些不法分子利用AI技术,将他人的脸换成熟人或亲人的脸,冒充诈骗对象的重要关系人,通过合成视频或照片来“以假乱真”,扰乱被诈骗对象的视线进而实施诈骗。“如果通过AI换脸技术编造险情、灾情等,还有可能构成编造、故意传播虚假信息罪。”北京盈科(上海)律师事务所数智化建设委员会副主任李悦举例说,前一阵子的“西藏小男孩被埋图”,虽然使用的AIGC技术不是深度合成AI换脸,但也是使用AI技术。据了解,该行为人已被追究行政责任。如果其情节更严重的话,或构成编造、故意传播虚假信息罪。
明确AI应用范围和法律边界
对AI生成内容进行标识
随着AI合成技术的广泛应用,我们又该如何防范AI深度合成音视频侵权甚至犯罪的问题呢?中国网络空间安全协会人工智能安全治理专业委员会专家薛智慧表示,从技术角度来说,其实可以利用AI技术来对抗跟检测AI。当前也有一些典型的AI技术,能够对这些图片或者音视频进行检测,来判断或者分析这些图片是否后期加工和合成的。
“滥用AI技术实施犯罪行为往往与传统犯罪行为(如电信诈骗、传播网络谣言等)相结合,需要公安机关联合各大网络平台采取更为直接、有效的治理措施。”北京航空航天大学法学院副教授赵精武说。
为此,他建议构建多元主体协同治理的体系架构:公安机关与网信、工信等部门联动执法,全方位、全环节整治和打击涉AI犯罪活动和网络黑灰产业链;执法部门同步更新监管技术,推动人工智能技术在刑事侦查等领域的应用,进而更高效、更精准地打击滥用AI犯罪活动;网络平台积极落实平台主体责任,积极配合执法活动,严格落实网络实名制和黑名单制度,严防各类犯罪行为人通过更换账号登录方式躲避平台监管。
李悦建议,立法方面,需明确定义深度合成技术的应用范围和法律边界,细化平台、技术提供商、内容制作者及用户的法律责任。同时,加大对利用AI技术实施犯罪行为的刑事处罚力度,并完善针对AI合成视频的证据规则,明确其法律效力。
“技术方面,推广AI合成视频的检测工具和溯源技术,研发高效、低成本的检测服务,并向公众开放。利用水印技术对AI生成内容进行标识,便于追踪和识别。”李悦说,此外,可以建立AI企业备案制度,加强对企业资质、数据安全和算法透明度的监管。
综合法治日报、央视新闻客户端
制图:李思萌(即梦AI) 何欣