专家解读｜完善人工智能生成合成内容标识方法 构建健康的信息网络生态环境

随着生成式人工智能技术快速发展，利用人工智能技术生成或合成文字、图像、音乐、视频、3D等数字内容成为网络空间内容的主要生产方式，不断为数字经济、产业发展甚至社会变革注入强大动力。然而，伴随内容生成合成门槛的不断降低，新技术的滥用也对网络空间治理提出了更大挑战。当前，中美欧等均探索将内容披露和标识义务入法，国内外多家互联网公司也逐步推进标识嵌入和管理举措，内容标识已然成为全球打击虚假有害信息的通行做法。为顺应这一实践趋势和产业需求，国家互联网信息办公室等部门适时发布《人工智能生成合成内容标识办法》（下称《办法》）及配套国家标准《网络安全技术 人工智能生成合成内容标识方法》（下称《标识方法》），全方位、多层次地规范人工智能内容标识要求和方法，迈出了完善我国人工智能治理制度的重要一步。

一、问题导向，破解人工智能生成合成内容新需求新风险

立足于生成式人工智能健康发展和规范应用，《办法》以问题为导向，通过系统性、创新性制度设计，全面回应了对人工智能生成合成内容标识的要求。

一是先行提出生成合成内容标识的中国方案。针对人工智能内容生成合成带来的颠覆性风险挑战，国际层面也在不断探索内容标识方法和路径。欧盟2024年8月正式生效的《人工智能法案》规定了要确保人工智能生成合成内容的透明度义务，要求平台添加强制性水印。美国加州2024年8月发布《数字内容溯源标识法案》，要求在人工智能生成物中嵌入可溯源数据，以确保内容来源的透明度。国际电信联盟2024年7月发布《检测深度伪造和生成式人工智能：人工智能水印和多媒体真实性标准研讨会的报告》，包括内容标识在内，初步探讨深度合成内容检测的标准协作安排。《办法》根植于我国发展实践，立足长远、着眼前瞻、行动快速，率先通过标准完善补充生成式人工智能综合治理机制，有力支撑了科技向善的治理理念，为世界贡献发展与安全并行的人工智能治理中国方案。

二是着力加强服务商生成合成内容标识的规范性。随着人工智能生成合成内容工具的普及化和可及化发展，技术应用的门槛较之前大大降低。早在2022年中央网信办等就发布了《互联网信息服务深度合成管理规定》（以下简称《规定》），明确指出深度合成服务提供者应当在生成或者编辑的信息内容的合理位置、区域进行显著标识，向公众提示深度合成情况。但《规定》主要明确了需要添加标识的情况，对于添加标识的位置、字型和表达并未做出具体要求，因此各类企业在实施过程中出现了文本内容显式标识不明显、难察觉，音频、视频等内容显式标识未插入、浅提示，隐式标识少信息、难校验等问题，对于落实监管提出了挑战。出台《办法》，是进一步推进生成合成内容标识工作的必要举措，对规范互联网信息服务深度合成管理、解决生成合成内容标识突出问题、推进信息网络生态环境治理意义重大，影响深远。

三是进一步完善生成式人工智能监管问责体系。生成式人工智能生成合成内容涉及多种类型的主体，清晰界定各主体义务更有利于压实主体责任，便利技术检测实施，进而落实精准问责。《办法》不仅界定了人工智能生成合成内容的基本概念，更针对服务提供者、传播平台、应用服务分发平台和用户分别规定了具体标识要求，为各相关主体落实合规指明了方向。由此，《办法》在现行责任制度作出补充，充分细化了《规定》提出的深度合成服务提供者和技术支持者行为规范，为促进新技术新应用的规范发展提供了有益范例。

二、明确要求，促进人工智能生成合成内容精细化治理

人工智能生成合成内容不仅包括文本、图像、音频、视频等多种表现形式，更在“元宇宙”等交互式、沉浸式场景中提供了更多实现方案。《标识方法》对于人工智能生成合成内容进行了全方位覆盖，并且进一步明确了《办法》要求和具体操作指引。

一是区分显式标识和隐式标识规范要求。为满足当前可感知和不可感知的两类标识方法需要，《标识方法》清晰阐述了各自的关键要素要求，对于显式标识主要围绕文字要素、位置、字型、颜色、音频节奏、视频像素和交互提示等提出要求，对于元数据和内容隐式标识提出生成合成标签要素、服务提供者要素和内容编号要素等关键指引。

二是列举显式标识典型应用场景。《标识方法》通过列举式的方式对于显式标识的应用场景做出了进一步细化，在《规定》中提到的五类显著标识应用场景之外加以补充，包括文生图片等图片内容生成服务；音乐等音频内容生成服务；文生视频、图生视频等视频内容生成服务。新列举的三类典型应用场景属于2022年后迅速发展起来的新型生成合成内容形式，尤其是ChatGPT、Sora展示出视频内容生成的强大潜能，在《标识方法》囊括此三类典型应用场景有利于针对性、前瞻性开展监管，符合生成式人工智能的技术原理与产业需要。

三是规范元数据隐式标识格式要求。此前生成合成内容隐式标识方法在不同规模、不同技术水平的企业间应用各不相同，标识的标签信息也未有一致，这就导致识别隐式标识对于监管主体和内容平台而言面临挑战。《标识方法》为解决这一问题，对于隐式标识扩展字段关键词和应包括的标签、编号、预留字段的值等添加了具体说明，为行业统一、稳定、持续落实隐式标识要求提供了有效措施。

四是展示显式和隐式标识各要求对应示例。《标识方法》以图片示例的形式对于各类显式和隐式标识要求进行了展示，有助于企业直观了解标准要求，避免因文字表述引发的模糊和歧义，从而推动行业协同落实，提升治理效能。

三、守正创新，兼顾内容生成合成服务管理与技术创新应用

人工智能生成合成技术应在安全的前提下规范使用、加速发展，以高水平的治理保障高质量发展。《办法》及《标识方法》充分考虑“用”和“管”两侧需求，最大限度减少内容标识对于用户使用的影响，推动企业自主自愿展示标识。一是提供多种标识方法，适应更多产品形态。《标识方法》对于文本内容显式标识创新提出角标形式，仅需在内容末尾加注角标“AI”即可高效满足要求，对于音频内容则首次提出音频节奏标识，在音频适当位置加入“短长短短”节奏的摩斯码表示即可达到提示作用。此类标识方法不仅对于企业而言便于打造不同产品样态，也能保障用户使用体验和认知效果，在实现监管目的的同时也为技术发展提供了有效保障。二是划分不同主体责任，精细化避风港原则适用。《办法》虽然将标识添加的责任主要施加于服务提供者和上传内容的用户，但未对传播平台和应用分发平台实施“一刀切”式的避风港规则。《办法》采取一种更为精细化的路径，详细规定传播平台应当对文件元数据中的扩展字段进行核验，提示用户生成合成内容信息，并在文件元数据中添加传播要素信息；应用服务分发平台应在应用程序上架或上线审核前核验服务提供者是否按要求提供生成合成内容标识功能。此举有助于适当调整服务提供者、使用者和传播分发平台的义务分配，避免相关平台“隐身”于深度合成监管体系，从而真正实现齐抓共管、协同共治的治理机制，有效维护健康向善的信息网络生态环境。（作者：中国信息通信研究院人工智能研究所所长 魏凯）

专家解读｜打造生成式人工智能可信生态的技术基石

生成式人工智能技术因ChatGPT的爆火而获得了社会各界的广泛关注，并在近年来取得了突飞猛进的发展。然而，其强大的学习与生成能力也带来了诸如恶意输出、版权侵犯、深度伪造等热点安全问题。2023年10月18日，习近平主席在第三届“一带一路”国际合作高峰论坛开幕式主旨演讲中提出《全球人工智能治理倡议》，指出“人工智能治理攸关全人类命运，是世界各国面临的共同课题”，应当“共同做好风险防范，形成具有广泛共识的人工智能治理框架和标准规范，不断提升人工智能技术的安全性、可靠性、可控性、公平性”。在此背景下，国家网信办发布了《人工智能生成合成内容标识办法（征求意见稿）》（以下简称《办法》）以及配套强制性国家标准《网络安全技术 人工智能生成合成内容标识方法（征求意见稿）》（以下简称《标准》）。《办法》、《标准》的提出，旨在应对人工智能技术发展带来的新型挑战，通过构建标识验证技术体系，有效识别和管理合成内容，保障信息的真实性与公正性，维护技术的稳定发展和社会秩序。

　　一、规范内容标识，防范误解与滥用风险

　　随着人工智能技术的快速发展，AI生成合成内容的逼真度不断提升，其与真实信息的界限日益模糊。这种高度仿真的内容不仅容易造成公众误解，更有可能被不法分子利用，对个人隐私、组织声誉以及社会稳定、国家安全产生巨大危害。《办法》和《标准》立足于规范化人工智能生成合成内容的标识方法，明确了使用的技术手段和基本目标，并提出了一系列的检测手段和添加目标，解决了当前人工智能面临的诸多问题。

　　首先是人工智能生成合成内容混淆误认的问题。当前，公众在获取和传播信息时，常常难以分辨由AI生成的内容，导致公众错误传播。为防止AI生成内容被错误传播或被公众误认为真实信息，《标准》采用显式标识的方法，在生成内容的显著地方提示用户该内容为人工智能生成合成。这种措施旨在提高公众的辨识能力，促进信息传播的真实性和可靠性，同时也为内容创作者和合规检测平台提供了明确的操作指南。

　　其次是AI生成内容可能被恶意使用或滥用的问题。当前生成式人工智能性能出色，使用门槛低，任何人都可能轻易生成大量AI生成的内容，从而增加了滥用或恶意使用的风险。《标准》采用隐式标识的方法，在不影响内容呈现的同时，在生成内容中嵌入可追溯信息。我们可以在发现内容被滥用或恶意使用时，迅速追溯其来源，确定责任主体，从而有效遏制恶意使用行为，维护网络空间秩序。同时，这种方法也为后续的监管执法、纠纷处理提供了关键的技术支持。

　　二、标准化多模态标识与全周期监管，推动AI健康发展

　　生成式人工智能重塑了人类与技术的交互方式，改变了知识信息的生产方式，涉及范围广，应用模态多，涉及场景复杂。不充分、不协调、不完整的标识技术与应用覆盖将会对网络信息空间安全带来巨大隐患。

　　《办法》和《标准》充分结合人工智能生成合成内容的典型应用场景，围绕相关关键技术环节提出多项条款，为应对多种可能存在的风险场合提出合适的生成标识方法，有效推动生成式人工智能技术健康发展。针对不同场景，《标准》以显式标识为主，隐式标识为辅，围绕相关关键技术环节提出多项举措以加强监管治理：一是明确了显式与隐式标识结合的方案。未经监管的生成内容存在难以辨别真假、缺乏透明度且易于构造误导信息的潜在威胁，《标准》在显式上注重标识的易添加和易检测，在隐式上注重标识的安全性和不可篡改性，从而保证生成内容溯源可查以降低风险。二是确立了多种模态下的治理手段。多模态技术发达且不同的模态具有独特的数据表征，《标准》针对主流的生成式人工智能应用音、视、图、文四种模态各自独特的应用特点提出相应的约束，从而提高各界对生成内容的识别能力。三是覆盖了人工智能生命全周期。《标准》确保从制作、发布、下载的每个阶段都符合相应的安全要求，提出各个环节下严格的技术规范和管理措施，有助于保障人工智能技术在发展阶段始终符合隐私保护和安全防控的要求，以全方位指导规范生成式人工智能合规应用。

　　三、推进开放产业生态建设，作出中国回答

　　《办法》和《标准》的制定和出台，是我国推进生成式人工智能服务领域治理、促进产业规范健康发展、引导技术向善的重要举措。在生成式人工智能发展的新阶段，如何划定合理的安全红线，建立安全、开放、公平、符合国情的人工智能产业生态，推动人工智能技术的健康发展，成为了管理者与相关从业者即将面临的一大难点。

　　针对这一问题，《标准》作出了回应。一是加强技术，提升多模态全周期场景下人工智能生成合成内容的标识与检测能力，指导相关安全平台的建设。二是提升管理，《标准》积极引导企业正确理解并落实强制性国家标准要求，帮助部门督促指导当地企业贯彻强制性国家标准要求，提升整体监管效能。三是落实“包容审慎”，正视中国的技术发展与产业现状，积极听取群众的建议，完善制度与政策。在人工智能技术快速发展的时期，我们要平衡安全监管与创新引导，推动健康发展，促进社会活力，建立良好的产业生态。《办法》和《标准》通过明确发展与安全并重的原则，构建生成式AI的安全治理环境，帮助公众识别人工智能生成合成内容，保障信息安全，促进协同治理与良性发展。

　　生成式人工智能拥有巨大的潜力，很可能在未来对人类经济、政治、社会、文化、军事各方面产生深刻影响。面对核心技术革新带来的巨大挑战，《办法》和《标准》对于人工智能产业的开发部署、检测评估、合规管理以及安全应用有着重要的指导作用，让中国能够在全球智能技术浪潮中先行一步。我们期待着《办法》与《标准》的实施能够为后续人工智能的立法积累中国经验，为全球人工智能治理贡献中国智慧，推进全社会共同治理，建立开放和谐的网络空间命运共同体。（作者：浙江大学计算机科学与技术学院院长，区块链与数据安全全国重点实验室常务副主任 任奎）

来源：“网信中国”微信公众号

审核：郦陈雪

编发：马 凯

素材整理：吕昕洺、陈卓