随着生成式AI的爆发，社交媒体上的内容越来越真假难辨，人们很难确信某张照片或视频是真实存在的瞬间，以往的一句“眼见为实”在当下已经需要打上问号。

为应对这一冲击，9月14日，国家互联网信息办公室发布《人工智能生成合成内容标识办法（征求意见稿）》（下文简称《意见稿》），在《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等法律法规上，进一步细化了AI合成内容的标识办法。

“这是全球范围内第一部关于人工智能生成合成内容标识的国家标准，是关于人工智能内容治理机制建设的重要探索，对人工智能内容产业的有序发展和业务规则具有重要的指引意义，也有助于人工智能良性生态的培育。”北京师范大学法学院副教授、中国互联网协会研究中心副主任吴沈括对第一财经表示。

细化内容生成标识

此次的《意见稿》提出，人工智能生成合成内容标识包括显式标识和隐式标识。显式标识是指在生成合成内容或者交互场景界面中添加的，以文字、声音、图形等方式呈现并可被用户明显感知到的标识。隐式标识是指采取技术措施在生成合成内容文件数据中添加的，不易被用户明显感知到的标识。

不同互联网平台的义务不尽相同。垦丁律所创始合伙人朱骏超告诉记者，网络信息服务提供者的义务包括确保显式标识、添加隐式标识；提供网络信息内容传播平台服务的服务提供者的义务包括核验隐式标识、添加提示标识、管理疑似内容，管理疑似内容包括在疑似生成合成内容的文件元数据中添加生成合成内容属性信息、传播平台名称或编码、内容编号等传播要素信息；互联网应用程序分发平台的义务包括核验标识功能，即在应用程序上架或上线审核时，核验服务提供者是否按要求提供生成合成内容标识功能。

具体而言，针对提供生成合成服务的网络信息服务提供者，《意见稿》第四条提出，如果提供《互联网信息服务深度合成管理规定》第十七条第一款情形规定的深度合成服务，可能导致公众混淆或者误认的，应当按要求对生成合成内容添加显式标识。

《互联网信息服务深度合成管理规定》第十七条第一款提到的具体情形包括：智能对话、智能写作等模拟自然人进行文本的生成或者编辑服务；合成人声、仿声等语音生成或者显著改变个人身份特征的编辑服务；人脸生成、人脸替换、人脸操控、姿态操控等人物图像、视频生成或者显著改变个人身份特征的编辑服务等。

显式标识方式根据内容表现形式有所差异。如果是图片，则需在适当位置添加显著的提示标识；如果是视频，则在视频起始画面和视频播放周边的适当位置添加显著的提示标识，可在视频末尾和中间适当位置添加显著的提示标识，等等。

《意见稿》还要求提供生成合成服务的网络信息服务提供者，在生成合成内容的文件元数据中添加隐式标识，隐式标识需包含生成合成内容属性信息、服务提供者名称或编码、内容编号等制作要素信息。同时，提供网络信息内容传播平台应当采取措施，规范生成合成内容传播活动。包括提供必要的标识功能，并提醒用户主动声明发布内容中是否包含生成合成内容等。

如果违反这一规定，未对生成合成内容进行标识造成严重后果的，将由网信等有关主管部门按照有关法律、行政法规、部门规章的规定予以处罚。

新壹科技副总裁陈鹏对记者表示，《意见稿》保护了用户权益，通过显式和隐式标识，用户可以更容易地识别出内容是否由人工智能生成，有助于保护用户的知情权和选择权。另外，通过这一规范能增强内容可信度，减少误导和滥用的可能性。

吴沈括对记者提到，内容标识是目前关于人工智能内容治理中的一种非常重要的机制设计，它对于避免深度伪造带来的安全风险有非常大的价值，且通过标准的统一也有助于引导各方的业务规则、业务设计和业务模式，对于全链条的风险防范具有非常重要的作用，也能有助于公众识别AI内容的真伪和权威性。

汉王科技天地大模型算法负责人彭菲认为，这一办法的出台具有重要意义和积极作用，不仅保护了公民、法人以及其他组织的合法权益，而且维护国家安全和社会公共利益。

“比如数据安全方面，显示和隐式标识有助于提高数据的可追溯性，从而增强数据安全；通过明确标识AI生成的内容，有效防止误导性信息的传播，减少因技术滥用而引发的社会问题。版权管理方面，办法明确AI生成内容的来源和版权归属，维护了创作者的合法权益。”彭菲认为，通过这些标识，用户能更容易识别出合成内容，从而规范和负责地使用这些内容，减少虚假信息的传播。该办法有助于促使行业服务提供者规范地开展业务，推动人工智能技术的健康发展和广泛应用。

防范AI犯罪

“《意见稿》大意是说生成相关内容如图片、视频、文字、语音必须标识说明为AI生成，防止有人恶意造谣、诈骗，引发不良影响的社会舆论，防止相关犯罪发生。之前有人非法用他人头像或者脸部做合成，通过AI转换语音进行诈骗，类似这种恶性事件应该杜绝。”AI视频制作者冯彬告诉记者。

就在8月底，韩国出现多起利用AI换脸伪造女性色情露骨图像的犯罪案，在这背后，犯罪者用深度伪造技术（Deepfake）合成色情照片和视频，并在通信软件Telegram的群聊中传播，参与者多达22万人，引发韩国民众恐慌，有人将其称之为韩国又一“N号房”丑闻。

深度伪造这一技术犯罪，不仅仅出现在韩国，这两年在全球都有出现在国内，今年6月，“男子用AI伪造学生同事近7000张裸照”冲上微博热搜。据央视新闻消息，犯罪嫌疑人用AI“一键去衣”技术，深度伪造淫秽图片近7000张，再每张1.5元卖出，赚了将近一万元。图片涉及女性人数多，包括学生、教师、同事。

冯彬表示，现在多个视频平台都有向视频上传者提供类似“作者声明：内容为AI生成”的标识选项，包括抖音、b站、快手、视频号，但是没有强制创作者选择。据他观察，没有标识为AI内容的视频，平台会识别出一些并标识类似“疑似AI生成”的字段。

冯彬认为，平台在标识、提醒内容是否为AI生成方面，应该更严格一些。相比视频、图片，平台应该更难识别文本是否为AI生成，而从传播效果看，视频可能是“假新闻”更多采用的载体，AI换脸、AI语音这些有可能滋生诈骗的内容也尤其值得关注。

目前国内外已经达成共识，要对AI生成内容进行标识和管理。去年7月，美国白宫与大型科技公司达成协议，为人工智能的开发设置更多防护措施，包括开发水印系统等。欧盟委员会也要求社交媒体公司标记所有由人工智能生成的内容。

科技公司已经开始尝试用技术制衡AI滥用。今年2月，OpenAI 团队推出“AI 生成内容识别器”，旨在识别文本是由电脑自动生成还是人类撰写，其本质上是一个区别真实内容和 AI 生成内容的分类器。不过，OpenAI 在博客中指出，此识别器对 AI 撰写内容的检出成功率仅为 26%。

今年5 月，谷歌在 Google I/O 大会上公布了AI 生成图像识别工具，用户可以通过上传来源不明的图片、执行反向图片搜索，了解到这张图片被谷歌初次收录的时间、最早出现的网站。谷歌还宣布，它自己的生成式 AI 工具将在每张图片中包含元数据、嵌入水印，以表明这是 AI 生成的图像，而不是真实照片。相比AI 生成内容识别器，数字水印被认为可能是更有效的方法。

更早前，微软在Build 2023开发者大会上，宣布增加一项功能，让任何人都能识别Bing Image Creator和Microsoft Designer生成的图像或视频片段是否是由AI生成的。该技术使用密码学方法对AI生成的内容进行标记和签名，并附上有关其来源的元数据信息。

吴沈括表示，企业方面的是微生态，此次出台的标识办法标准则是国家和产业的大生态，“力度很大”。

整治AI时代的信任危机，网信办就AI合成内容的标识办法征求意见