严格限制AI违规内容输出，豆包等国内模型被点名

9月2日，中央网信办通报“清朗.整治 AI 应用乱象”专项行动第二阶段进展。一组数字摆在台面上：累计清理违法违规信息561万余条，查处账号4.9万余个，处置违规网站、应用程序2400余个。

通报中点名了四家头部大模型平台 —— 豆包、元宝、千问、文心一言，称其“严把原始语料内容审核关，严格限制违规内容输出，强化AI生成合成内容标识要求落地，从源头防范违法违规信息生成传播”。



其实在今年3月，国家网信办、工信部、公安部、广电总局四部门联合发布《人工智能生成合成内容标识办法》，配套强制性国家标准《网络安全技术人工智能生成合成内容标识方法》（GB 45438-2025）同步出台，两者均于2025年9月1日起正式施行。

办法要求服务提供者在生成的文本、图片、音频、视频上添加显式标识，并在文件元数据中嵌入包含属性信息、服务提供者名称或编码、内容编号等制作要素的隐式标识，日志留存不少于六个月。

换句话说，AI生成的内容从诞生那一刻起就被要求“自带身份证”，看得见的水印和看不见的元数据双重绑定，下载、转发都不能抹掉。

制度落地半年后，效果有了初步量化。

今年2月，中央网信办网络管理技术局局长于永河公开披露，豆包、深度求索（DeepSeek）、千问、文心等主要制作平台累计为超过1500亿个文本、图片和音视频生成合成内容添加AI标识，累计向用户提供超过10亿个包含AI标识的内妊棠件。于永河当时表示，AI标识制度初步形成了“源头标识 — 传播核验 — 社会监督”的全链条治理格局。

此次专项行动第二阶段通报，相当于在标识制度基础上又拧紧了一圈螺丝，不仅要“打标”，还要从语料源头和输出环节把违规内容堵回去。

通报同时披露了七类典型案例，覆盖面之广几乎囊括了当前AI乱象的全部形态。

有人用AI“魔改”《三国演义》《西游记》，颠覆人物人设、虚构猎奇剧情，被称作生成“数字泔水”；有人合成虚假灾害现场和救援画面，编造社会热点，甚至打造AI数字人带货误导老年人；有人靠“换脸”、“换声”假冒公众人物，生成低俗图片视频牟利；还有人批量制作AI生成的未成年人怀孕、打架内容，传播“毒动画”、“邪典”视频。

此外，利用AI“托管”软件模拟真人运营账号、从事网络水军活动，以及部分AI应用的智能体封面和对话中含有淫秽色情信息，也被列入查处范围。这些案例中的账号均已被依法依约处置，对拒不改正的平台则按程序采取警告、罚款、下架或关闭等措施。

属地监管也在同步推进。

北京网信办指导平台升级审核策略，提升对违规内容新型变体的识别能力；上海推出AI应用“知识普及包”，引导公众识别风险；浙江对重点平台开展“一企一策”合规问诊；广东则召开重点平台工作例会，对多款应用点对点督促整改。

抖音、快手、微博、腾讯、百度、哔哩哔哩、小红书、知乎、豆瓣、淘宝等平台优化多模态识别模型，动态扩充人脸库、声纹库和违规样本库，上线人脸实时治理系统，累计发布各类治理公告46期。华为、小米、OPPO、vivo 等应用商店也收紧了开发者准入和上架抽检。

这与此前一轮合规调整中的表现形成对照。今年7月，《人工智能拟人化互动服务管理暂行办法》施行当日，豆包和千问同步下线用户自建智能体功能，腾讯元宝则提前完成调整，三家均以产品公告的形式向用户说明了变化。

彼时人民日报评论称，这场合规调整“恰是我国人工智能治理从‘包容探索’迈向‘规范提质’的生动注脚”。而这一次，监管口径更侧重于“源头防范”和“标识落地”。