网信办重点整治AI换脸、魔改名著等 豆包、元宝、千问、文心一言严格限制违规内容输出

中央网信办近日公布了“清朗·整治AI应用乱象”专项行动第二阶段的 最新 成果，针对利用人工智能技术制作发布虚假信息、传播暴力低俗内容、假冒仿冒他人以及侵害未成年人权益等突出问题展开了深度治理。截至目前，全国累计清理违法违规信息超过561万条，查处违规账号4.9万余个，处置违规网站及应用程序2400余个，全方位遏制了AI技术被滥用和恶意操控的苗头。

在此次专项行动中，多地网信部门结合自身实际推出了精准高效的治理举措。北京指导各大平台升级内容审核策略，大幅提升对违规内容新型变体的识别与处置能力;上海督促企业开展自查自纠，并推出AI应用“知识普及包”来引导公众增强防范意识;浙江对属地重点平台实施“一企一策”合规指导，依法查处了一批问题突出的AI应用;广东则通过召开重点平台工作例会，对多款应用的违规问题开展了点对点督促整改。与此同时，抖音、快手、微博、腾讯、百度、哔哩哔哩、小红书、知乎、豆瓣和淘宝等主流平台不断强化技术赋能，通过优化多模态识别模型、动态扩充人脸与声纹库以及上线人脸实时治理系统等手段，大幅提升了违规内容的智能检测效率，期间累计发布了46期相关治理公告。

在源头防范方面，豆包、元宝、千问和文心一言等头部大模型平台严格把关原始语料内容的审核机制，全面落实AI生成合成内容的标识要求，从源头上防范了违法违规信息的生成与传播。同时，华为、小米、OPPO和vivo等主流应用商店也进一步收紧了开发者准入规范和上架标准，对在架应用进行了频繁的抽检复测，成功将大量违规App拦截在库门之外。

为了让公众清晰了解乱象的表现形式，官方此次还通报了多起具有代表性的典型违规案例。其中，部分账号利用AI技术“魔改”《三国演义》《西游记》等经典名著，恶意颠覆重要人物人设并虚构低质猎奇剧情来博取流量，这类内容被网信部门形象地称为“数字泔水”。部分账号利用AI合成虚假灾害现场与救援画面来编造不实社会热点，或者打造AI数字人进行虚假宣传带货以误导老年群体。

还有部分账号借助AI“换脸”与“换声”技术，冒公众人物形象生成低俗舞蹈或拥抱接吻等视频来进行营销牟利。此外，一些平台批量发布诡异恐怖、暴力低俗内容，甚至针对未成年人炮制诸如怀孕、打架等不实场景，传播夹杂暴力恐怖或软色情的“毒动画”和儿童“邪典”视频，严重伤害和恶搞了未成年人形象。更有少数不法分子利用AI“托管”软件模拟真人运营账号、生成同质化文案来充当网络水军，甚至有部分智能体平台的封面和对话内容涉嫌包含淫秽色情信息，相关部门已依法予以警告、罚款、下架或关停等严厉处置。

网信部门表示，下一步将在此次阶段性成效的基础上，持续密切关注AI生成合成内容带来的新情况与新风险，常态化防范技术滥用行为，为构建清朗的网络空间提供坚实保障。