上海市委网信办发布了关于“清朗 · 整治 AI 应用乱象”专项行动第一阶段的成果公告。

这项专项行动自 2026 年 4 月下旬启动，旨在解决包括未履行大模型备案登记义务、安全审核能力不足、训练语料安全、数据投毒、内容标识不到位、滥用 AI 技术以及开源模型管理不善等七个方面的突出问题，并着力于技术源头的治理。

为推进此项工作，上海市委网信办于 5 月 13 日召开了相关平台推进会议，对属地的 AI 平台、互联网内容平台、电商平台、应用商店及开源社区等五类共计 17 家重点网站平台提出了具体要求，并指导它们优化安全及举报机制。随后，稀宇、千问、小红书、哔哩哔哩、拼多多等重点平台于 5 月 15 日公布了专项治理公告。与此同时，上海举报中心官网增设了专项举报渠道，至今已处理了超过 20 件涉及 AI 的违法不良信息举报及 12345 市民反映线索。

在专项行动的第一阶段，上海市委网信办引导这 17 家重点网站平台进行了自查自纠。在此过程中，累计清理和拦截了约 487 万条涉及 AI 的违法违规信息，这些信息包括去除 AI 标识的工具和教程、数据投毒内容、未经授权的“换脸拟声”内容、AI 生成的谣言以及低俗内容等。此外，还处置了超过 1.8 万个违规账号，下架了约 1.4 万个违规智能体，并处理了 1300 余件违规商品。对于屡次违规的账号，平台采取了分级约束和封禁措施。各平台也根据自身特点开展了治理工作：稀宇平台下架了“一键脱衣”、赌球博彩等违规智能体，并打击了利用 AI 编写病毒、钓鱼软件等恶意行为；小红书平台则清理了 AI 代运营账号，禁止销售去除 AI 标识的商品，并推进与内容制作平台的隐式标识互认；哔哩哔哩在内容发布页面加强了提示，将“AI 生成”设为必选项标签，以规范创作者发布行为；魔搭社区则彻底清除了涉低俗内容的违规数据集，并加强了对开源模型的审核和管理。上海市委网信办还联合 3 家专业机构，对 32 款用户量大、影响力高的 AI 产品进行了专项巡查测试，并对 4 家企业进行了现场检查，重点督导其整改 AI 标识落实不到位、平台安全及审核能力不足等问题。

在协同治理方面，上海市委网信办加强了上海市大模型合规指导服务中心与各区委网信办的合作，共举办了 16 场 AI 安全合规培训活动，覆盖街镇层面，旨在提供政策指导和业务受理。同时，对未按规定备案的服务进行了排查和安全评估督导。截至目前，上海已完成 169 款大模型的备案，并完成了 183 款调用已备案模型 API 的生成式人工智能应用的登记。在重点领域，市区两级在浦东软件园举办了关于“AI 场景落地中的安全挑战和合规赋能”的沙龙活动，通过专家分享和政企对话促进治理协同。针对医疗、政务等关键领域，坚持“先测评后上线”的原则，联合市数据局持续提升政务智能应用测评验证中心的效能并制定安全规范。此外，还协同市卫健委依托医疗大模型应用检测验证中心，保障医疗 AI 应用的安全可靠。同时，联动市市场监管局对头部 GEO 企业进行了调研，探索源头治理的有效途径。

针对未成年人保护以及拟人化 AI 服务的规范问题，上海市委网信办围绕将于 2026 年 7 月 15 日正式生效的《人工智能拟人化互动服务管理暂行办法》开展了多项准备工作。他们向近百家重点平台进行了法规宣贯，指导企业结合自身业务特点推进合规建设。针对部分应用中存在的未成年人模式名存实亡、身份核验失效以及生成不良内容等风险，已督导企业严格执行未成年人身份核验，防止情感依赖和消费诱导。对于问题突出、群众和媒体反映强烈的个别应用，已采取监管执法措施。

据悉，专项行动的第二阶段将重点关注利用 AI 技术生成“数字泔水”、制作散播虚假信息、传播暴力低俗内容、冒充他人、侵害未成年人权益以及从事网络水军活动等问题。届时，将持续清理违法不良信息，并依法处置违规账号和平台。在此期间，上海市委网信办将通过专项举报入口，继续接收公众提供的违规线索。