AI真正走向大众，不取决于它能生成多少内容，而取决于社会是否相信它生成的内容。
文章作者、来源：ME News
TL;DR
- 中央网信办开展“清朗·整治 AI 应用乱象”专项行动第二阶段，重点治理 AI 生成虚假信息、低俗暴力内容、冒用他人身份以及侵害未成年人权益等问题，截至目前累计清理违法违规信息561万余条，查处账号4.9万余个，处置违规网站、应用程序等2400余个。
- 豆包、元宝、千问、文心一言等 AI 平台正在强化训练语料审核、模型安全过滤和生成内容标识机制，核心目标不是限制 AI 能力，而是降低技术被滥用的风险。
- AI治理正在从“删除违规内容”转向“控制内容产生过程”，模型训练、数据来源、生成环节和传播链路都成为监管重点。
- 生成式 AI 的商业竞争，未来不仅比拼模型参数和产品体验，也将比拼安全能力、合规能力和长期信任。
- AI真正走向大众，不取决于它能生成多少内容，而取决于社会是否相信它生成的内容。
AI发展的下一阶段，不只是比谁更聪明，而是谁更可靠
人工智能的发展速度，正在不断刷新公众对于技术边界的认知。
几年前，人们讨论 AI，更多关注的是模型参数、算力规模、回答质量以及商业化场景。谁拥有更大的模型，谁拥有更强的推理能力，似乎就意味着谁能够赢得未来。
但进入生成式 AI 大规模应用阶段之后，一个更加现实的问题逐渐浮现：如果 AI 可以在几秒钟内生成一段文字、一张图片、一段声音，甚至一整套看似真实的信息，那么谁来保证这些内容不会成为制造谣言、操纵舆论、侵犯权益的新工具？
这不是一个遥远的问题。
中央网信办近期开展“清朗·整治 AI 应用乱象”专项行动第二阶段，正是针对这一现实风险展开治理。此次行动重点整治利用 AI 制作发布虚假信息、传播暴力低俗内容、假冒仿冒他人以及侵害未成年人权益等突出问题。截至目前，专项行动累计清理违法违规信息561万余条，查处账号4.9万余个，处置违规网站、应用程序等2400余个。
这些数字背后反映的，并不是 AI 技术本身出现问题，而是一个快速发展的产业进入成熟阶段后，必须面对的治理课题。
任何一项改变社会运行方式的技术，都不会只有效率提升的一面。
互联网曾经带来了信息自由流动，也带来了虚假信息传播；移动支付改变了金融体验，也催生了新的诈骗模式；短视频降低了内容生产门槛，也制造了流量至上的竞争环境。
AI同样如此。
它能够提升生产效率，也可能放大低成本违法行为。
过去制造一篇虚假文章、一段伪造视频，需要人工投入大量时间。但今天，AI降低了内容生产门槛，让普通用户拥有接近专业团队的生成能力。如果没有相应治理机制，技术红利就可能被少数人用于制造混乱。
因此，AI治理并不是给创新踩刹车，而是在高速发展的道路上增加安全系统。
豆包、元宝、千问、文心一言为何强化内容限制
很多人可能会产生一个疑问：AI不是应该尽可能开放吗？为什么现在越来越多 AI 产品开始限制生成内容？
这个问题的本质，是如何理解人工智能产品的责任边界。
传统软件往往只是提供工具，但生成式 AI 并非简单工具。它参与内容生产过程，甚至直接影响用户认知。
当用户向 AI 提问时，模型输出的内容可能影响投资判断、健康决策、教育学习，甚至公共事件认知。因此，AI平台不能只关注“能不能生成”，还必须考虑“生成什么”“为什么生成”“生成后会造成什么影响”。
豆包、元宝、千问、文心一言等平台强化内容治理，实际上是在建立一套新的 AI 产品安全体系。根据网信部门通报，相关平台正在严格审核原始语料内容，加强违规内容过滤，并强化 AI 生成合成内容标识要求，从源头降低违法违规信息生成传播风险。(国家市场监督管理总局)
这意味着，AI治理已经不再只是传统互联网时代的“事后处理”。
过去，平台面对违规内容，更多采取发现、删除、封禁的方式。
但 AI时代不同。
如果问题发生在生成环节，仅仅删除传播出去的内容是不够的。因为 AI 可以持续生成新的变体，同一种违规内容可能换一种表达方式再次出现。
因此，治理必须前移。
从训练数据开始，到模型能力控制，再到用户生成内容审核，形成完整链路。
简单来说，未来优秀的 AI 产品，不只是回答问题更准确，更重要的是知道哪些问题不能回答，哪些内容不能生成，哪些场景必须提醒用户风险。
这也是为什么 AI 安全能力正在成为产品竞争力的一部分。
AI治理真正困难的地方：不是禁止，而是精准判断
然而，AI治理并不是简单地设置一道“禁止生成”的墙。
如果限制过度，AI产品可能失去价值。
如果限制不足，又可能造成风险。
这是一场关于边界的长期博弈。
例如，一名用户希望 AI 帮助创作小说，其中涉及战争、犯罪、冲突等元素，这是否属于违规内容？
一名研究人员希望 AI 分析网络安全漏洞，这与恶意攻击之间如何区分？
一名历史爱好者希望 AI 改编经典作品，怎样判断是合理创作还是低俗恶搞？
这些问题都说明，AI治理不能依靠简单关键词过滤。
真正有效的治理，需要理解语境。
这也是为什么平台不断加强多模态识别能力，动态扩充人脸库、声纹库以及违规样本库。抖音、快手、微博、腾讯、百度、哔哩哔哩、小红书、知乎、豆瓣、淘宝等平台正在通过技术手段提升 AI 内容识别和处置能力，并累计发布相关治理公告46期。(国家市场监督管理总局)
未来 AI安全竞争，很可能类似自动驾驶领域。
真正先进的系统，不是完全禁止汽车行驶，而是在复杂环境下帮助汽车安全行驶。
AI也是如此。
成熟的 AI，不是一个什么都不能做的系统，而是在开放能力和风险控制之间找到平衡。
从“数字泔水”到AI水军，技术滥用正在改变网络生态
此次专项行动公布的一些案例，也展现了 AI滥用正在出现的新形式。
其中一个典型问题，是利用 AI 对经典作品进行低质量改编。
过去，网络内容生产虽然存在粗制滥造，但生产成本仍然限制了规模。
AI出现后，批量生成成为可能。
一些账号利用 AI“魔改”《三国演义》《西游记》等经典作品，通过改变人物设定、制造猎奇剧情吸引流量。这类内容看似只是娱乐，但长期大量传播，会影响公众对于文化内容的理解，也可能消耗优质内容生态。
另一个问题，是 AI生成虚假信息。
过去制造一张假图片、一段假视频，需要较高技术门槛。
现在，生成式 AI降低了门槛。
虚假的灾害现场、虚假的社会热点、AI数字人营销骗局，都可能利用公众的信息不对称制造影响。网信部门此次通报的案例中，就包括利用 AI生成合成虚假灾害画面、编造社会热点信息以及通过数字人进行虚假宣传等行为。
更值得关注的是 AI换脸换声。
声音和面容，是人类判断身份的重要依据。
当 AI能够模拟一个人的声音、表情甚至行为习惯时，身份信任体系就面临新的挑战。
这不仅涉及公众人物，也涉及普通用户。
今天，一个人的照片、声音素材，都可能成为被滥用的数据来源。
因此，AI时代的数据保护，不只是防止信息泄露，更包括防止个人身份被数字化复制。
AI产业竞争进入“信任时代”
过去几年，中国 AI产业快速发展。
从大模型研发，到智能助手，再到办公、教育、电商、搜索等应用场景，AI正在从技术展示阶段进入实际应用阶段。
但越接近普通用户，安全问题越重要。
一个企业可以接受模型偶尔回答错误，但很难接受模型持续制造虚假信息。
一个用户可以接受 AI能力有限，但很难接受 AI帮助制造骗局。
所以，未来 AI产业竞争不会只是技术竞争。
参数规模当然重要，算法能力当然重要，但信任同样重要。
为什么金融行业高度重视合规？
因为金融产品连接资金。
为什么医疗行业高度重视安全？
因为医疗决策影响生命。
而 AI正在逐渐连接知识、信息和决策。
它同样需要建立信任基础。
从这个角度看，网信办此次治理行动，并不是针对 AI发展，而是在推动 AI产业进入更加成熟的发展阶段。监管明确边界，平台提升能力，用户提高认知，最终形成更加健康的生态。
AI不能只追求速度，更需要承担责任
技术发展的历史反复证明，一个产业真正成熟，不是在它能够创造多少奇迹的时候，而是在它能够解决多少问题的时候。
AI已经证明了自己的创造力。
它能够帮助人们写作、编程、学习，也能够推动企业提高效率。
但下一阶段，AI需要证明另一件事：它是否值得信任。
豆包、元宝、千问、文心一言等平台强化违规内容限制，本质上是在回答一个关键问题：
当人工智能拥有越来越强的创造能力时，它是否也拥有与能力匹配的责任意识？
答案决定的，不只是几个 AI产品的发展方向，更决定整个行业能否进入长期稳定的发展周期。
人工智能的未来，不属于那些只会制造更多内容的系统，而属于那些能够在创造力、安全性和社会价值之间找到平衡的系统。
真正伟大的技术，从来不是因为它无所不能，而是因为它知道什么不能做，也知道为什么不能做。
参考资料：
- 中央网络安全和信息化委员会办公室：《中央网信办深入开展“清朗·整治AI应用乱象”专项行动第二阶段工作》，2026年9月2日。
- 中央网络安全和信息化委员会办公室：《中央网信办部署开展“清朗·整治AI应用乱象”专项行动》，2026年4月30日。
- 《生成式人工智能服务管理暂行办法》，国家互联网信息办公室等部门，2023年。
- 《人工智能生成合成内容标识办法》，国家互联网信息办公室等部门，2025年。
- Russell, Stuart & Norvig, Peter. Artificial Intelligence: A Modern Approach. Pearson.
- Shneiderman, Ben. Human-Centered AI. Oxford University Press.