上海深入整治AI应用乱象，严防技术滥用侵害未成年人

中央网信办“清朗·整治AI应用乱象”专项行动进入第二阶段后，上海市委网信办从6月下旬开始，针对AI技术生成“数字泔水”、制作发布虚假信息、散播暴力低俗内容、仿冒他人、侵害未成年人权益、从事网络水军活动、违规提供AI产品服务和应用程序等七类突出问题，集中力量清理违法和不良信息，依法处置违规账号。截至最新数据，属地平台累计清理违法和不良信息174万余条，处置违规账号4200余个。多家重点平台已经面向社会公开发布了专项行动第二阶段的治理公告，主动接受公众监督。

正值暑假，未成年人用网频率和AI生成合成信息的传播特点都发生了变化。上海市委网信办指导小红书、哔哩哔哩、千问等重点平台，采取针对性措施，集中整治AI技术滥用侵害未成年人权益的问题。小红书的做法是优化AI审核模型，从源头防范生成暴力、低俗等不适宜未成年人接触的风险内容；同时通过用户行为特征，智能识别未成年用户，对AI生成的不当内容实施“软隔离”，把未成年人保护从被动响应转向主动防护。哔哩哔哩则持续扩充黑样本库，重点覆盖AI换脸公众人物、AI邪典、AI生成恐怖血腥虚拟形象等涉未成年人高风险内容，不断优化AI审核模型。千问升级了未成年人安全保护方案——用户进入未成年人模式后，平台对生成内容实施严格安全保护，显著降低不良价值观等风险内容的侵害，主动防止与未成年用户开展不符合其年龄身份的对话互动。

为了进一步加强警示教育，现将涉侵害未成年人权益的典型案例通报如下。

1

“977*”“小*6A1C7DC8”等账号生成合成恶搞、欺凌未成年人等内容。涉及内容已被相关平台依法依约采取处置措施，涉及账号已被禁言。

2

“小*花”“黄金*”等账号生成合成打架、纹身等与未成年人年龄特点不符、宣扬不良价值观等内容。涉及内容已被相关平台依法依约采取处置措施，涉及账号已被禁言。

3

“Viction *”“非常开朗的*”等账号以未成年人喜爱的动画人物或玩偶形象为原型，无底线“二创”版权动画，生成低俗、血腥等图片。涉及内容已被相关平台依法依约采取处置措施，涉及账号已被禁言。

下一步，上海市委网信办将继续深入整治AI应用乱象，加强AI应用重点环节管理，督促指导平台持续提升安全防护能力，加大违法违规信息和账号查处力度，以实际行动净化未成年人上网环境，护航未成年人健康成长。