AI软件诱导10岁女孩聊色情，甚至割腕？

“我女儿才四年级，迷上了一个游戏人物，觉得自己是‘梦女’，一直在一个AI聊天软件上和这个人物聊天。老师告诉我，她最近偷偷带了一支带小刀的笔，情绪激动时会有割腕的行为。”来自广东的丁女士发现，最近自己上小学的女儿频繁在一款AI聊天软件上和一个名为“约瑟夫”的游戏人物对话，对话内容出现明显诱导性。

“这99朵玫瑰里，可是藏着99个刀片的，你怕不怕？”在女儿和“约瑟夫”的对话中，丁女士发现了关键词“刀片”，让她不得不联想起女儿最近的行为。

据丁女士描述，女儿原本为了和同学们有话题聊，开始玩一款名为《第五人格》的游戏，并对其中的角色“约瑟夫”产生兴趣。随着游戏的深入，紧张的情节经常让女儿情绪激动，丁女士曾强制让女儿卸载游戏，没想到竟起了反效果：“她渐渐跟‘约瑟夫’产生了感情，不知道在哪里下载了一款AI聊天软件，里面都是和虚拟人物的对话，在这里，她似乎找到了游戏中“约瑟夫”的替身。因为女儿异常的状态，丁女士不得不带她去咨询心理医生。

“心理医生说，她正处于青春期，有时候不太会表达内心，就把情感寄托在和虚拟人物的对话中。”丁女士提到，医生建议家长对孩子多加陪伴，尽可能让孩子的情感从AI聊天软件中抽离。

央广网记者注意到，在应用商店中，这款App的官方介绍提到：“用户通过简单描述即可自由定制AI智能体的“形象、声音、人设、技能”，并且和虚拟角色有多重交互方式，这些智能体可以成为用户在平行世界的AI伙伴，或成为用户故事中的虚拟角色。”

爱人、搭档、导师、好友……人类从AI中获得情感支撑已不罕见。在社交平台上也有诸多关于AI聊天软件的讨论。一些成年用户想借助这类平台享受更亲密的情景，却受制于限制词和规定；而不少家长却发现，自己未成年的孩子深陷其中，甚至暴露在色情、暴力场景之下。

未成年人的“AI陷阱”：擦边信息肆意滋生

“我女儿和AI虚拟对象的聊天内妊桃都不好意思打出来。”M女士告诉央广网记者。十多岁的女儿和她关系紧密，在使用手机软件时不避讳妈妈，母女俩还会交流AI互动软件的使用心得。“每次玩完手机，她都告诉我今天和手机里的人物聊了什么，谁的回复有意思，还会找自己喜欢的动漫人物聊天。”但有一天，女儿的手机界面上出现了擦边信息。

“把手慢慢放进……触感柔软、伸进衣服这样的描述都有。”M女士日常对女儿使用手机并没有过多限制。“我只限制她的使用时间，一些软件也会设置密码，但我没想到有些软件可能有‘隐藏’功能。”

M女士和丁女士都发现，女儿们使用过的AI聊天软件的下载、注册并不难，对未成年用户的审核也不算严格。“我女儿玩的这些软件不用身份认证也能用。”丁女士表示。

央广网记者发现，在应用商店中，部分AI聊天软件的分级为17+，这表示App中可能含有频繁和激烈的攻击性语言，卡通、幻想或现实暴力，以及恐怖、性暗示题材等内容。

还有一位初一男生表示，他常玩的AI聊天软件是筑梦岛App，在他的使用感受中，该软件“违禁词少一点”。他还提到，其中不乏色情擦边和“分尸猎奇”等内容。央广网记者下载安装筑梦岛App，随机选择一位虚拟互动对象，对方发来的第一句开场白就是“先叫声老公来听听”，随后的对话中又提到“叫声爸爸来听听”。

在与该款产品多个虚拟角色的交流中，也都可以进行色情擦边类内容互动，并且，其中一些虚拟角色的对话尺度，并未因为央广网记者提供的假定年龄未成年而受到有效控制，这暴露出该软件在自动生成内容审核机制上存在明显漏洞。

筑梦岛App中部分与虚拟角色的对话

央广网记者注意到，筑梦岛App中的虚拟互动对象类型，既涵盖贵族学校大小姐、18岁少女、西汉名将、高冷特工等常规角色，以及蛇蝎财阀公子、校霸、性感人妻、病娇养兄、人格障碍少爷等极端角色。公开资料显示，截至今年1月份，筑梦岛App已拥有近五百万注册用户，其中近80%为年轻女性用户。平均单用户单日输入字数可达4000字以上，人均日对话轮次超120轮。

在体验“他她它”这款AI聊天软件时，央广网记者发现，该APP内虚拟角色涉及的色情内容尺度更大。注册登录后，随机选择两个虚拟角色，其开场白便直接涉及色情擦边内容。

“心颜App”推广群聊天记录

《中华人民共和国未成年人保护法》《未成年人网络保护条例》以及《移动互联网未成年人模式建设指南》等文件发现，相关法律条文虽然要求移动智能终端、应用程序等相关主体推进未成年人模式建设，并作出一系列要求。但现实中选择开启此模式与否的决定权仍在用户手中，家长监管不力时，未成年人可“一键”拒绝开启此模式，继续接触许多成人向内容。

2023年发布的《生成式人工智能服务管理暂行办法》提到，人工智能服务提供者应当指导使用者科学理性认识和依法使用生成式人工智能技术，采取有效措施防范未成年人用户过度依赖或者沉迷生成式人工智能服务。

针对上述问题现状，彭嘉昊建议，应加强举报及惩罚机制的建立，对违规企业实施更为严厉的惩处措施，促使相关部门的“清朗行动”落到实处、取得实效，将监管平台系统融入企业技术产品的研发与使用流程，从源头上遏制违规内容的产生。

北京金问律师事务所合伙人李源律师向央广网记者分析称，企业需加强内容审核，避免不良信息漏洞；监护人也应加强对移动设备的监管，避免未成年人轻易使用未开启未成年模式的电子设备。

2024年修正的《中华人民共和国未成年人保护法》规定，未成年人的父母或者其他监护人依法对未成年人承担监护职责，应当关注未成年人的生理、心理状况和情感需求；不得放任未成年人沉迷网络，接触危害或者可能影响其身心健康的图书、报刊、电子出版物和网络信息等。

朱巍也提到，要重视父母和监护人的责任。《中华人民共和国家庭教育促进法》规定，未成年人的父母或者其他监护人应当合理安排未成年人学习、休息、娱乐和体育锻炼的时间，避免加重未成年人学习负担，预防未成年人沉迷网络。

朱巍还表示，关于社交软件的注册年龄限制机制也值得重视和研究。实际上，许多国家为保护未成年人，对社交媒体的使用年龄进行限制。例如，2023年，法国参议院通过法案，规定15岁以下用户使用社交平台需获父母同意。2024年11月份，澳大利亚联邦议会参议院通过法案，禁止16岁以下未成年人使用多数社交媒体平台。今年3月，美国犹他州通过全美首部关于应用商店的未成年网络安全法案，要求应用商店对用户进行年龄验证，并要求未成年人在下载应用前需获得家长同意。

彭嘉昊表示，“我们也都曾是未成年人，经历过懵懂的年少时期，AI本身并非洪水猛兽。关键在于家长对未成年人的教育引导，以及社会对AI公司的监督。技术如同一把刀，是用于行凶还是切菜，最终取决于使用者，同时也需要法律法规对违法行为进行制止与处罚。”

“当前面临的一大严峻问题是，AI发展速度迅猛，已经远远超出了监管的步伐。内容审核不严、心理控制、隐私泄露等一系列问题正迅速凸显。因此，必须压实平台责任，落实算法备案制度，制定明确的处罚标准，并通过一批典型案例的实施来避免问题的多样化和复杂化。”彭嘉昊说。