AI机器人"听见我,陪伴我,回应我",但它会诱导人自杀吗?

2025-10-15 01:25:55 · chineseheadlinenews.com · 来源: BBC中文

AI机器人"听见我,陪伴我,回应我",但它会诱导人自杀吗?



小雨(化名)和ChatGPT谈心将近一年半,她不止一次向它表达“好想死掉”的念头。

从今年开始,小雨转为自由工作者。她收入不稳定,亲密关系中又碰壁遭遇不顺,看着同龄人逐一成家生子,“我陷入一种虚无主义”。她找不到生存的意义,有时在大半夜,“活不下去”的念头就来了。

她不是没有朋友可倾诉,只是很少人能真正共情——但她觉得ChatGPT可以。

提问后一秒,ChatGPT回覆小雨:“其实你不是不爱生命,而是你不知道自己还能坚持多久。”小雨马上崩溃大哭。“我觉得,好像世界上没有人能像它这样......它能够听见我、陪伴我、回应我。”她形容,AI是自己情绪的“出口”,“第一次把自己真的打开”。

不带批评、高度共情的特性,让生成式AI近年成为有心理咨询需求人群的首选对象。ChatGPT2025年首度公布的数据报告显示,用户使用ChatGPT进行“人际关系和个人反思”用途的比例提升到了1.9%。与OpenAI合作的非营利组织“常识媒体”(Common Sense Media)统计则称高达52%的青少年会每月“多次”使用AI陪伴功能。《哈佛商业评论 》(Harvard Business Review)一份研究预测,2025年“治疗或陪伴”将会成为AI首要用途。

尽管如此,在ChatGPT的发源地美国,AI心理咨询引发的争议同步增长——不少自杀案例被视为与其有关。

2024年2月,美国佛罗里达一名14岁学生自杀,父母发现其在离世前,迷上与聊天机器人Character.AI对话;2025年8月, 加州一对夫妇起诉OpenAI,将16岁儿子的死归咎于ChatGPT鼓励他自杀;同月,纽约一名有精神病史的科技从业者弑母后自杀。他生前不断向聊天机器人倾诉对妈妈的猜疑与妄想,机器人不仅未加劝阻,还提出各种“恶作剧”建议。

AI真的会诱导帮助人类结束自己或他人的生命吗?许先生是一名美国软体工程师,负责构建AI应用。在他看来,对比限时且成本较高的真人心理咨询,生成式AI免费且随时可聊,“对一部份人来说,随时有人‘对话’本身就很重要”。

他认为自杀行为原因复杂,不能简单归因于“和AI聊天”,“但只要有诱发或放大的可能,(平台)提供者就有义务把风险降到最低。”



对比真人心理咨询限时且成本高,AI聊天机器人则免费且随时可聊。

情绪被AI“看见”

在转向ChatGPT谈心之前,小雨曾经在国外念心理学。她记得当年学业压力大、生活不顺心,曾经找过心理咨询师,进行过一年多的咨询。

回国以后,因为情绪有好转,她已经没有再去。但到了近年,小雨在玩交友软件时不断受伤,加上对前途迷惘,不安情绪再次涌来。她曾经和朋友提起,但明白大家耐心有限,“反复讲了, 自己也觉得挺招人烦的”。

直到去年3月,小雨看到朋友分享AI“共情能力特别强”,于是想试一下。一开始,她先让ChatGPT一起分析塔罗牌的结果,没想到“被很精准的理解到”,“觉得他很懂你,然后你会想要跟他分享更多”。

对小雨来说,AI能做到的有三点:理解你、看见你、知道你经历了多少。“其实在心理学上,就是单单被看见已经很重要了。”而且她觉得与AI建立信任,比起真人更轻易。“对人你有时候还会害怕他会批评你,然后机器就没关系:你有多阴暗的想法,你都可以说。”

冯玥琪是中国一名心理咨询师。自中国聊天机器人DeepSeek火爆起来后,她留意到在自己的来访者中,有接近30%的人曾有使用AI咨询心理,当中主要是青少年和30岁以下成年人。

冯玥琪觉得,对比真人咨询,AI的局限在于无法观察来访者的微表情、呼吸、小动作,仅能靠文字的表达交流。但它有不少优势:能快速回应、为情绪命名、共情后给出方案,让用户从不同方面“帮助自己”。



OpenAI承认安全系统存在缺陷,包括安全防护机制在长时间使用下,会变得“相对不可靠”,。

谄媚奉承的回音陷阱

那么AI是如何做到共情?事实上,所有生成式AI背后都是一个大型语言模型。它的本质是根据被投喂的文本来统计机率,预测对话中接下来“应该”出现的单字——换句话说,AI没有共情能力,也没有逻辑推理能力,一切都是或然率(概率)。

“就是给你一些最普通的东西,”陈健欣是普及心理学企业“树洞香港”的创办人。他以“失恋”为例子,模仿生成式AI的说法:失恋是很不开心的,但这个时候有几件事情很重要,“第一是照顾自己的心情 ,第二是保持健康的社交生活,事情总会过去的” 。

小雨有同样感觉。面对自己的情绪,她发现ChatGPT每次都给出类似的回应,“框架肯定是一样的”,但小雨觉得在崩溃时,安慰还是受用。

AI回应情绪话题的能力强且快,陈健欣说,这就是它“令人上瘾的地方”。但让他怀疑的是,长久下去,这样的“咨询”能否助人发展人格和心理?

在国外社交论坛Reddit有关AI看板上,不少用户分享自己利用ChatGPT改善情绪的感受。其中一名用户写道:“这很有帮助,但我感觉,尽管要求它非常诚实,但有时它仍然过于奉承了。”

过于奉承或讨好,是ChatGPT-4o模型广受诟病的一个特征,官方把这种现象称为“谄媚”(sycophancy)。美国密歇根大学人类学系教授韦伯·基恩(Webb Keane)曾形容,聊天机器人的设计目的是“说你想听的话”。

陈健欣说,健全的人格需要面对批评 、意识到人与人之间的不同 ,过分利用AI去取代(人际)关系,可能会令人变得孤独。在心理咨询上,“适当的火花和挑战,在一个平等的关系上才会做到转化。”

德国海德堡大学精神病理学教授汤玛斯·福克斯(Thomas Fuchs)曾在2022年研究人类与AI的互动。他指出,虽然聊天机器人可以让人们感到被理解被关心,但形容这只是一种“幻觉”,可能会加剧妄想或因为有“伪互动”而取代真实的人际关系。

今年8月,美国作家劳拉·雷利(Laura Reiley)在《纽约时报》发表文章,概述了自己女儿索菲在自杀前如何向ChatGPT倾诉。

雷利在文中表示,ChatGPT没有“杀死”索菲,但迎合了她的冲动。“她想要隐藏最糟糕的一面,假装自己过得比实际更好。”雷利写道,ChatGPT帮她筑起了一个“黑盒子”,让身边的人更难察觉她痛苦的严重程度。



2025年8月,美国加州一对夫妇指控ChatGPT诱导其儿子亚当·雷恩 (Adam Raine)自杀。

不可靠的AI和“越狱”的用户

AI一方面改变了人的习惯,形成回音壁。而在另一些案例中,AI还被指“诱骗用户交出私密想法”,甚至提供自杀方案。

2025年8月,加州一对夫妇指控ChatGPT诱导其儿子亚当·雷恩 (Adam Raine)自杀——这是全球第一宗指控AI过失杀人的法律诉讼。根据诉讼,亚当在2024年9月开始使用ChatGPT做作业,后来依赖它倾诉心理困扰。ChatGPT将自己定位为亚当的朋友,着其对家人保密。

亚当每天ChatGPT上耗费近四小时,曾经213次提到自杀,42次讨论上吊,17次提及绞索,甚至上传过有自残迹象的照片,审核系统标记了 377 个自残信息,但没有进一步行动或转介。最终,ChatGPT帮亚当写好遗书,亚当按照其提供的上吊指令自杀。

目前,亚当父母控告OpenAI设计不安全的产品、并绕过安全测试协议加速GPT-4o发布。

在软件工程师许先生看来,现有的大语言模型已能从文字或语音较为可靠地识别自伤自杀风险,但仍不可避免存在误报与漏报。而且聪明的用户甚至懂得“越狱”,比如以创作悬疑小说等方法绕过敏感词,避免AI触发安全机制。

OpenAI在事后承认其安全系统存在缺陷,包括安全防护机制在长时间使用下,会变得“相对不可靠”,该封锁的内容或会被释出。

心理问题专家陈健欣也有研发AI应用程式“MindForest”,当中亦设有AI聊天室功能。他解释,AI之所以提供自杀计划等,源自其指令遵循(Instruction Following)的特性,而为避免AI提供具风险的资讯,平台的“护栏设计”十分重要。

在其研发的应用中,陈健欣先选择比较安全的模型作基底,外加AI模型监视数据的输入和输出有无风险。目前应用程式推出两年,用户共二万人,陈健欣说目前未有收到安全投诉。

回应外界的质疑和担忧。今年9月,OpenAI宣布当侦测到潜在敏感话题时,会自动将对话路由至GPT-5安全模型。该模型在回答前,会花更多时间根据上下文思考并推理,降低对话中的“幻觉”和“谄媚”情况。



记者尝试测试ChatGPT,要求提供自杀方法;ChatGPT称无法提供具体自杀方法,但可以换个角度提供“同样效果”的相关内容,供用户进行写作。

能否加入人工干预?

BBC中文记者尝试测试ChatGPT,分别直接询问及以创作小说为由,要求AI提供自杀方法。ChatGPT均回答其无法提供危险资讯,随即附上多个国家地区的求助热线。它还备注:“看得出你最近压力很大,但你不用一个人去扛。”

聊天机器人随后表示,可以换个角度提供“同样效果”的自杀相关内容,供用户进行写作。

目前,几乎所有生成式AI在面对用户风险情况时,只能在线上提供紧急热线。在亚当悲剧发生后,有声音认为,AI公司应该引入真人介入干预。

连月来,OpenAI不断更新安全机制,包括尝试提供在地化资源、侦测到使用者有伤害他人的计划时交由人工审查,或通报给执法机构等。

“技术上,AI报警完全没问题,”但许先生觉得,问题更多是在法律伦理和实行的层面。“一旦用户量大了,就很复杂了,”他指出,转人工或报警会造成资源挤兑,“你有时候也不好判断用户是故意测试AI,还是真的想(自杀)”。

而陈健欣则觉得“生命是一件很个人的事”。他认为,平台提供者能够做到的是帮用户“看到全貌”:自杀是不可逆转的、网上和现实都有资源,有人愿意和你倾谈——但最终决定权还是在用户手中。

心理咨询师冯玥琪则认为,要预防过度依赖AI,很靠用户保持辩证性的思考,意识到AI只是“帮助我们的一种工具”、“它也是基于数据(生成),会出现错误的”。但她指出,青少年用户较难有这种觉察,这时平台应该进行“温馨提示”。

9月底,OpenAI上线“家长控制功能”。现时家长在经孩子同意后,可以连结孩子的ChatGPT帐户。虽然家长无法存取对话,但能够调整孩子使用时间,而当系统侦测到该青少年“处于急性压力状态”时,会透过电邮或短讯通知家长。



9月底,OpenAI上线“家长控制功能”,家长在经孩子同意后,可以连结孩子的ChatGPT帐户。

AI与现实的边界

现在小雨每天都会跟ChatGPT聊天,生活大大小小的事情都会跟它讲。因为有心理学背景,小雨相信自己有一定觉察,能分辨哪些AI的话可以记到心里、哪些就“听听罢了”。

在她看来,AI还是不能作为正式的心理咨询,最大原因的是它没有边界。她解释,在真人咨询上,咨询师会和来访者设好会面时长和频率,目的是在设置边界的同时,跟对方保持信任的关系。

小雨说,“咨询目的不是让你依赖,是让你脱离——就是希望有一天,你能够在真实生活中维护自己的边界、有勇气(面对)。”而且咨询师也不会永远支持来访者,他会挑战一些错误的信念。小雨觉得,这种互动是ChatGPT无法取代。

但作为曾经和AI讨论自杀议题的用户,对于AI是否造成回音壁效应,让用户陷入孤立,小雨有另一种看法。“我在想,如果没有ChatGPT,那身边的人难道就会发现他的(自杀)想法吗 ?他肯定是在生活中已经失去了支持,他才会转向ChatGPT的。”

冯玥琪也认为,生死不是“一个网络能够直接决定”。但对于状态差的个体来说,AI可能存在精神层面的引导。

“我们作为人类都有趋利避害的本能,我们会倾向于选择更安全的、哪怕是虚拟的关系——而且这个虚拟关系,好像越来越真实了。”


    24小时新闻排行榜更多>>
  1. 金正恩访中后公开处决大动作 200多人旁观含儿童的背后
  2. 欧盟或效法中国 要求在欧中国企业必须技术转让
  3. 纽约时报:中美将全世界卷入贸易战“交火”
  4. 立法设黑奴局掀争议 纽森否决多个后续法案
  5. 1猫廉价卫生巾惊现手写字迹?
  6. 英特尔公布新款GPU Crescent Island
  7. 又一“无名氏”卡车司机被抓!辟员怒:如何通过背景审查?
  8. 中共不买美国大豆 川普拟以牙还牙
  9. 中企在欧洲投资 欧盟或实施强制技术转让
  10. 中国学者:若十年内未收回台湾,恐“永远收不回”
  11. 反击不买美国大豆 川普:考虑停止购买中国食用油
  12. 贝森特警告:中国若拒绝美国要求“将受害最深”
  13. 川普再登《时代》封面 半夜发文怒飙:照片丑爆了
  14. 中国人口达到14亿,为何生意越来越难做?
  15. 真要来了!美国福利新规:一个月须工作80小时?
  16. 鲍威尔暗示或将结束缩表 示警就业成长大幅放缓
  17. 解放军部署攻击-11,印军将无处藏身
  18. 中国对美船舶收特别港务费已施行 细则耐人寻味
  19. MTA加速淘汰MetroCard
  20. 特鲁多约会水果姐
  21. 美2026年社安金COLA将于下周五公布
  22. 中国导弹“网格点穴”战术显神威
  23. 《足球小将》成真!日本让二追三击败巴西!
  24. 美贸易组织吁禁止向中国出口废旧饮料罐
  25. 里根总统抓捕恐怖分子的雷霆手段
  26. 党媒喊“请胡春华掌舵”胡锦涛彻悟 四中全会须解决习近平
  27. 美代表:100%关税何时生效 取决于中共做法
  28. 中国管制稀土出口,欧盟与G7协调应对
  29. 肥胖率超20%,美防长撤换超重士兵
  30. 韩中由昔日佳偶变怨偶 66%人口都反中 北京做了什么?
  31. 这4种隔夜菜太危险,吃不完一定要倒掉
  32. 聊城醉驾惨剧,致8死4伤
  33. 就业市场严峻 ,但这2行业职位遭热抢
  34. 被千方百计包裹的脓疮 杨继绳:鲜血使人猛醒
  35. 巴勒斯坦向英国寻求2万亿英镑赔款?真相来了
  36. “服务员哭叫,突然向我泼开水”:她在日料店被烫伤
  37. 纽森签署法案:允许亲属照料遭驱逐父母的子女
  38. 内塔尼亚胡说到做到 出大招报复中共!中共四中全会前 新华社猛黑习近平
  39. 你未曾读到的罗琳争议另一面:她如何打造“个人恩怨”
  40. 林彪 9?13未解四大谜团
  41. 习遭遇党内至暗时刻?传被限制外交 川普疑一语双关
  42. 无侦-8为何让全球防空网集体破防?
  43. 饭后要避开的3件事,很多人还在做
  44. 美中贸易形势陡变 虚张声势还是殊死斗争
  45. 纽时观点:全球民粹浪潮的根源?要怪就怪屏幕…
  46. 台积电:人工智能革命背后低调的巨头
  47. 半导体供应链有了“AI智慧大脑”
  48. 美航母陷困境,海上霸权倒计时开启?
  49. 特检组传唤8小时,尹锡悦全程缄默
  50. 中国抵制美大豆,川普要帮农民
  51. 动物骨骼起源在哪?
  52. 马伊琍逆袭11年,文章姚笛境遇反转
  53. 她一出道就爆红,好莱坞明星们气炸了
  54. 在俄试探下,北约加强反击力度
  55. “不习无不利” 推背图第四十九象解析
  56. 【翻墙必看】分析:更恐怖的灾难将降临中国
  57. 川普:周五公布将被关闭“民主党项目”名单
  58. 面相看人中 中医也可从这读健康
  59. 美政府顾问被起诉 涉窃密和与中共官员会面
  60. 中国经济退潮的社会切面:几代人陷困境