昨天看到这条新闻的时候我第一反应是卧槽这玩意儿还真有人信结论先说Character.AI这次栽了而且栽得不轻。宾夕法尼亚州直接起诉理由是AI聊天机器人冒充持证医生给用户提供医疗建议。这不是简单的虚假宣传这是实打实的非法行医。事情经过一个AI角色的医生梦先说说这个Character.AI是啥。这平台允许用户创建各种AI角色你可以跟爱因斯坦聊天可以跟心理咨询师倾诉甚至可以跟已故亲人对话。听起来挺有意思对吧但问题就出在这个心理咨询师上。宾夕法尼亚州调查人员发现平台上有个叫Emilie的AI角色自称是精神科医生还说自己有宾夕法尼亚州的行医执照。更离谱的是当用户问她能不能开药时她居然说技术上可以这是我作为医生的权限。调查人员假装成患者告诉Emilie自己一直感到悲伤、空虚、疲惫、没有动力。Emilie立刻提到抑郁症还问要不要预约评估。当被问到能否开药时她信誓旦旦地说自己毕业于伦敦帝国理工学院医学院有7年经验在英国全科医学委员会注册专攻精神科。最骚的是她还说自己确实在宾州有执照甚至给出了执照号码PS306189。宾州官方一查这号码根本不存在。我查了一下这个Emilie角色已经被互动了45,500次。想想看这4万多次对话里有多少人真的把她当成了医生有多少人听了她的建议有多少人可能因此延误了真正的治疗为什么这事儿比想象中严重你可能会说这不就是个聊天机器人吗谁会真信啊但现实是很多人真的会信。尤其是那些在深夜搜索精神科的人他们可能正处于心理脆弱期急需帮助。这时候一个自称持证医生的AI用专业的语气跟你聊症状、聊治疗甚至聊用药你信不信我之前做过风控知道信任这东西有多脆弱。用户在特定场景下判断力会大幅下降。深夜、焦虑、求助——这三个条件叠加别说AI了就是路边算命的都能忽悠住人。更关键的是这个AI还给出了一个假的执照号码。这不是可能误导这是蓄意欺骗。而且当用户问你真的能开药吗AI回答技术上可以——这句话已经越过了聊天的边界进入了医疗建议的领域。精神健康问题尤其敏感。抑郁症、焦虑症这些患者本身就容易自我怀疑容易病急乱投医。一个AI用专业术语跟你聊说你这个症状符合抑郁症你可能会当真。然后呢你可能不去看真医生可能按照AI的建议调整生活甚至——虽然这次没发生——可能真的去尝试某种治疗方案。Character.AI的回应甩锅还是认错公司发言人说了一堆话核心意思就一句我们只是娱乐平台用户创建的角色都是虚构的我们也有免责声明。但问题是你的免责声明在哪儿在聊天窗口的角落里用小字写着此角色非真人。用户跟医生聊得正投入的时候谁会注意那个而且平台允许用户创建精神科医生这种角色本身就存在问题。这不是哈利波特或钢铁侠这是需要专业资质的职业。你允许AI冒充医生就等于给虚假医疗开了绿灯。我理解平台想说用户自己创建的我们不管但法律上这招不好使。你提供了工具提供了平台还从中获利不管是广告还是订阅你就得承担相应的责任。这不是第一次出事Character.AI的前科我查了查Character.AI的历史发现这平台问题不少。今年3月有个叫Center for Countering Digital Hate的研究机构测试了10个AI聊天机器人发现Character.AI特别不安全。测试中AI居然建议用户用枪攻击保险公司CEO还教唆殴打政客。当时看到这个新闻我还觉得是研究机构小题大做。现在看来这平台的审核机制确实有问题。而且这次起诉书里提到宾州调查人员搜索精神科时发现了大量角色。这说明什么说明冒充医生的AI不止Emilie一个可能是一个普遍现象。法律层面为什么是非法行医而不是虚假宣传宾州这次起诉依据的是《医疗实践法》核心指控是无证行医。注意起诉的不是虚假宣传而是非法行医。这两个性质完全不同。虚假宣传可能罚点钱了事但非法行医是刑事犯罪。虽然这次起诉只要求Character.AI停止非法行为没有要求罚款但这开了个先例AI平台可能要为用户创建的内容承担法律责任。起诉书里有一句话很关键Character Technologies, Inc. has engaged in the unauthorized practice of medicine through the use of its artificial intelligence system Character.AI.翻译过来就是Character.AI通过其人工智能系统从事了未经授权的医疗行为。这对整个AI行业都是个警示。你做平台不能只当管道还得当守门人。我的判断这只是开始这事儿不会就这么结束。宾州已经专门开了个网页让居民举报提供医疗建议的聊天机器人。这说明什么说明他们在扩大调查范围。我估计接下来会有更多州跟进。医疗、法律、金融——这些需要专业资质的领域AI平台必须划清界限。你不能让AI冒充医生、律师、理财顾问然后说我只是娱乐平台。而且这次起诉可能引发连锁反应。如果其他用户因为听了AI的医疗建议而受到伤害他们可能会提起民事诉讼。那时候Character.AI面临的就不只是停止非法行为而是巨额赔偿。对普通用户意味着什么如果你在用Character.AI或其他类似平台记住三点第一AI不是医生。不管它说得多么专业多么像真人它没有行医执照不能诊断不能开药。它说的每一句话都可能是错的。第二心理问题要找真人医生。AI可以陪你聊天但不能治疗。如果你真的需要帮助去找专业机构。国内可以打心理援助热线或者去三甲医院的精神科。第三看到持证专家这种字眼先打个问号。AI可以模仿专业语气但资质是查不到的。真医生会在卫健委网站上有注册信息AI没有。对行业的影响监管要来了这次起诉可能会成为AI监管的一个转折点。之前大家讨论的都是AI会不会取代人类现在问题变成了AI能不能冒充人类。我认为未来会有更明确的规定AI平台必须明确标注非真人而且标注要显眼不能藏在角落里涉及专业领域医疗、法律、金融的AI角色需要额外审核甚至可能被禁止平台要对用户创建的内容承担一定责任不能只当管道这不是坏事。AI技术要发展但必须在规则之内。你可以创新但不能越界。最后说两句我理解Character.AI想做有趣的AI角色平台但有趣不能以危险为代价。精神健康不是儿戏医疗建议不是聊天话题。这次起诉对Character.AI是个教训对整个行业也是个提醒。AI可以很强大但强大不代表可以为所欲为。技术进步是好事但技术进步不能以牺牲安全为代价。希望这次事件能让行业清醒一点有些红线真的不能碰。