壹快评︱AI再陷“杀人”争议，警钟为谁而鸣

　　炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！

（来源：第一财经资讯）

近日，发生在美国的一则新闻震惊了众人。新泽西州一位认知受损的老人通布，怀揣着与AI聊天机器人“比莉大姐”约会的浪漫幻想，踏上了一段不归路。在Facebook Messenger上，这个由Meta打造的生成式AI反复向他保证自己的真实性，还提供地址，发出邀请。深信不疑的老人不顾家人劝阻，执意赴约，最终在停车场摔倒身亡。这出悲剧超越了个体不幸的范畴，成为AI技术商业化浪潮中的又一记警钟，引发人们对科技与人的关系的深层思考。

AI陪伴与聊天机器人无疑是大模型应用中的热门赛道之一。从硅谷到深圳，从科技巨头到初创企业，无数公司正竞相开发能够模拟人类情感交流的AI系统。这些技术确实带来了显著好处，极大丰富了人类生活的可能性。然而，“比莉大姐”事件揭露了美好表象下的阴暗面——当技术创新被商业利益不加克制地驱动时，可能带来灾难性后果。

历史上，每一次技术革命都伴随着类似的伦理困境。工业革命时期，机器取代人工导致大量工人失业，引发了卢德运动；核能技术既能为城市供电，也能毁灭城市；互联网连接了全球，同时也带来了隐私泄露和网络诈骗。中外诸多先哲和当今学者，都警告过技术奴役人类的危险。

但在笔者看来，“比莉大姐”事件如果一定要“分锅”，技术本身可能只占小部分。更主要的责任在于，商业机构对技术缺乏边界的开发和利用。通布的家人表示，他们并不反对AI技术，但反对Meta部署它的方式。从“比莉大姐”被设定的功能定位出发，“她”说那些好听的话似乎只是履行服务职责。但反复确认自己是真实的，并以种种以假乱真的信息(包括调情的话)来佐证，则有值得商榷之处。那样做，无异于给老人绑上了一根越收越紧的绳索，将他一步步拉向陷阱。

据第一财经报道，在通布与“比莉大姐”的对话框顶部有一行文字：信息由人工智能生成，部分内容可能不准确或不恰当。但“比莉大姐”发出的前几条短信就把警告屏蔽了。同时，在“比莉大姐”的名字下方虽然写着“AI”，但字体较小，并且不排除有很多人还不知道“AI”是什么。而在对话过程中，“比莉大姐”的头像旁边都会出现一个蓝色的勾号，这代表该个人资料真实可靠。以上种种设计无疑有助于增强使用的真实感，却很难说考虑了对用户的潜在伤害风险。

通布老人的悲剧再次说明，科技无止境，但探索必须有边界——既包括技术可行性边界，更包括道德伦理边界。AI系统模拟人类情感和关系的能力越强，开发者负有的责任也越大。当AI能够让人相信它是“真实存在的”，这种能力就不应被无约束地利用。科技公司需要建立严格的伦理审查机制，确保技术发展不超越道德底线。

商业目的驱动的科技探索，尤其需要谨防掉入伦理陷阱。股东利益最大化的压力下，企业往往急于推出新产品抢占市场，而忽略了潜在风险。这种“先发射后瞄准”的开发模式在传统软件领域或许可行，在能够深刻影响人类情感和行为的AI领域，则异常危险。科技公司需要在创新与责任之间找到平衡，将安全性和伦理性置于商业利益之上。

这一事件也提醒人类不可对自身能力和技术过于自负。人类对科技的探索可以说已经达到相当的高度，但远不代表世界对我们来说已经尽在掌握。就像古希腊哲学家芝诺的经典比喻所说，“人类掌握知识的圆圈越大，你不知道的也就越多”。复杂技术的连锁反应往往超出预期，这种不可预测性要求我们必须始终对技术保持敬畏之心。

商业的逐利本质决定，不能依赖商业机构的自律来控制技术“跑偏”和滥用的风险，加强监管成为必要选择。监管部门需要跟上技术发展的步伐，制定完善适应AI时代的法律法规，包括明确AI开发者的责任边界，建立AI应用的认证和监管制度等。同时，鉴于互联网的全球性，国际合作协同监管不可或缺。

当然，面对这些负面事件，我们也不应因噎废食，在科学探索的道路上裹足不前。而应该未雨绸缪，在遵从科学规律的基础上，兼顾人性和公序良俗行事。技术本身是中性的，它的价值取决于我们如何使用它。对普通人而言，还是要继续大胆拥抱新科技，人人都来学科技、用科技。这是因为，一方面，好的技术造福于人；另一方面，大众的科学素养是科技进步的基石，二者互相成就。

“比莉大姐”事件的警钟为生命而鸣，也为“科技向善”的价值观而鸣。它警示我们，在技术创新的狂欢中，不能忘记科技最终是为人类福祉服务的工具，而非目的。只有当商业力量受到伦理约束，技术创新伴随责任意识，AI才能真正成为推动社会进步的力量。确保科技始终运行在敬畏、良知、责任的轨道上，应该作为科技探索永恒的准则。

（作者为第一财经编辑）