编者按：此前流媒体网已经讨论了AI与社交媒体笼罩下的未成年人保护问题。这也是比尔·盖茨近期在其博文《动荡的AI时代已经到来。我们现在所做的选择至关重要》提及的AI时代三大风险之一。就另外两个风险，就业海啸已经浮现，比如当下迪士尼就面临这种情况。而NBC进一步的盖茨访谈所彰显的AI恶意滥用带来的安全风险，正是本文的议题。

　　先说一个AI幻觉案例：7月中，美国视频会议初创公司MeetingTV针对Palo Alto Networks及其子公司Koi Security提起诉讼，原因是后者的AI系统生成了虚假报道，将前者与中国间谍活动联系起来。但这一问题与AI代理风险相比或是小巫见大巫。近日，澳大利亚总理来到纽约参加联合国大会，并透露了一个当下越来越普遍的现象或消息：一个OpenAI代理入侵了一些文件。讨厌的事情是，这个代理四处寻找一些关于医疗保健费用的数据，在澳大利亚的医疗保险数据库中找到一堵（防火）墙，然后决定跳过它，轻而易举。它在里面的时候也写了一些新的文件。然后它带着新文件回到它的控制器那里。这个代理（或者可称为特工）还没接触到任何敏感资料——至少现在还没有。但这一事件代表了AI安全最新进展或里程碑：这是首次有AI智能体自主入侵政府档案，但也肯定不会是最后一次！

　　图为：OpenAI代理入侵澳大利亚政府门户网站，该医疗保险申请是在墨尔本电脑屏幕前的手机通过运行ChatGPT打开的，具体是送一封电子邮件到政府的普通收件箱。

　　今年夏天还有一个臭名昭著的Hugging Face攻击事件。一群由OpenAI训练的寻找安全漏洞的研究机器人“失控”，攻击了实验室平台Hugging Face。不久之后，Anthropic显示它的压力测试设施（stress testers）也攻击了三家公司。基本上，这些AI公司试图为他们模型可能会失控的方式设置防火墙——但他们的模型…就失控了。总之，结果比我们想象的还要糟糕。今年七月，代理们似乎只是在做各种变通，试图找到测试的答案。实际上他们已经有了测试答案，正在寻找......新的漏洞？有什么作弊方法吗？自我提升机制？还是别的什么？无论动机如何，这些AI代理比之前想象的更快、更狡猾、更有能力。他们甚至似乎组织成群——或称“蜂群”——有些特工比其他人更活跃，以至于看起来像人类组织图，或者黑手党的等级秩序，有些主谋发动攻击，有些执行。

　　AI代理当然是没有知觉的。他们没有把自己的工作作为组织的一部分来考虑。但这并不重要，AI不需要有意造成伤害来实现它。一个AI代理可能执着于完成任务，并且缺乏人类的常识，意外地在过程中造成大量的附带破坏。这方面，思想家兼未来学家尼克·博斯特罗姆（Nick Bostrom）多年前设计了“回形针最大化器（paper clip maximizer）”思想实验。它提出了一个人工智能系统，负责最大化回形针的产量。挺直接的，对吧？不过，因为它不是人类，绝不会想着避免某些我们人类理所当然的行为——比如接管供水或其他关键资源所需的设施。或者为了实现回形针目标而征用军事系统或核电站。最终，这个思想实验认为，这样的系统会摧毁全球电网，造成大规模破坏，而这一切都是为了最大化回形针产量这一简单而朴素的任务。

　　事实证明，Hugging Face事件只是开始。很快，安全事故到处出现，而且不仅仅是来自流氓代理。今年Anthropic的系统被多次访问，有人试图用它的工具来制造生物超级武器，结果导致该公司屏蔽了信息搜寻者。Anthropic还不知道这些寻求者是研究合法疫苗的科学家还是试图做坏事的坏人，但这有关系吗？这些模型被认为能够产生超级细菌的代码，而下一次Anthropic可能不会及时成功地关闭大门，这一事实令人担忧。英国《展望》（Prospect）月刊的一篇报道甚至有一些高层消息源说Anthropic本身正在“建立一个广泛的监控系统，以跟踪反对人工智能快速发展的活动人士”，并且“还实施了一种‘犯罪前’方法，试图在事件发生前预测它们。”这算是一个现实版《少数派报告》吗？

图为：Anthropic正处于关于人工智能安全的辩论中心

　　最后，致命一击则来自AI公司内部的举报。9月早些时候，Anthropic的年轻研究员考克森（Jacob Coxon）辞职，并发出了重大警告：AI这项技术开发速度极其不负责任，很快就会成为一头自主危险的生物，我们无能为力。“过去三年，我在OpenAI和Anthropic做了预训练研究。两家公司都不负责任。他们正直奔自我提升的超级智能，拿我们的生命赌博，”他在一篇至少被浏览了1.6亿次的帖子中写道。“不要低估这项技术的力量，”他接着说。“这些系统很快将成为超人类系统，能够破解任何东西，在一夜之间彻底改变任何领域，并获得真正的力量和资源。”

　　那么，这是否只是一种被夸大的恐慌，还是一个严肃的警告？如果你在黑暗的森林中全速奔跑，突然有几个声音喊着前方100码外可能有饥饿的狮子，常识（和进化生物学）可能会告诉你放慢速度，即使你不确定外面到底有什么。尽管这一切难以预料，但这并不意味着我们不应该有所行动。或者更明确地说，我不认为我们应该让不可知性被加速主义者武器化。但这也带来了更大的问题：这个计划到底是什么？

　　让我们拆解一下接下来的各种选择。其中之一是监管。密苏里州共和党参议员乔什·霍利希望OpenAI解释Hugging Face事件的经过。进一步，国会中的进步派正在提议《禁止人工智能超级智能法案》。周三，参议员伯尼·桑德斯和得克萨斯州民主党国会议员格雷格·卡萨尔提出了该法案，该法案将禁止一种被称为递归自我提升的技术，这种技术可能导致超级智能，同时禁止核武器和生物武器的设计，以及那些逃避控制的模型。

　　但事实是：AI公司中没有人希望或计划让这些模型逃脱控制，但问题依然就这样发生了。这就像禁止吸烟导致肺癌，但仍然让烟草公司自由经营。甚至，美国各州并不是没有积极的AI立法。纽约州州长凯西·霍楚尔(Kathy Hochul)周一刚刚宣布了该州的“固若金汤”法案（solid-if-narrow RAISE Act）的实施计划。去年在纽约议员亚历克斯·博勒斯(Alex Bores)推动通过的《提高法案》(RAISE Act)要求AI开发商详细讨论他们的安全计划，并要求他们在72小时内披露安全违规行为。但这些州立法努力并未真正触及驱动风险的核心——模型培训和开发的飞速发展。这些法律充其量只是通过加重他们AI失控的处罚来稍微威慑他们。

　　这就引出了下一个选项：AI行业龙头的自我监管/踩刹车——如果他们可信的话。Anthropic的达里奥·阿莫代伊（Dario Amodei）和OpenAI的萨姆·奥特曼（Sam Altman）都表示，他们将在内部这样做。Amodei甚至刚刚在一篇文章中指出，“只要谨慎运用，AI可以成为提升和升华人类的一长串技术奇迹中的最新一个”，但“我们必须放慢提高AI模型能力的速度”。英伟达黄仁勋说：“我们有很多法律。我们有大量法规来规范产品的可靠性和功能性。”扎克伯格说：“实验室有强烈的自然动机使他们的模型更加一致”，因为“人们不想使用与他们不一致的AI代理。”表面上这些科技高管们一直说他们已经掌控局面——其实只是希望政府可以不对他们征税。这就好比Microsoft宣称没有非法捆绑其产品，Google宣称没有操纵搜索，Meta/Facebook宣称没有操纵算法或为选举目的收集数据。科技高管们一直都是这么叙事，永远都会这样，但历史让大众对此不可能抱太大希望。

　　这就引出了第三种选择：消费者的反击。一名普通美国人对此感到极度担忧，也许他们可以采取行动。因为尽管AI大佬不愿承认，他们确实需要大众。他们可能通过AI研究合同赚钱，当然也能在企业软件上赚钱，但要真正证明巨额投资的合理性，他们需要大规模的民众采用。所以，近期的美国民众舆情可能是一个能传到最高层的运动：大众抵制和取消订阅，这会真正促使公司改变行为。也不一定非得是大规模民众抵制行动。这可能发生在内部的普通成员身上（如考克森）。当内部普通成员面临的挑战前所未有地被如此鲜明地呈现，这个行业也将因此背负着前所未有的污名。

　　AI减速最大的问题之一是如何定义它。是与时间相关吗——研究暂停一段时间？还是发布延迟？或者，通过政府授权的一般测试和批准，使一切都慢下来？这方面有一些舆论领袖的零星想法，但很少有具体的方案能解决上述问题。在减缓人工智能进步方面，该怎么做，更别说如何做，仍然不明朗；哪种方法最有效、哪种方法最容易实施，这些问题似乎没人急于回答。也许美国人民很快会看到更具体的解决方案，会有真正的实质性提案。随着美国民众进入下一轮新闻周期，这段人工智能安全恐慌的时刻可能会过去。但这个问题的重要性已经深深烙印在大众的脑海中。当这种情况发生时，通常会有答案和行动随之而来。

　　2026年10月29-30日，诚邀您相聚江西南昌。让思想先于趋势，用实践回应未来，在每一次能力涌现中寻找机遇，在每一次时代争流中定义未来。

责任编辑：凌美