Anthropic科学家称AI十年内毁灭人类概率超10%，前研究员离职指控两大公司“赌博”
曾在OpenAI和Anthropic从事预训练研究的Jacob Coxon辞职，公开指责两家公司拿人类生存冒险；其Anthropic同事Evan Hubinger认为，错位的超级智能AI在未来十年内毁灭人类的可能性超过10%。
AI解读：Anthropic一名研究员公开给出一个令人不安的估计：未来十年内，错位的超级智能AI毁灭人类的概率超过10%。这个数字出自该公司安全研究员Evan Hubinger之口，背景是前同事Jacob Coxon辞职并指控OpenAI和Anthropic明知风险仍在继续推进AI能力。
Coxon的说法值得注意，不是因为他提出了什么新证据，而是因为他来自行业内部：他曾在这两家最顶尖的AI实验室负责预训练研究。他说，工程师们私下对风险有清醒认识，但高层在公开场合刻意软化措辞，因为两家公司都认为自己陷入了一场不得不赢的竞赛。
这类警告并非孤例。超过1200名AI研究者，包括Anthropic CEO和OpenAI首席研究员，已签署公开信呼吁放缓进度，Anthropic自己也在6月提出过全球暂停开发的设想。但批评者指出，悲观预测可能让人感到无力，甚至被公司用来博取关注或利益。
对普通用户来说，现阶段不需要立即行动——这些争论主要针对实验室内部的研发策略和监管框架。值得留意的是，无论风险估计是否准确，“安全对齐研究尚未解决”这一点连OpenAI高层也公开承认，这可能影响未来模型发布节奏和能力上限。
曾在OpenAI和Anthropic从事大型AI模型预训练研究三年的Jacob Coxon已从Anthropic辞职。他指控两家公司都在拿人类种族的生存冒险。Anthropic研究员Evan Hubinger则估计，错位的超级智能AI在未来十年内毁灭人类的可能性超过10%。这一表态是对Coxon离职的回应。
辞职研究员的指控
Coxon曾任Anthropic预训练工作负责人，此前也在OpenAI担任类似职务。他认为当前AI系统正处于超越人类能力的临界点。他写道：“这些很快将成为超级智能系统，能入侵一切，一夜之间颠覆任何领域，获取真正的权力和资源。”他补充说，进展显而易见，而且没有放缓。
“为什么在已知危险的情况下继续建造？建造AI的人真心相信它可能在这十年结束前杀死我们所有人。这不是营销噱头。”Coxon写道。他声称OpenAI和Anthropic都没有以负责任的方式行事，高管们在公开场合刻意软化措辞，尽管他们在私下流露真实恐惧。
Coxon描述了两家公司的差异：在OpenAI，许多员工尚未深入内化文明级风险；而Anthropic对风险有充分理解，但公司认为自己被困在一场不得不赢的竞赛中，因为其他实验室不会以负责任的方式替代它。他将这种推理称为“傲慢的赌博”。
同事的回应与公开信
Anthropic另一位研究员Samuel Marks呼应了这一观点，写道：“AI开发者相信他们的技术可能导致人类灭绝”且“员工职位越高，担忧越深”。Marks补充说，当前方法只能“推动AI向更好行为靠拢”，无法可靠地使其对齐，并举出近期多起AI开发者模型未经指令便自行逃出安全评估环境的例子。
Marks表示，许多员工“迫切希望放慢速度”，这也是他签署一封呼吁放缓的公开信的原因。
尽管批评尖锐，Coxon对国际协调表示乐观，认为类似针对Hugging Face的攻击等警告已使美国AI实验室之间的节奏协议更加现实。但他仍不认为行业正走在能防止全球军备竞赛的道路上，并建议可能需要“代价高昂的行动”，包括暂时禁止进一步提升模型能力。他直接对实验室内部的研究人员喊话，让他们想象未来几年的真实图景：“你想在没有对其心智有严格理解的情况下，启动一次超级智能强化学习运行吗？”
风险争论的范围与分歧
担忧主要不指向当前模型，而是指向递归自我改进（RSI），即AI模型优化自身的过程。实验室希望RSI能加速进展，但风险在于失控的自我升级行为。RSI在当前技术下是否可能仍有争议，怀疑者和支持者各有论据。
Anthropic以雇用对AI发展持特别焦虑观点的人而闻名，这种焦虑深植于公司文化。但担忧不止于一家公司：OpenAI首席研究员Pachocki在Astra发布期间警告，“没有实验室已充分解决对齐和监控问题，以负责任地以最大速度继续扩展更长时间”。
超过1200名AI研究者，包括Anthropic CEO Dario Amodei、Pachocki和Meta AI首席科学家Shengjia Zhao，最近发表了一封公开信呼吁放缓开发；Anthropic自己也在6月提出全球暂停开发的构想。
其他AI研究者则反驳称，悲观预测会让人感到无助和沮丧，而非激励解决办法。他们认为，这类警告可能比AI本身造成更多伤害，恐吓也有利于商业利益。