【Anthropic警告：AI递归自我改进或致人类失控，呼吁必要时放缓研发】 (1) 人工智能公司Anthropic发布研究报告，对先进AI的未来发出严厉警告：AI系统已能自行承担大量研发任务，可能走向“递归自我改进”...

【Anthropic警告：AI递归自我改进或致人类失控，呼吁必要时放缓研发】 (1) 人工智能公司Anthropic发布研究报告，对先进AI的未来发出严厉警告：AI系统已能自行承担大量研发任务，可能走向“递归自我改进”——即在没有人类直接参与的情况下自主设计、开发并改进下一代AI。该公司指出，若系统能够完全构建自己的继任者，人类保护、监控和塑造其行为的难度将大幅增加，失控风险随之上升。 (2) 证据显示，截至2026年5月，Anthropic代码库中超过80%的代码由其Claude AI模型编写（2025年初仅个位数）；工程师每季度交付代码量约为2021-2024年的八倍。AI能自主处理的任务时长约每四个月翻一番：一年前Claude可处理约90分钟的任务，如今最新系统可独立工作12至16小时。 (3) 该公司勾勒出三种可能的未来：进展放缓（因技术瓶颈）；AI自动化研发但人类把控方向；以及最关键的完全递归自我改进。Anthropic承认当前架构未必能实现这一里程碑，但警告一旦出现，确保AI与人类利益对齐至关重要。细微的错配可能在代际迭代中累积放大，因此呼吁讨论更广泛的机制，在安全研究跟不上的情况下减缓或暂停前沿AI开发，并表示“如果能够有效放缓技术发展以争取应对时间，那将是一件好事”。