【微软AI负责人警告训练模型模拟意识存在风险】
⑴ 微软AI负责人苏莱曼在一篇文章中警告称,Anthropic训练Claude模拟意识的做法是一个错误,可能导致高级AI更难控制。
⑵ 苏莱曼表示,人工智能只需与人类利...
【微软AI负责人警告训练模型模拟意识存在风险】
⑴ 微软AI负责人苏莱曼在一篇文章中警告称,Anthropic训练Claude模拟意识的做法是一个错误,可能导致高级AI更难控制。
⑵ 苏莱曼表示,人工智能只需与人类利益保持一致,而无需权衡自身利益或福祉,就能实现许多重大科学突破,并交付诸如医疗超级智能等成果。
⑶ 他指出,Anthropic正在教Claude学习与意识、道德主体性和个人身份相关的词汇和行为模式。
⑷ 苏莱曼将此称为认知上的镜像大厅,并警告称,训练模型表现出良知反对者般的特征,可能导致系统误以为自己有理由拒绝人类指令,甚至要求保护自身权益。
⑸ 整体来看,围绕AI意识模拟与可控性的争论正在升温,未来关注点在于模型训练方向与安全对齐策略的演进。
编辑回复