OpenAI与微软加入英国AI安全研究所对齐项目,承诺提供新资金

英国AI安全研究所宣布OpenAI和微软加入其国际对齐项目,OpenAI承诺提供560万英镑,项目总资金超过2700万英镑,支持约60个研究项目。

AI解读:AI对齐是确保AI系统按人类意图行动的关键技术,但难度大且缺乏统一标准,这限制了AI在公共服务等领域的应用。英国AI安全研究所通过聚集政府资金和企业捐款,建立国际研究网络,试图降低单个机构独立解决对齐问题的风险。OpenAI和微软的加入,加上此前CIFAR、Anthropic、AWS等机构的支持,使项目总资金超过2700万英镑。对研究人员而言,这意味着有更多经费和算力资源可用,且有机会获得AISI科学家的指导。对外部观察者,这是AI安全领域国际合作加强的信号,但资金规模与前沿AI研发投入相比仍有限,项目成果能否有效防止AI失控尚无公开数据支撑。

英国AI安全研究所(AISI)2月20日宣布,OpenAI和微软加入其发起的国际对齐项目,为该项目提供新资金支持。这一消息由英国副首相David Lammy和AI大臣Kanishka Narayan在印度AI影响峰会闭幕当天公布。

OpenAI承诺提供560万英镑,微软和其他机构也提供支持,使项目可用资金总额超过2700万英镑。项目资金用于支持约60个研究项目,确保AI系统按照设计意图运行。首批拨款已授予来自8个国家的60个项目,第二轮申请将于今年夏季开放。

OpenAI研究副总裁Mia Glaese表示,随着AI系统能力增强和自主性提高,对齐研究必须跟上步伐,最困难的问题无法由单一组织独立解决,需要独立团队测试不同假设和方法。

对齐项目的目标与支持方

AI对齐指引导先进AI系统可靠地按人类意图行动,避免意外或有害行为,是AI研究的关键领域。AISI对齐项目于去年夏天首次宣布,由世界级专家顾问委员会领导,包括Yoshua Bengio、Zico Kolter、Shafi Goldwasser和Andrea Lincoln。

除OpenAI和微软外,支持对齐项目的国际联盟还包括加拿大高等研究院(CIFAR)、澳大利亚工业、科学和资源部AI安全研究所、Schmidt Sciences、亚马逊云服务(AWS)、Anthropic、AI安全战术机会基金、Halcyon Futures、Safe AI Fund、Sympatico Ventures、Renaissance Philanthropy、英国研究与创新署(UKRI)和高级研究与发明局(ARIA)。

项目结合研究拨款、算力基础设施访问和AISI科学家的持续学术指导,推动对齐研究进展。

查看原图 · 960 × 640

信息来源