立场论文:AI智能体正让人类监管者认知能力退化,“人在回路”并非简单解法
arXiv上传的一篇立场论文认为,当前AI智能体系统不仅阻碍有效人类监督,长期使用还会削弱监管所需认知能力,呼吁将人类监管者需求与AI能力置于同等优先级。
AI解读:AI智能体自主性越强,风险越大,常见的解法是“把人类留在回路里”进行监督。但这篇立场论文指出,这个解法本身有问题:现有智能体设计让人类很难真正有效监督,而且长期依赖AI系统还会让监管者自己的判断力、警觉性等认知能力退化——也就是俗称的“技能萎缩”。作者主张,开发AI智能体时不能只追求能力,要把监管者的人类需求也当成一级优先,并从界面设计、组织流程上想办法支持监管者保持批判性判断。对具体做AI产品、部署智能体的团队来说,这意味着不能把“有人审核”当作免责条款,而要在设计阶段就考虑人类监督员怎么看清上下文、何时介入、如何防止他们变成只看绿灯的摆设;对普通使用者而言,这篇论文提醒的是,AI越能干,越要警惕自己逐渐失去把关的能力,但论文本身并没有给出具体的效果数据,只是一份呼吁性的分析。
8 月 24 日发布、9 月 2 日更新的一篇arXiv立场论文(编号 2608.23642)提出,随着AI智能体被赋予越来越多自主权,其风险显著,而普遍推荐的“人在回路”方案并不简单——AI智能体的现有设计既妨碍有效人类监督,长期使用又会削弱监督所需的认知能力。
论文主张:现有系统主动导致监督能力退化
该论文由Margaret Mitchell、Avijit Ghosh和Samir Passi撰写,定位为立场论文(position paper),不包含实验数据。核心论点是:AI智能体系统当前的发展与部署方式不支持有效人类监督,反而对其退化有贡献。
论文将自动化与人类-计算机交互的研究成果引入AI智能体流程,提出了设计层面的可供性(affordances)与组织协议,目标是支持监管者行使批判性判断,并抵消因长期使用自动化而产生的技能萎缩。
- 作者呼吁开发者与部署者采用这些或类似方案;若缺乏对人类-智能体交互认知需求的显式支持,AI智能体系统会继续被动地激励人类技能退化。