研究提出OmegaUse-SOP系统:将人类专业软件操作演示转化为GUI智能体可复用技能
来自百度及相关机构的研究者开发了人类在环的SOP工程系统,可将专业软件中的专家操作转化为GUI智能体可执行的技能,并在电力行业光伏仿真软件PVsyst 7.2中验证了可靠性提升。
AI解读:GUI智能体(能操作电脑界面的AI)在处理日常通用任务上进步明显,但面对专业领域软件时常常失灵,因为这类软件的操作依赖隐含的行业知识、特定的软件惯例和任务级验证要求,通用模型没学过这些。这篇论文提出的OmegaUse-SOP相当于给智能体"录制教学视频":让人类专家在PVsyst这类专业软件中操作一遍,系统记录操作轨迹,把低层鼠标点击抽象成一步步语义指令,并加入行业规则和任务参数,最终生成可重复使用的"技能"供智能体执行。对电力、建筑等依赖专业软件的行业来说,这意味着不必为每个新流程重写代码,而是靠专家演示就能教会AI完成光伏仿真之类的特定任务。但目前这仍是研究阶段成果,仅在PVsyst 7.2的光伏仿真流程上做过验证,能否推广到其他软件和更复杂流程,论文没有给出效果数据,读者不必据此立刻调整工作方式。
9月2日提交至arXiv的一项研究(编号arXiv:2609.02149)介绍了OmegaUse-SOP,一个用于将人类专业电脑操作演示转化为GUI智能体可复用技能的人类在环SOP工程系统。该系统论文已被EMNLP 2026 demo track接收。
研究团队包括Yixiong Xiao、Hua Wu等来自多个机构的作者。OmegaUse-SOP借鉴提示工程(prompt engineering)的思路,通过迭代优化演示、执行规则和领域知识,将专业标准操作流程(SOP)转化成GUI智能体可复用的技能。
为验证效果,研究团队与一家电力行业客户合作,在光伏仿真软件PVsyst 7.2上进行了测试。结果表明OmegaUse-SOP能提升GUI智能体在专业SOP任务上的可靠性,论文称这为在特定领域专业软件环境中部署GUI智能体提供了一条可行路径。