LangSmith Engine更新:问题检测能力翻倍,新增Slack与Linear集成
LangChain宣布其代理分析工具LangSmith Engine自5月发布以来性能大幅提升,现已在自托管部署中可用,并支持Slack和Linear工作流集成。
AI解读:LangSmith Engine是LangChain平台内用于分析AI代理运行轨迹(traces)的智能体,它自动扫描海量数据,找出代理出错的地方并给出修复建议。这次的更新核心是性能翻倍和集成扩展:内部基准测试显示,它识别重要问题的能力提升了一倍多,在公开基准Terminal-Bench上修复建议的质量提升了25%。对工程师来说,这意味着不用再手动翻查成千上万条运行记录来找bug,Engine能直接指出问题位置、给出带证据的诊断,并生成可直接部署的修复PR。新增加的Slack通知和Linear工单集成,让团队能在现有工作流里直接处理这些问题。自托管客户现在也能在自己的VPC内运行Engine,满足安全合规要求,但推理请求仍会发送到LangChain的托管服务LangSmith Intelligence。需要注意的是,这些性能数据来自LangChain内部基准,实际效果会因代理场景而异;Engine适合已有一定数据量的生产环境,对没有历史轨迹的新项目帮助有限。
LangChain于5月发布的平台内代理分析工具LangSmith Engine迎来重要更新:内部基准测试显示其问题检测能力提升超过两倍,修复建议质量在公开基准上提高25%。该工具现已面向自托管客户开放,并新增Slack通知和Linear工单集成。
性能提升与使用数据
据LangChain官方博客,Engine自5月发布以来已扫描超过6000万条代理轨迹,在客户代理中发现超过2万个问题,据称节省了数万小时的工程工作量。
LangChain通过内部基准(如IssueBench)评估Engine的问题识别与分组能力,并对修复建议进行测试。自发布以来,Engine在IssueBench上的得分提高了一倍以上,其修复建议在Terminal-Bench等公开基准上的得分提高了25%。
新增功能与部署选项
Engine现在支持自托管部署,编排过程在客户VPC内运行,并通过LangChain的托管服务LangSmith Intelligence(零数据保留)进行推理。
集成方面,Engine可将检测到的问题通过Slack通知工程师,并自动在Linear中创建问题单以便跟踪修复。
新增的Reduced Analysis模式允许团队扫描更少的轨迹以降低成本;Issue Hygiene功能会自动关闭不再出现的过时问题;与追踪的集成更强,Engine会指出问题在LangSmith轨迹中的具体位置。
Engine面向所有LangSmith Plus和Enterprise计划用户提供,支持SaaS和自托管部署。