LiteLLM发布v1.100.0:新增Bing Grounding搜索、支持Vertex AI Interactions API,并改进Docker镜像签名验证
LiteLLM v1.100.0引入Bing Grounding搜索提供方、原生Vertex AI Interactions API支持,以及多项代理、UI和日志修复。所有Docker镜像现在都使用cosign签名,并可通过固定提交哈希或发布标签进行验证。
AI解读:LiteLLM是一个统一的大语言模型网关,此次v1.100.0更新主要面向需要对接更多提供方、且对供应链安全有要求的团队。最直接的亮点是新增了两个提供方:Grounding with Bing Search(bing_grounding)作为搜索提供方,以及原生Vertex AI Interactions API支持——这意味着你可以直接通过LiteLLM调用Google的该接口并产生费用追踪。对运维人员更重要的是安全变化:所有Docker镜像都用cosign签名,且每次发布都用同一个密钥(自提交 0112e53起固定),你可以在拉取镜像时用 `cosign verify` 指定固定提交哈希或发布标签来校验镜像来源,避免供应链攻击。此外,这次还有大量细节修复,比如UI在暗色模式下显示团队/组织的tpm/rpm限制为 0 而不是'无限'、修复S3对象键百分号编码导致签名URL不匹配、在Anthropic桥接中保留tool_result文档块等,涉及代理稳定性、费用归属和数据完整性。对于使用这些特定功能的团队,建议阅读发布说明中的相关修复;普通用户只需要知道这是一个例行大版本更新,不包含破坏性变更(除了移除内部模块prompt_token_calculator),可以先在测试环境验证与自己配置相关的修复项。
开源LLM网关项目LiteLLM于 2025 年发布v1.100.0,重点更新包括新增两个提供方支持、Docker镜像签名验证机制,以及一批针对代理、UI和日志的修复。
在安全方面,所有LiteLLM Docker镜像现在都使用cosign签名,且每个发布都使用自提交 0112e53引入的同一密钥。建议通过固定提交哈希或发布标签(如 `v1.100.0`)运行 `cosign verify` 以验证镜像签名。
新增提供方支持
本次更新新增了Grounding with Bing Search(`bing_grounding`)作为搜索提供方,以及原生Vertex AI Interactions API支持,后者可以对Google的Interactions API请求进行费用和支出追踪。
主要修复与代理改进
多个修复涉及代理行为与费用记录:修复Databricks对缓存token以缓存费率计费并补充缺失的Claude定价;修复Anthropic `/v1/messages` 桥接中think块往返传输及 `tool_result` 文档块保留;修复Bedrock在finish_reason块后发出空助手delta的问题;修复Azure Model Router在花费日志中记录实际选中的模型。
针对代理安全与稳定性,修复了凭证透传时不暴露虚拟密钥、重试面包屑中不复制转发凭证、以及JWT支持通配符前缀的 `team_allowed_routes`。另修复S3 v2中对象键被多次百分号编码导致签名与发送URL不匹配的问题。
新增了一个异步钩子 `async_post_call_failure_deployment_hook`,用于在部署调用失败后执行自定义逻辑。
UI与团队管理修复
UI修复包括:主题化的创建密钥框使其适配暗色模式、恢复添加模型流程中公共模型名称提示布局、将团队和组织的tpm/rpm限制为 0 正确显示为 0(而非'无限')、密钥轮换后详情URL指向正确哈希、以及聊天泡泡主题适配。
Terraform的 `litellm_team` 新增 `soft_budget`、`tags` 和 `soft_budget_alerting_emails` 字段。SCIM相关修复包括组转换响应中返回user_id,以及POST /Users携带成员资格时保留现有团队成员关系。
工具使用与模型参数修复
修复了Anthropic响应桥接中服务端完成的工具调用缓冲问题,防止检索工具调用到达客户端;并为同时支持reasoning_content的内部thinking字段剥离做了处理,避免Together AI模型请求中发送内部字段。