LiteLLM发布v1.100.0-dev.1：新增Bing Grounding、Vertex AI Interactions支持及多项修复
开发版镜像已用cosign签名，可用固定commit hash验证；版本还引入了per-team New Relic追踪路由、Gemini Family auto-router预设等改动。
AI解读：LiteLLM的这个开发版主要在扩接入面和修细节：新增了Grounding with Bing Search和原生Vertex AI Interactions API支持，意味着通过LiteLLM网关就能把搜索接地和Gemini的交互式API接进现有工作流，不用再单独写适配层。对运维方，镜像签名说明给出了用cosign和固定commit hash验证的方法，能确认拉到的镜像是官方原版。同时它还修了一类安全问题，比如Vertex直通时不再泄露调用者的虚拟密钥、日志里不再复制转发凭据。因为这是dev版，生产环境建议等稳定版（如v1.100.0）发布再升级，本次改动主要为测试和评估提供参考。
LiteLLM于 2025 年发布v1.100.0-dev.1开发版。该版本所有Docker镜像均使用cosign签名，签名密钥固定于commit 0112e53。官方推荐用不可变的commit hash验证镜像（命令见发布说明），也可用受保护的release tag验证。
功能方面，该版本新增Grounding with Bing Search（bing_grounding）作为搜索供应商，并加入原生Vertex AI Interactions API支持。
镜像签名与验证
发布说明称，每个LiteLLM Docker镜像都使用cosign签名，签名密钥与commit 0112e53中引入的密钥相同。推荐使用固定commit hash验证，因为commit hash具有加密不可变性，能确保使用的是原始签名密钥；使用release tag验证则依赖仓库的tag保护规则。
- 推荐命令：cosign verify --key https://raw.githubusercontent.com/BerriAI/litellm/0112e53046018d726492c814b3644b7d376029d0/cosign.pub ghcr.io/berriai/litellm:v1.100.0-dev.1
- 便捷命令：cosign verify --key https://raw.githubusercontent.com/BerriAI/litellm/v1.100.0-dev.1/cosign.pub ghcr.io/berriai/litellm:v1.100.0-dev.1
- 预期输出：校验cosign claims，并验证签名与指定公钥匹配。
新增功能
主要新增功能包括：per-team New Relic追踪路由（通过team callbacks）；Gemini Family auto-router预设；在 /v1/rag/ingest上强制vector-store上传安全控制；以及异步post-call失败部署钩子async_post_call_failure_deployment_hook。
模型支持方面，新增对Vertex AI Interactions API的原生支持，并将Together AI的默认端点从api.together.xyz改为api.together.ai，同时补全Together AI serverless模型的成本表。
- 修复responses桥接中previous_response_id链式调用时丢失对话上下文的问题
- 修复Anthropic /v1/messages桥接中thinking blocks往返OpenAI后端的问题，并保留Claude 4.6模型的thinking budget_tokens
- 修复Bedrock在finish_reason chunk后发出多余空assistant delta的问题
- 修复Azure Model Router在花费日志中记录实际所选模型的问题
- 修复日志中redact tool call arguments以保持有效JSON并保留null内容
- 修复日志记录中跳过解析已redact的tool call参数
- 修复UI中guardrails页面因tag-based guardrail mode而崩溃的问题
- 修复S3 v2中对象键仅百分号编码一次，使签名URL与发送URL一致
关键修复与安全改进
此版本包含多项直通（passthrough）和路由修复。例如，停止在无凭据的Vertex passthrough中泄露调用者的虚拟密钥，停止将转发凭据复制到重试面包屑中，以及修复router-model /vllm和 /azure路由上的花费归因和预算释放。
流式处理方面，为Vertex和Anthropic新增共享JSONFragmentAccumulator以提升性能；支持anthropic_messages路由类型的mid-stream fallback。
- 修复Databricks以缓存费率计费缓存token，并补齐Claude缺失定价
- 修复Anthropic/Bedrock在reasoning_effort时请求summarized adaptive thinking，并使用提供商thinking token计数
- 修复proxy中意外 4xx响应不再使失败日志记录饱和worker CPU
- 修复RedisCluster使用上游redis-py并支持每连接恢复
- 修复Together AI模型缺失注册表时工具传递问题，并剥离出站消息中的内部thinking字段
- 修复run.wml所有生成端点路由和视频成本追踪