开源litellm Releases·原文 2026年9月6日

LiteLLM v1.101.0-rc.1发布:Docker镜像签名验证、MongoDB向量存储、团队级准入控制

发布说明中新增了使用cosign验证Docker镜像签名的官方指引,并包含MongoDB向量存储、Azure AI的grok-4.6定价、OpenAI工作负载身份令牌及多项修复。

LiteLLM发布了v1.101.0-rc.1。发布说明首要内容是镜像签名验证:所有Docker镜像均使用cosign签名,每次发布使用同一把密钥(源自提交 0112e53),用户可通过固定提交哈希或受保护的发布标签验证镜像签名(如ghcr.io/berriai/litellm:v1.101.0-rc.1)。

新功能与定价更新

此版本新增MongoDB向量存储provider,适用于Atlas和自托管部署;Azure OpenAI模型成本表中加入grok-4.6(azure_ai),并新增azure/gpt-6-astra与azure/us/gpt-6-astra Foundry定价。新增语义缓存作用域设置semantic_cache_scope,可按终端用户隔离语义缓存命中;在OpenAI的PrivateLink与区域api.openai.com主机上,为请求签发工作负载身份令牌。此外,为OPENAI工作负载身份令牌新增了mint支持,以及UI中一键Auto Router设置。

CLI工具新增 `lite debug claude` 会话报告和 /debug-lite斜杠命令;OpenCode模型从 /v1/models同步。

  • 新功能包括:团队/组织预算限制、团队内JWT流量的每用户消费报告、MongoDB向量存储provider、OpenAI工作负载身份令牌、Auto Router一键设置、语义缓存作用域、shadow_eval对工具调用轮次的评判、auto-router任务超时自动升级、日志中新增litellm.request.route到LLM调用span。

修复内容

修复涉及验证、路由、日志与成本跟踪:/v1/messages的消费行现在以客户端收到的msg_id为键;不再在错误负载中写入字符串 "None";请求重试痕迹不再写入请求快照;凭证kwargs从set_verbose输出中脱敏,包括extra_body中的嵌套凭证。

准入控制新增每个worker的准入控制,超限返回 503;团队隔离在provider格式的批量ID和输出文件中强制执行。修复了团队 /team/update部分更新时被清空元数据的问题,以及成员删除后清理用户行中的团队引用。

向量存储相关:注册guardrail后,向量存储的search_results会被附加到输出中;向量存储搜索失败不再导致chat completions hook崩溃;managed vector store的参数会被正确转发。Rust与UI构建增加了CI验证;恢复了Python 3.10至 3.14 的兼容性,并修复了四个常失败的CI测试。

兼容性检查:路由器的上下文窗口检查现在会计算工具和Anthropic system prompt;采用按异常层级解析重试策略,新增ServiceUnavailableErrorRetries和DefaultRetries。修复了Anthropic翻译后的thinking块不再携带cache_control;模型预检不再将bedrock/* 等通配符路由暴露在 /v1/models。

  • 其他重要修复:/v1/images/edits中的数字multipart字段正确解析回数字;Prisma命令超时杀死整个进程组;Redis批量读取同步化;Redis电路断路器在短超时下不再误触发;redis-py 8.x下节点超时不再引发集群级拓扑重初始化;UI修复了行滚动和分页边界问题。

信息来源

litellm Releases原始来源