Ollama v0.33.0发布:支持Claude Desktop作为第三方网关,修复KV缓存失效问题
新版本允许开发者将Ollama配置为Claude Desktop的第三方网关,并修复了多个缓存问题,包括取消预填充后恢复不佳和KV缓存被破坏。
AI解读:Ollama v0.33.0让开发者可以把Ollama配成Claude Desktop的第三方网关,这意味着你可以在Anthropic的官方客户端里使用本地或自托管的模型,而不是只能调用Anthropic的云API。这对想用Claude桌面体验但又不愿把代码发到云端的人是个实用选项。另一个关键修复是缓存:之前如果代理客户端取消长预填充,恢复点不可靠,甚至在一些循环层模型上,4.6 万token的请求会被清零重跑;新版保证取消时保留所有恢复点,恢复时只继续未完成部分,能明显省时间。同时,他们禁用了Claude Code的token倒计时系统消息,因为Ollama把它塞到提示词开头后导致KV缓存每次都要重建。如果你在用Ollama配Claude Code,这个版本值得升级,特别是任务涉及长上下文时。注意,网关配置的具体步骤你得看官方文档,预填充加速的实际效果也会因硬件而异。
Ollama发布v0.33.0,开发者现在可以配置Claude Desktop,使其通过Ollama作为第三方网关工作。该版本还修复了取消和恢复长预填充时卡死或重新处理的问题,并禁用了破坏KV缓存的Claude Code系统消息。
缓存和预填充改进
修复了代理客户端取消长预填充时导致挂起的问题。预填充恢复点在构造上变得可靠:取消的预填充会保留其经过的每个恢复点,因此重试可以从停止处继续,而不是从头开始。恢复的预填充不再记录未覆盖所声称范围的恢复点;在具有循环层的模型上,之前这会导致匹配 4.6 万 / 4.7 万token的请求被迫从零重新处理。Claude Code的“剩余tokens”倒计时系统消息被禁用,因为Ollama将其移到提示词前端,破坏了每次请求的KV缓存。
其他改进
DeepSeek Harness启动器在全局npm安装失败时回退到npx,并支持Windows命令垫片。MLX依赖更新(#17886)。修复了macOS特定假设导致Linux/Windows构建默认打包损坏的问题。