llama.cpp发布b10774:修复训练无KV缓存问题
新版本主要修复微调(finetune)在没有KV缓存时的训练错误,并更新了各平台的二进制包。
AI解读:llama.cpp的b10774版本主要解决微调时无KV缓存导致的训练失败问题。KV缓存是模型推理时缓存历史计算结果的机制,在没有它的情况下训练此前会出错,这次修复让训练功能在更灵活的配置下也能正常工作。对于在本地或服务器上使用llama.cpp进行模型微调的开发者来说,这意味着更稳定的训练流程,特别是当硬件内存有限需要关闭KV缓存时。普通用户无需立即升级,但使用微调功能的开发者应更新到b10774并关注相关GitHub讨论以确认修复效果。
llama.cpp项目于 [发布日期] 发布b10774版本,核心修复是解决微调(finetune)时无KV缓存(no KV cache)的训练问题。该修复由PR #27199 引入,其中包含了ggerganov的建议。
版本修复内容
根据发布说明,本版本唯一列出的更改是“finetune: fix no KV cache (#27199)”,即修复了训练过程中不使用KV缓存时的错误。KV缓存是Transformer模型推理时缓存键值对以减少重复计算的机制,此前在无KV缓存模式下进行微调可能失败。
平台支持与下载
b10774提供了多平台的预编译二进制包,包括macOS(Apple Silicon和Intel,其中KleidiAI版本被禁用)、iOS(XCFramework)、Linux(Ubuntu x64/arm64/s390x CPU,以及Vulkan、ROCm 10.0、OpenVINO、SYCL等后端)、Android(arm64 CPU)、Windows(CPU、Vulkan、OpenVINO、SYCL、CUDA 12/13等),以及openEuler(部分被禁用)。