开源llama.cpp Releases·原文 2026年9月7日

llama.cpp b10827发布:修复OpenCL后端q4_K/q5_K乘法的权重打包选择

新版本包含一项OpenCL修复,涉及q4_K与q5_K量化格式在矩阵乘法中的权重打包逻辑,同时为各平台提供预编译二进制。

AI解读:llama.cpp的新版本b10827主要面向使用OpenCL后端的用户,修复了q4_K和q5_K量化权重在矩阵乘法时的打包选择问题。对于在AMD、Intel或部分移动GPU上通过OpenCL运行量化模型的开发者,这个修复可能减少推理错误或性能异常,因为权重打包方式直接关系到计算正确性和速度。不过,这次更新只涉及特定量化格式和OpenCL路径,如果你用的是CUDA或CPU后端,或者模型不是q4_K/q5_K格式,影响有限。普通用户无需立即升级,但使用相关配置的开发者可以拉取最新代码并重新编译,或下载对应平台的预编译包进行验证。

llama.cpp发布b10827版本,核心改动是修复OpenCL后端在处理q4_K与q5_K量化格式时矩阵乘法(mul_mat)的权重打包选择问题。该修复对应pull request #28402,由项目维护者提交。

可用预编译二进制

新版本提供了覆盖多个平台的预编译二进制包,包括macOS Apple Silicon(arm64)、macOS Intel(x64)、iOS XCFramework、Linux(Ubuntu x64/arm64/s390x CPU,Ubuntu x64/arm64 Vulkan,Ubuntu x64 ROCm 10.0,Ubuntu x64 OpenVINO 2026.3.1,Ubuntu x64 SYCL FP32/FP16)、Android arm64 CPU、Windows(x64/arm64 CPU,arm64 OpenCL Adreno,x64 CUDA 12.4/13.3,arm64 CUDA 13.4预览版,x64 Vulkan,x64 OpenVINO 2026.3.1,x64 SYCL,x64 ROCm 10.0)以及openEuler相关构建。

  • macOS Apple Silicon (arm64, KleidiAI enabled) 构建已禁用,对应PR #23780。
  • openEuler相关构建已禁用,对应PR #23705。
  • 同时提供UI打包文件(llama-b10827-ui.tar.gz)。

信息来源

llama.cpp Releases原始来源