llama.cpp b10769发布:修复Apple Metal后端低内存条件下的内存查询
该版本主要包含一个针对Metal后端的修复,改进低内存环境下的内存查询逻辑,并同步更新各平台预编译二进制。
AI解读:llama.cpp的这次小版本更新解决的是Apple设备上运行大模型时的一个具体痛点:当可用内存不足时,后端此前可能无法准确查询或报告真实内存状态,导致模型加载失败或运行不稳定。修复由社区开发者提交,并得到项目维护者Georgi Gerganov的参与,改动集中在Metal后端的内存查询逻辑上,让程序在低内存条件下能更可靠地判断可用资源。对在macOS或iOS上自部署llama.cpp的开发者来说,这次更新直接降低了因内存判断失误而出现的启动或运行故障概率;如果你当前在旧版本上遇到内存相关错误,升级到b10769会是比较直接的解决办法。普通用户如果没有自己编译或部署模型,不需要采取任何行动。
llama.cpp项目发布b10769版本,核心变更为修复Apple Metal后端在低内存条件下的内存查询问题(PR #27701)。
该修复由社区开发者提交,并获得了项目维护者Georgi Gerganov及Niklas Wenzel的代码审查与修改建议,最终合并进主分支。
修复内容与平台支持
本次提交标题为“metal: fix memory query under low-memory conditions”,即在低内存条件下修复Metal后端的内存查询。改动主要涉及Metal后端的代码实现,但来源中未提供具体的技术细节或受影响的函数列表。
版本b10769同步提供了各平台的预编译二进制包,覆盖macOS(Apple Silicon、Intel)、iOS、Linux(Ubuntu x64/arm64/s390x,含Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16)、Android(arm64 CPU)、Windows(x64/arm64,含CUDA 12.4/13.3/13.4、Vulkan、OpenVINO、SYCL、ROCm 10.0)等。
其中,macOS Apple Silicon的KleidiAI版本被标记为DISABLED,并指向PR #23780;openEuler相关构建也被标记为DISABLED,指向PR #23705。
本次更新还提供了UI构建包(llama-b10769-ui.tar.gz)供开发者使用。
- PR #27701:metal后端低内存条件下内存查询修复
- 参与人员:Georgi Gerganov(维护者)、Niklas Wenzel(协作者)
- KleidiAI(macOS arm64)与openEuler构建仍处于禁用状态