开源llama.cpp Releases·2026年9月5日

llama.cpp b10742发布:为A18 Pro芯片加入fa-vec调优

新版llama.cpp为搭载A18 Pro的MacBook Neo添加Metal后端fa-vec调优,同时照常提供各平台二进制包。

AI解读:这次发布的b10742是llama.cpp的一个常规版本,核心变化是为苹果A18 Pro芯片(用于MacBook Neo)的Metal后端增加了fa-vec调优。简单说,fa-vec是ggml里用于提升向量数学运算效率的底层参数,针对特定芯片做调优,能让模型推理在A18 Pro上跑得更快。对于正在用MacBook Neo本地跑大模型的开发者,这个更新可能带来实打实的性能提升,值得升级测试。不过需要留意,新版本里KleidiAI加速和openEuler的CI构建被标记为DISABLED(禁用),如果依赖这些功能,可能要考虑是否升级或等待后续修复。

llama.cpp项目发布b10742版本,主要变更为“metal : add fa-vec tunings for A18 Pro (MacBook Neo)”,即针对搭载A18 Pro芯片的MacBook Neo,为Metal后端添加了fa-vec调优。

版本变更与下载

b10742的发布说明中,除核心变更外,还列出了一系列各平台的二进制下载包。macOS提供Apple Silicon (arm64) 版本,以及Intel (x64) 版本,另有iOS XCFramework包。其中,标注为“KleidiAI enabled”的macOS Apple Silicon构建当前被标记为DISABLED(禁用)。

Linux平台提供Ubuntu x64/arm64 (CPU)、Ubuntu x64/arm64 (Vulkan)、Ubuntu x64 (ROCm 7.14)、Ubuntu x64 (OpenVINO)、Ubuntu x64 (SYCL FP32/FP16) 等版本。Android提供arm64 CPU构建。

Windows平台提供x64/arm64 CPU构建、Windows arm64 (OpenCL Adreno) 构建,以及多个CUDA版本(12.4、13.3,以及arm64的 13.4 预览版)和对应的DLL包;此外还有Windows x64的Vulkan、OpenVINO、SYCL、ROCm 7.14构建。

openEuler平台的多个构建(x86 310p、x86 910b ACL Graph、aarch64 310p、aarch64 910b ACL Graph)均被标记为DISABLED,发布说明未解释具体原因。

信息来源

llama.cpp Releases原始来源