llama.cpp发布b10743:为M2 Pro新增Metal fa-vec调优
该版本主要更新了Metal后端对M2 Pro芯片的fa-vec调优,并补充了新的数据类型支持。
AI解读:llama.cpp的每次发布都会针对不同硬件调整底层计算内核,b10743这次的重点是苹果M2 Pro。开发者给Metal后端的fa-vec(浮点向量化)操作加了针对M2 Pro的调优,还适配了新的数据类型,目的是让模型推理在这颗芯片上跑得更快。对用M2 Pro Mac跑本地大模型的用户来说,这个版本可能带来推理速度的提升,尤其是处理大批量或新格式的模型时。不过版本说明没有给出具体性能数字,也没提修复了什么问题,所以升级前可以先跑一下自己的模型对比速度。需要留意的是,官方同时禁用了macOS上的KleidiAI构建,用这类带有特殊优化的版本时要确认是否受影响。
llama.cpp发布b10743版本,主要变动是为苹果M2 Pro芯片在Metal后端新增并更新了fa-vec(浮点向量化)调优,同时支持新的数据类型。
macOS构建调整
针对M2 Pro的fa-vec调优以PR #28122 形式合并,属于Metal后端的性能优化。
发布的macOS Apple Silicon (arm64) 二进制包含此改动,但KleidiAI启用的构建在本次版本中被标记为DISABLED(关联PR #23780)。
各平台构建与下载
b10743提供多平台构建:macOS有Apple Silicon和Intel版本,另有iOS XCFramework;Linux提供Ubuntu下CPU、Vulkan、ROCm、OpenVINO、SYCL等后端;Windows覆盖CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL和ROCm;Android提供arm64 CPU构建。
openEuler的构建(310p、910b等)在本次发布中显示为DISABLED,关联PR #23705。
- 所有下载链接均指向llama.cpp官方GitHub Releases页面。