llama.cpp发布b10863:修复Metal后端mul_mv_iq3_xxs内核中ne00的空闲线程问题
新版修复了Metal后端在特定矩阵乘法操作中的线程调度缺陷,同时提供多平台预编译二进制供下载。
llama.cpp项目发布b10863版本,修复了Metal后端中mul_mv_iq3_xxs操作在ne00条件下的空闲线程问题。该问题会导致部分GPU线程闲置,影响矩阵-向量乘法的执行效率。
可用构建与禁用项
版本提供多种预编译二进制:macOS支持Apple Silicon、Intel(x64)及iOS XCFramework;Linux涵盖Ubuntu x64/arm64/s390x(CPU)、x64/arm64(Vulkan)、x64(ROCm 10.0)、x64(OpenVINO)、x64(SYCL FP32/FP16);另有Android arm64(CPU)、Windows x64/arm64(CPU)、Windows arm64(OpenCL Adreno)、Windows x64(CUDA 12.4/13.3)、Windows arm64(CUDA 13.4 preview)、Windows x64(Vulkan/OpenVINO/SYCL/ROCm 10.0)等,并附带CUDA运行时DLL。
- macOS Apple Silicon(arm64,KleidiAI启用)构建已禁用,相关链接指向pull request #23780。
- openEuler系列构建(x86 310p、x86 910b、aarch64 310p、aarch64 910b)已禁用,相关链接指向pull request #23705。