llama.cpp b10771发布:为mtmd新增mtmd_tokenize_from_parts() 函数
新版本通过拆分tokenize调用位置和剥离特殊token添加逻辑,重构了mtmd处理流程,并同步提供各平台安装包。
llama.cpp于b10771版本新增mtmd_tokenize_from_parts() 函数,用于拆分mtmd的tokenize调用,并在mtmd-cli中启用该函数,同时将add_special处理移至调用层。
mtmd-tokenize重构
新版本引入mtmd_tokenize_from_parts()(PR #28250),将分词逻辑按部分拆分,mtmd-cli已改用此函数。add_special参数的控制从函数内部上移到调用层,以便单独管理特殊token的添加。
版本同时提供全平台构建产物:macOS(Apple Silicon、Intel、iOS XCFramework)、Linux(Ubuntu x64/arm64/s390x、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16)、Android arm64、Windows(x64/arm64 CPU、OpenCL Adreno、CUDA 12.4/13.3/13.4、Vulkan、OpenVINO、SYCL、ROCm 10.0)及UI压缩包。默认macOS Apple Silicon KleidiAI版本和openEuler构建在本版本中标记为DISABLED,相关PR为 #23780 和 #23705。