Mistral开源推理库v1.2.0上线，支持Codestral-Mamba与Mathstral本地部署
mistral-inference v1.2.0新增对Codestral-Mamba 7B和Mathstral 7B两个开源模型的支持，用户可通过pip升级后下载权重并在本地运行。
AI解读：Mistral发布了mistral-inference v1.2.0，主要变化是让开发者可以用同一套命令行工具本地跑Codestral-Mamba 7B和Mathstral 7B两个新模型。Codestral-Mamba是代码生成模型，采用Mamba架构，推理时对序列长度的内存占用更低，适合长上下文代码任务；Mathstral 7B专攻数学推理和科学问题。对普通用户来说，不需要立即行动；但如果你在用Mistral的开源生态做本地部署或微调，这次升级意味着你不需要换工具链，只要 `pip install mistral-inference>=1.2.0`，再按官方命令下载权重就能跑起这两个模型。和所有本地部署一样，实际效果取决于硬件——官方之前提醒过GPU显存要求，所以先用小批量测试再上生产是稳妥做法。这次发布的直接价值是降低了尝试新模型的门槛，但并没有改变Mistral模型本身的能力边界，也不代表这两个模型的性能排行有任何变化。
Mistral于 5 月 17 日发布mistral-inference v1.2.0，新增对Codestral-Mamba 7B（代号 7B_MAMBA_CODE）与Mathstral 7B（7B_MATH）的本地推理支持。用户需先执行 `pip install mistral-inference>=1.2.0` 升级，随后分别下载两个模型的tar包并解压，用 `mistral-chat --instruct --max_tokens 256` 命令即可进行对话。
v1.2.0具体变更
根据发布说明，v1.2.0主要包含两项功能：一是由patrickvonplaten在PR #164 中新增对Codestral模型的支持；二是由同一作者在PR #187 中新增对Mamba架构的支持，使得Codestral-Mamba可以在推理库中运行。此外，sophiamyang在PR #158 中加入了关于GPU需求的说明。
版本还包含多项文档和拼写修复，例如将ModelArgs中的 "infered" 改为 "inferred"（PR #174）、修正LoRALoaderMixin中的 "multipe" 为 "multiple"（PR #173）等，但未涉及模型权重更新。
- 官方博客链接：Codestral Mamba 7B见https://mistral.ai/news/codestral-mamba/，Mathstral 7B见https://mistral.ai/news/mathstral/。
- 下载链接：Codestral-Mamba权重位于https://models.mistralcdn.com/codestral-mamba-7b-v0-1/codestral-mamba-7B-v0.1.tar；Mathstral权重位于https://models.mistralcdn.com/mathstral-7b-v0-1/mathstral-7B-v0.1.tar。
- 运行前需额外安装依赖：`pip install packaging mamba-ssm causal-conv1d transformers`（适用于Codestral-Mamba）。