Mistral发布v1.0.4版推理库mistral-inference,新增函数调用支持

Mistral官方推理库更新至v1.0.4,用于7B、8x7B、8x22B模型的本地推理,并支持通过工具调用让模型查询天气等外部功能。

AI解读:这次更新让使用Mistral模型的开发者可以更便捷地调用外部工具。此前,要让模型与外部API交互需要自行编写复杂的调用逻辑,而现在官方库提供了标准化的工具定义方式。例如,开发者可以定义`get_current_weather`这样的函数,模型在回答巴黎天气时会自动生成带参数的调用请求,再由应用层执行查询。这对构建AI助手或需要实时数据的应用尤为重要——它将显著降低开发成本和技术门槛,让开发者集中在业务逻辑上。需要注意的是,官方库明确支持7B、8x7B、8x22B这些模型,函数调用需要借助`mistral_common`包完成,并且目前没有提供详细的性能对比或与其他推理框架的横向评测,普通用户如果只做简单对话,未必需要立即迁移。

Mistral发布了官方推理库mistral-inference的v1.0.4版本,该库支持其全部三个模型:7B、8x7B和8x22B。此次更新主要添加了一个代码示例,演示如何通过函数调用来实现工具使用。

信息来源