腾讯发布Hy4 Preview:770B总参数开源文本模型,上下文 100 万token
新模型总参数量从Hy3的 295B增至 770B,41B为活跃参数,权重文件在Hugging Face上约 1.56TB。
AI解读:腾讯这次发布的Hy4 Preview是一个纯粹的文本输入、重量级开源模型,总参数高达 770B,但每次推理只激活其中 49B参数,属于混合专家架构。相比 7 月的Hy3,它的总参数量翻了不止一倍,上下文窗口从 25.6 万token拉长到 100 万token,这意味着它能一次性处理更长的文档或多轮对话。对开发者来说,最大的变化是硬件门槛:模型在Hugging Face上的权重约 1.56TB,本地部署需要多张高端GPU或依赖云服务,实际上大多数用户会通过OpenRouter这类API调用。另外一个值得注意的细节是它的推理模式只有两个档位:高推理(默认)和关闭推理,不能像某些模型那样调节中间强度。从Simon Willison的测试看,它的推理痕迹语言略显碎片化,但这不影响最终输出质量。如果你只是想在应用里接一个长上下文模型,不需要立刻行动,先通过API测试它对你自己任务的响应再说。
8 月 29 日,腾讯发布开放权重语言模型Hy4 Preview。该模型仅支持文本输入(无视觉能力),总参数 770B,活跃参数 49B,上下文窗口 100 万token,权重文件在Hugging Face上约 1.56TB。据技术博主Simon Willison报道,相比 7 月发布的Hy3(295B总参数、21B活跃参数、25.6 万上下文、598GB),此次模型规模显著增大。