大模型量化损伤并不均匀，额外比特应从全局分配

AI解读：这项研究指出，量化时给所有参数相同比特并不划算，因为不同参数受压缩后的精度损失差别很大。把额外比特从全局重新分配，是想把容量留给更敏感的位置，在相近模型大小下少掉一些性能；收益仍取决于具体模型、硬件和量化设置。