PRQ-KMeans新语义ID分词器：工业搜索数据集HitRate最高提升 7.4%、MRR提升 11.8%
论文提出将残差量化视为渐进式共性移除，针对全局均值占用第一层容量、硬分配忽略相似度、全码字减法残留方向变化三个问题，设计PRQ-KMeans，并宣称在多个基准上取得最优综合性能。
arXiv预印本论文PRQ-KMeans（arXiv:2608.24207v2，2026 年 9 月 3 日更新）提出一种新型语义标识（Semantic IDs, SIDs）分词器，用于生成式检索和推荐系统。论文将残差量化过程重新理解为逐级“共性移除”，并针对其中三个局限设计了PRQ-KMeans。在大型工业搜索数据集和四个公开推荐基准上的实验显示，该方法在评估的分词器中综合性能最强，工业数据集上HitRate提升最高 7.4%、MRR提升最高 11.8%。