Spruce：面向云端外包向量检索的私有检索方案，查询速度较此前最优提升最高22.9倍
新系统通过紧凑二进制码与两服务器多方计算，将百万级文档集的私密检索从10—22秒降至0.21—2.97秒，同时保持检索质量。
AI解读：当企业把文档向量库外包给云服务商时，查询内容和语料库都可能泄露。直接用加密技术保护每次查询，成本会随语料规模膨胀——百万文档规模下，朴素的实现每次查询需要几分钟和约90GB通信量。Spruce的思路是把文档表示和密码协议一起设计：先学习紧凑的二进制码，在加密状态下用汉明距离快速筛选出少量候选（中位数仅382—1952个），再对候选做全精度重排序，从而避免对整个语料库做昂贵的加密计算。在四个含38.3万到542万文档的语料库上，Spruce在10Gbps带宽下全扫描耗时0.21—2.97秒，比之前最快的系统快4.8—6.7倍；启用私有剪枝后进一步降至0.06—1.09秒，提速13.1—22.9倍，同时保留93.9%—97.3%的全浮点NDCG质量。这意味着，想在不信任云环境下做RAG的企业，可以把延迟从几十秒降到亚秒级，接近非私有检索的体验。不过这是论文预印本，效果数据基于作者自述的实验条件，未经过同行评审或独立复现，实际部署前仍需验证。
arXiv 9月3日发布的一篇论文提出Spruce（Scalable Private Outsourced Retrieval Using Compact Embeddings），一种面向不可信云环境的私有外包向量检索方案：通过紧凑二进制码与两服务器多方计算（MPC）配合，在38.3万至542万文档的四个语料库上，全扫描查询耗时0.21—2.97秒，较此前可测量的最优系统快4.8—6.7倍；启用私有剪枝后，耗时降至0.06—1.09秒，提速13.1—22.9倍，同时保留93.9%—97.3%的全浮点NDCG质量。作者为Peichun Hua和Yunming Xiao，论文22页，含10张表和6张图，已在arXiv提交（编号2609.03376）。
问题与方案
检索增强生成（RAG）使大规模文档集合上的密集检索成为标准组件。组织日益将向量索引外包给不受信任的云，这暴露了专有语料库和用户查询。加密保护有挑战，因为每次查询都要搜索语料规模的系统状态，导致计算、关联随机性和通信量随语料规模增长。
在百万文档规模下，朴素的加密实现每次查询需用时数分钟并产生约90GB通信量；即便近期优化的系统也需10—22秒。Spruce将表示学习与加密协议共同设计：学习紧凑的二进制码，保留用于全精度重排序的候选，将全语料嵌入评分替换为两服务器MPC下的高效汉明距离计算。一个为语料校准的固定半径协议避免多轮候选选择，同时保持检索质量。此外，Spruce提供私有聚类剪枝（以少量质量损失换取大幅减少计算）和单核属主运行的dealer（消除云OT预处理瓶颈）。
性能与质量指标
据摘要，在383K—5.42M文档的四个语料库上，Spruce保持原始搜索质量，中位数候选集仅382—1,952。在10Gbps服务器间带宽下，全扫描耗时0.21—2.97秒；私有剪枝耗时0.06—1.09秒，提速13.1—22.9倍，保留93.9%—97.3%的全浮点NDCG。
在最大语料库上，剪枝与dealer联合作用使每链路1Gbps下的可持续吞吐量提升31.5倍。
- 论文分类：Cryptography and Security (cs.CR)；Information Retrieval (cs.IR)；Machine Learning (cs.LG)。
- 提交历史：2026年9月3日05:19:03 UTC（v1），来自Peichun Hua的邮箱。