研究：主流PII检测系统在现实输入下鲁棒性显著下降
arXiv新研究对SpaCy、Presidio和Qwen2.5-3B三类代表性系统进行压力测试，发现它们在噪声和非标准输入下性能明显退化，且失败模式各异。
AI解读：这项研究揭示了一个现实问题：很多号称性能优异的PII检测系统，在真实世界的脏数据（如错别字、非标准格式）面前会大幅失灵，而传统标准基准测试掩盖了这一点。研究者对三类主流技术路线——SpaCy（传统NER）、Presidio（规则混合）、Qwen2.5-3B（生成式LLM）——设计了七类自然分布偏移的压力测试，结果发现它们各有短板：编码器模型在未见过的拼写和边界识别上出错，规则系统处理非标准格式会失效，LLM则容易混淆实体类型和输出不稳定。对实际部署者（如数据保护团队）来说，这意味着不能只依赖单一架构，也不能只看基准分数；研究建议用混合管线并引入QA反馈循环来迭代降低风险。目前这只是预印本，尚未经过同行评审，但研究者已公开基准测试集，供业界测试自家系统的鲁棒性。
arXiv论文 2609.03464 的摘要显示，研究团队构建了一个覆盖七类自然分布偏移的压力测试基准，对三类代表性PII检测系统——基于编码器的NER（SpaCy）、基于规则的混合检测（Presidio）和生成式LLM提取（Qwen2.5-3B）——进行了评估。摘要称，所有系统在处理分布外输入时均出现显著性能下降，但失败模式不同。
论文由Adeel Zafar和Slawomir Nowaczyk撰写，其摘要指出，尽管现代PII系统在标准基准测试中报告了强劲性能，但这些评估掩盖了实际部署中遇到的分布偏移下的鲁棒性缺陷。
三类系统的具体失败模式
根据摘要，编码器模型（如SpaCy）主要失败于未见过的表面形式和边界检测；规则系统（如Presidio）在非标准格式上表现不佳；而LLM（如Qwen2.5-3B）则出现实体类型混淆和生成不稳定性。摘要强调，没有单一架构在所有PII类别上始终可靠。