研究提出用生成过程多样性预测大模型间的相关失败，38个模型跨10个基准验证
arXiv论文引入归一化压缩距离度量模型输出背后的生成过程差异，发现其与相关失败的关联超出语义相似性和能力差异，可用于多模型系统安全评估。
AI解读：这条新闻解决的是多模型系统中的可靠性隐患：当几个语言模型被认为彼此独立、实际上却会犯同一种错时，整个系统可能同时失效，而传统评价只看输出语义是否相似，发现不了这类隐藏关联。该研究给出一种新度量方式——用算法信息论里的归一化压缩距离比较模型原始输出，以此推断它们生成过程的差异。在38个模型、10个不重叠的基准家族上，这种生成过程多样性越高的模型对，出现相关失败的比例越低，且这种关联是语义相似性和能力差异解释不了的（跨基准部分秩相关为−0.216，95%置信区间[−0.309, −0.122]，10个基准上一律为负）。如果该方法可复现，使用多模型投票或冗余备份的团队就能在选型时多一个可计算的判断依据，减少“备份模型其实不备份”的风险。至于是否会改变行业标准，目前仍是单篇论文证据，需要后续独立验证，普通读者无需据此调整自己的工具选择。
一篇arXiv预印本论文提出，用算法信息论中的归一化压缩距离衡量大语言模型之间的“生成过程多样性”，以此预测模型对在跨任务上的相关失败。研究在arXiv:2609.03422中给出，包含38个语言模型和10个不重叠的基准家族，结果显示跨基准的偏秩相关为−0.216（95%置信区间[−0.309, −0.122]），且在全部10个基准上估计值均为负。
作者为Ross Tieman和Evan Markou，论文标注为31页、13张图，属于机器学习（cs.LG）和多智能体系统（cs.MA）方向。需要说明的是，以下内容仅依据该论文的摘要得出，未经同行评审（预印本状态），也没有获得论文正文或补充材料。
方法：从输出反推生成过程差异
论文摘要称，现有对语言模型群体的语义相似性评估只能反映输出含义的差异，而不同模型可能被当作独立组件，即使它们的行为和失败模式高度相关。作者主张一种更基本的多样性概念——生成过程多样性，即能够产生相同观测输出的过程之间的差异。
为度量这一概念，他们使用归一化压缩距离（Normalised Compression Distance），对模型原始输出进行计算，并针对一个置换控制变量做残差化处理。该度量依据的仍是来自摘要的方法描述，具体实现细节（如压缩算法选择、置换控制的具体形式）需查阅全文才能确认。
结果：预测关联独立于语义相似性和能力
摘要报告，在38个语言模型上，该度量识别出了语义相似性遗漏的群体结构，并能预测模型对之间机会校正相关失败的跨任务变化，这种预测能力超出了语义相似性和模型对能力差异的贡献。
关键数字是跨基准的偏秩关联为−0.216，95%区间为[−0.309, −0.122]，且10个基准上均为负。作者据此认为，增加生成过程多样性与模型对相关失败减少相关，且该关联不能归因于语义相似性或能力。
需要强调，这些结果是摘要中报告的统计摘要，并非对全文数据的独立复核。关联为负意味着多样性越高、相关失败越少，但摘要未提供因果证据，也未说明效应量的实际影响大小（例如能够减少多少比例的系统故障）。
潜在应用与限制（标注为作者推断）
摘要建议，推断生成过程多样性可用于研究多模型系统在安全相关语境中的多样性，是一种新颖且实用的方法。论文为预印本，arXiv DOI已发布（10.48550/arXiv.2609.03422），但DataCite注册标记为“pending”。
依据上述摘要内容可以看出，该研究尚未报告实际部署案例或安全基准测试，也没有公开输出数据或复现工具。使用多模型冗余或投票系统的团队若要采纳此方法，需先确认论文正文中的计算流程、代码可用性，并在自己的模型集上独立复现。