新研究发现矩阵CODI模型对潜在矩阵秩不敏感，截断不影响推理精度
arXiv论文报告，矩阵连续思维链模型在多种训练和读出设置下，秩k投影消融曲线平坦，提示矩阵瓶颈中的秩可能不编码并行推理路径。
AI解读：这篇论文想检验一个具体猜想：如果矩阵化连续思维链模型用潜在矩阵Z的多个秩成分来并行承载推理路径，那么把Z截断到低秩应该会破坏需要多成分的任务表现。结果在四种训练设置和四种不同读出头的测试里，截断曲线都平坦到0.6个百分点以内，说明损失函数根本没有奖励特定的秩。这意味着矩阵瓶颈的容量可能没有被有效利用——秩这个结构维度对模型行为几乎无影响，对架构设计者是个负面信号：增加矩阵维度带来的自由度可能不转化为推理能力。对普通用户没有直接影响，这类模型尚未部署；真正需要行动的是研究矩阵CODI或类似架构的团队。论文自己也承认实验有局限：使用的是合成问答数据集，且对照实验显示，同样的截断操作在无矩阵瓶颈的GPT-2上也得到平坦曲线，说明这种消融方法本身难以区分秩不敏感和位置无关，结论仍需谨慎对待。
arXiv论文报告，矩阵化连续思维链（matrix-CODI）模型对潜在矩阵的秩不敏感：通过秩k投影截断潜在矩阵Z，在四种训练设置下模型准确率变化均不超过0.6个百分点。该论文已被ICML 2026机制可解释性研讨会接收（9月2日提交）。
实验设计与主要结果
研究者Samuel Larson（Pebble ML）在论文中提出，矩阵值CODI变体将每个潜在token通过d×d矩阵瓶颈，从而在潜在矩阵Z上产生秩这一单样本结构可观测变量。如果矩阵潜在变量通过叠加承载并行推理路径，秩应能追踪这些路径，截断Z至低秩应损害需要多成分解决方案的任务准确率。
在四种训练设置中（三种使用ProsQA，一种使用低于学习阈值的GSM8K-Aug），秩k投影消融曲线平坦至0.6个百分点以内。三种子重复实验得到81.0±2.0个百分点的准确率，而Z的最终有效秩覆盖{4, 12, 13}，表明损失函数不奖励任何特定秩。
为测试秩不敏感是否仅由展平后投影（flatten-then-project）读出方式导致，研究者训练了四种替代读出头：双线性重参数化、双线性加GELU的非线性Z读出、将奇异值通过MLP的SVD增强读出，以及基于ZZ^T的二次读出。所有四种秩k曲线保持平坦（Spearman p值分别为0.63、0.14、0.82、0.46）。
对照实验与验证
在线性探针实验中，Z上的线性探针在目标预测上表现不如原始预训练隐藏状态（AUC 0.673对0.846）。
负对照实验使用无矩阵瓶颈的普通GPT-2 SFT模型（三种子，n=500），在相同干预范式下复现了平坦的秩k曲线，合并均值范围为0.20个百分点；随机h灵敏度下限落在相同准确率。论文据此指出，仅使用秩k消融无法区分秩不敏感与位置不相关（position-irrelevance）。
论文修正了研讨会版本中的数据录入错误：三种子重复实验中种子1337的准确率原报为80.47%（对照组运行），归档值实为78.91%，因此三种子均值为81.0±2.0个百分点（原为81.5±1.2个百分点）。其他结果不变。