研究提出“耦合缩放”框架：将神经网络缩放规律与架构可达几何关联
arXiv新论文引入Coupled Scaling框架，在模式截断模型下将损失残差指数表示为谱尾速率与覆盖率的乘积，并给出了固定核特化下的训练期指数推导，同时提出两项可检验的几何预测。
AI解读：现有神经缩放定律多从数据几何或给定的谱假设推导，但同一份训练数据在不同架构或优化下，由于表示能力的差异，实际缩放行为会显著不同。这篇论文提出的Coupled Scaling框架正是为了解释这种差异：它把有限预算下的性能损失视为任务结构与架构可及几何之间的关系，并通过数学解明确给出损失残差指数的下限与上限。其数学核心是，残差指数取决于两个速率——谱尾累积速率 γ 和架构覆盖率速率 ρ，二者乘积构成通常情况下的缩放指数。这篇论文主要对机器学习理论研究者有用，它提供了一个可直接检验的理论预测：若几何与缩放拟合耦合，那么静态几何应随预算变化追踪损失，多尺度几何则应对应独特的指数排序。需要指出的是，论文只基于arXiv摘要提供的事实，尚未提供实证验证数据，所提议的系综测试仍需控制变量才能直接检验。对于实践工程师，这篇论文短期内不改变现有训练或架构选择，理论成果主要影响对缩放行为解释的逻辑，而非直接给出调参建议。
9 月 3 日提交至arXiv的一篇论文提出了一个名为Coupled Scaling的任务条件化框架，用于解释为何在相同数据上训练的系统，会因架构或优化改变其可有效达到的表示，而产生不同的缩放表现。作者为Jie Wang，论文共 35 页、含 2 张图，代码与可复现性工件已发布。
论文核心结果（依据论文摘要）
Coupled Scaling将有限预算下的缩放性能建模为任务结构与架构-优化系统可及几何之间的关系。在一个可求解的模式截断模型中，损失被分解为架构支持之外的目标能量与一个未解析的支持尾部。对于任意优先顺序，残差位于两个界限之间：支持尾部的最佳N项，以及超过已完成的高价值前缀之后的尾部。
- 若累积尾部对数速率和覆盖率对数速率分别为 γ_{A,T} 和 ρ_{A,O,T}，则残差指数位于区间 [ρ_{A,O,T}γ_{A,T}, γ_{A,T}]。
特殊化与检验方法（依据论文摘要）
在有限离前缀增益的条件下，已完成前缀决定速率，缩放指数 α_{A,O,T} = ρ_{A,O,T}γ_{A,T}；对于系数a_{A,T,j} 行为接近j^{-b_{A,T}} 的情形，进一步给出指数为 ρ_{A,O,T}(b_{A,T}-1)。固定核特化则从任务加权的谱测度近零尾部独立于损失拟合地推导出训练期指数。
- 论文提出两项检验：静态任务相关几何应在共同预算下跟踪损失，而多尺度几何应跟踪耦合特有的指数排序，包括跨对比任务时指数可能发生反转。