研究：硬ReLU梯度下降的自动微分极限与梯度流不一致，激活事件导致灵敏度缺口
arXiv新论文证明，在硬ReLU网络中，状态收敛到梯度流并不意味着导数收敛；激活事件会导致自动微分与梯度流灵敏度之间存在无法消除的差距，误差最高达0.39。
AI解读：这项研究揭示了一个务实的陷阱：用梯度流（一种连续时间的理想化模型）来预测硬ReLU网络的训练行为，在求导数时可能失效。论文通过数学证明和实验表明，当网络在训练中发生激活事件（如ReLU神经元从关闭到开启）时，自动微分与梯度流之间的灵敏度差距无法完全消除，除非特别处理这些事件。对实践者的直接影响是：如果依赖梯度流做理论分析或设计算法，在硬ReLU网络中可能需要修正导数计算，否则误差会持续存在（实验中误差介于0.18到0.39）。论文提供了一种“事件感知的修正乘积”方法可以恢复收敛，但它需要追踪激活事件，可能增加计算成本。普通读者无需立即行动；真正的受众是研究硬ReLU网络优化理论的学者，以及开发可微编程框架的工程师。
arXiv上的一篇新论文（编号2608.30960）证明，在硬ReLU网络中，梯度下降的状态收敛到梯度流并不意味着其导数的收敛；激活事件会导致自动微分与梯度流灵敏度之间出现无法由标准方法消除的差距。作者为Xiaoyang Li和Runni Zhou，论文于2026年8月31日首次提交，9月3日更新。
论文聚焦于硬ReLU梯度下降的固定时间、步长趋近于零的极限行为，这是理解深度学习训练动态的基础问题。
核心发现
在稳定有限路径、且激活事件分离且同向横向发生的条件下，梯度下降状态以线性阶收敛到对应的分段光滑梯度流；然而，每个非共振离散程序的精确导数收敛到一个无事件的区域传播算子。真正的流导数则交织着经典saltation矩阵，这些矩阵编码了事件时间敏感性。
对于全局凸目标函数，任何严格激活事件都会阻止这些缺失传递的完全抵消。进一步，研究构造了最小化的全局1-强凸残差ReLU风险，在显式的横向尺度权衡下，可实现任意大的倒数灵敏度差距。
通过耦合强凸构造，论文还展示了一个开集，其中最大的初始化梯度坐标被反转。
- 在受控的17参数ReLU多层感知机实验中，随着网格细化，状态误差和区域自动微分误差消失，但自动微分与梯度流之间的误差保持在0.18到0.39之间。
- 一种事件感知的修正乘积方法恢复了收敛；当过渡层足够分辨时，平滑化也能恢复流灵敏度。