新研究：跨层相关的初始化决定残差网络无穷深度极限，可由厄米特过程驱动
一项预印本研究证明，残差网络权重在初始化时若跨层相关，其无穷深度极限由相关衰减与厄米特秩唯一决定，相关初始化可连续插值独立与完全相关两种情形。
AI解读：这项研究解释了为什么残差网络的初始化方式会影响深层网络的训练结果。此前人们知道，如果每层权重完全独立，随深度增加网络行为像随机波动（布朗运动）；如果各层权重完全相同，则像一条平滑曲线（常微分方程）。而真实网络往往介于两者之间。作者证明，只要初始化时各层之间的相关性按一定规律衰减，网络在深度趋于无穷时的行为就由两个因素唯一决定：相关性衰减的速度和特征函数的厄米特秩，并且会收敛到由赫米特过程驱动的微分方程。这意味着研究者可以把相关性和厄米特秩当成超参数，有意识地设计初始化的相关结构来控制深度网络的极限行为，而不必依赖运气。不过这项结论目前是在数学证明层面，针对特定类型的初始化（平稳高斯序列加特征函数）和理想化的大深度极限，实际训练中的有限深度网络是否能直接套用还需实验验证。
arXiv预印本论文提出，残差网络在初始化时跨层相关的权重会使无穷深度极限由相关结构决定，区别于独立初始化下普遍的布朗运动行为。论文由Felix Benning、Ivan Nourdin和Giovanni Peccati撰写，2026 年 9 月 3 日提交至arXiv（编号 2609.03589），归类于概率论与机器学习交叉领域。依据论文摘要。
论文证明，当初始化由特征函数作用于具有规则变化相关的平稳高斯序列产生时，存在唯一临界缩放，使无穷深度极限成为由赫米特过程驱动的Young微分方程的解。赫米特过程在特征函数厄米特秩为 1（如恒等函数）时退化为分数布朗运动。临界缩放与极限形式由相关衰减速率和特征函数的厄米特秩唯一确定，因此相关结构和厄米特秩构成渐近机制中的有效超参数。依据论文摘要。