随机特征法高维逼近谱收敛获证:高精度与严重病态由同一机制驱动
arXiv新论文证明随机特征法对多维Sobolev、Gevrey、超解析和带限函数类目标具有谱收敛性,并揭示高精度伴随严重病态的内在冲突。
AI解读:随机特征法(RFM)是一种用随机采样的特征做逼近的机器学习方法,训练时只需解一个线性最小二乘问题,成本低,但理论上一直欠缺对高维目标逼近误差的系统刻画。这篇论文首次证明:对Sobolev、Gevrey、超解析和带限这四类多维函数,只要特征按目标正则性适当采样,RFM的逼近误差能随特征数增加以谱速率(从超指数到代数速率)收敛,且同样的误差估计可转换为二维二阶椭圆边值问题和特征值问题的收敛性。关键发现是病态不可避免:论文证明随机特征矩阵的奇异值呈超指数或指数衰减,条件数有相应下界——高精度和严重病态源自同一个谱逼近机制。对实践者的影响是:RFM的精度潜力已有严格保证,但在实际求解中需要处理条件数增长带来的稳定性问题,例如采用正则化或迭代求解器,而不能指望提高精度时矩阵病态自然缓解。普通读者若无逼近论或数值分析需求,无需据此调整当下工作。
中国科学院数学与系统科学研究院的明平兵与于浩在arXiv提交的一篇 48 页论文中,首次证明了随机特征法(RFM)对多维Sobolev、Gevrey、超解析和带限函数类目标具有谱收敛性。文中指出,当随机特征矩阵(RFMtxs)采用Fourier特征时奇异值呈超指数衰减,采用 $\tanh$ 特征时呈指数衰减,并给出相应的条件数下界,推断出同一谱逼近机制既带来高精度也导致严重病态。该论文于 2026 年 9 月 3 日提交至arXiv,编号arXiv:2609.03401。
谱收敛性证明与逼近误差估计
论文首先针对四类多维函数目标建立RFM的谱收敛性分析,覆盖Sobolev、Gevrey、超解析和带限函数类。该 分析基于核积分算子生成的插值尺度,生成一般的高概率逼近估计。
在一个仅由采样的特征决定的事件上,单个随机空间能够逼近预设源球内的每一个目标函数。此外,对于每个目标,存在一个单一的系数向量,可定义逼近函数,使其在所有可容许的误差范数下同时达到谱精度。
对于正则性适配的频率分布,以及增长频率窗口上的均匀分布,收敛速率取决于目标正则性,范围从超指数到代数速率。
应用于边值问题和特征值问题的离散化误差
论文建立了强形式和弱形式RFM离散化的抽象误差估计,将前述逼近界转换为多维二阶椭圆边值问题与特征值问题的收敛性估计。这意味着理论结果不仅适用于函数逼近,还可以直接用于偏微分方程数值解的分析。
病态机制:高精度与严重病态的共同根源
针对随机特征矩阵,论文证明:采用Fourier特征时奇异值呈超指数衰减,采用 $\tanh$ 特征时奇异值呈指数衰减,同时给出相应的条件数下界。
论文指出,分析识别出一个共同机制:正是产生高精度的谱逼近特性,同时也导致了随机特征矩阵的严重病态。