FreNet框架用SAM视觉先验重构病灶分割特征,在ETIS数据集上Dice较SOTA提升5.0%
新框架在编码前用视觉先验做像素级重构,编码中用频域解耦与空间定位模块做特征级重构,在9个基准上超过现有方法。
AI解读:医学影像病灶分割难在两点:背景复杂干扰,以及病灶形态多样。现有编码器-解码器方法大多在特征提取或解码策略上下功夫,但缺少早期的先验引导和编码过程中的特征重构,所以效果受限。FreNet的解决思路是在编码前先用一个隐式先验神经网络(IPNN)结合SAM的视觉先验,对输入图像做像素级重构来压制背景响应;编码过程中再用双域特征重构模块(DFR),其中频域解耦模块增强前景与背景的区分度,空间定位模块改善空间稳定性,以应对不同形态的病灶。对医生和研究者来说,这意味着分割模型不再只依赖训练数据里见过的形态,而是借助SAM的通用视觉理解能力,在早期就滤掉干扰信息;同时频域与空间域的配合,使得不规则、边界模糊的病灶也能被更稳定地分割。不过需要留意,这是arXiv预印本,尚未经同行评议,性能数据仅限于论文报告的基准和数据集,实际临床效果需进一步验证。
9月3日提交至arXiv的预印本论文提出一种名为FreNet的医学病灶分割框架,融合视觉先验进行特征重构,在9个跨越三种成像模态的医学图像分割基准上超过现有最先进方法(SOTA)。
论文由Yinan Liu、Jiankang Hong、Zhen Gao、Ye Lu撰写,标题为“Feature Reconfiguration With Visual Prior for Medical Lesion Segmentation”(arXiv:2609.03535v1)。
提出动机与两大核心难点
作者认为,现有编码器-解码器方法主要集中于增强特征提取或重新设计解码策略,但在编码阶段缺乏早期先验引导和特征重构,限制了处理以下挑战的能力:一是复杂的背景干扰,二是多样的病灶形态。
FreNet的两阶段重构机制
FreNet在编码前执行像素级重构,编码过程中执行特征级重构。具体上,为压制背景响应,论文提出隐式先验神经网络(IPNN),建模连续空间场并利用来自SAM的视觉先验,在编码前重构输入图像。
- 为处理多样病灶形态,FreNet设计了双域特征重构(DFR)模块,在编码阶段逐步重构骨干网络特征。
- DFR内部包含频域解耦模块(FDM),在频域解耦骨干特征以增强前景-背景可区分性;以及空间定位模块(SLM),在频域解耦后对空间位置进行重定位并提升空间稳定性。
实验与性能
在9个医学图像分割基准、三种成像模态上的大量实验显示,FreNet明显优于现有SOTA方法。论文报告称,在挑战性较大的ETIS数据集上,FreNet的Dice指标比SOTA方法提升5.0%,比SAM提升7.2%。