医学图像分割是临床诊断、治疗计划制定的核心环节,而3D医学图像分割更能还原解剖结构的空间特征,为精准医疗提供关键支撑。但在实际应用中,标注数据稀缺、类别不平衡两大难题,长期制约着半监督3D医学图像分割的性能——大器官占据体素空间主导地位,小结构(如血管、腺体)因体素占比极低,极易出现特征崩溃、分割精度差的问题。近期,一篇发表于ACM MM 2025的研究论文《Simple but Effective: Sub-Volume Contrastive Learning for Class-Imbalanced Semi-Supervised 3D Medical Image Segmentation》,提出了一种轻量且高效的子体积对比学习(SuVCL)框架,直击类别不平衡痛点,显著提升了小解剖结构的分割性能,即使在标注样本极少的情况下,也能超越传统全监督方法。
论文信息
题目:Simple but Effective: Sub-Volume Contrastive Learning for Class-Imbalanced Semi-Supervised 3D Medical Image Segmentation
简单而有效:用于类别不平衡半监督3D医学图像分割的子体积对比学习
作者:Xianrun Xu, Baoyao Yang, Wanyun Li, Jingsong Lin, Yufei Xu
痛点直击:类别不平衡下的3D医学图像分割难题
在3D医学图像中,肝脏、胃等大器官占据了绝大部分体素空间,而血管、腺体、肾上腺等小结构仅占不到5%的体素(见图1)。这种极端的类别不平衡,在半监督学习场景下尤为致命:
- 标记数据稀缺导致小结构特征学习不充分,模型难以捕捉其独特的语义特征,出现“特征崩溃”;
- 基于未标记数据生成的伪标签可靠性低,误差不断放大,进一步加剧小结构分割的不足;
- 现有方法多聚焦于下游损失重加权、数据增强等补偿手段,却忽略了上游特征编码阶段的根本问题——少数类特征判别能力不足,导致下游纠正机制收效甚微。
▲ 图1:3D医学图像中不同解剖结构的体素占比分布,小结构体素占比极低(图源:论文原文)
对比学习为解决特征判别问题提供了新思路,但传统全局对比学习易模糊细粒度细节,体素级配对策略又面临计算成本过高的问题。为此,研究团队提出了SuVCL框架,从上游特征编码阶段入手,兼顾局部细节捕捉与计算效率,破解类别不平衡难题。
核心创新:SuVCL框架的三大关键设计
SuVCL基于经典的均值教师(MT)架构构建三流网络,核心是在学生模型中新增“类别均衡特征增强分支”,与原有分割预测分支共享编码器,既捕捉全局语义,又强化局部特征。整体框架如图2所示:
▲ 图2:SuVCL框架总体结构图(图源:论文原文)
1. 子体积特征提取:聚焦局部,平衡精度与效率
传统全体积处理易忽略小结构细节,体素级处理则计算量爆炸。SuVCL创新性地采用“随机采样重叠子体积”策略:将原始3D医学体积划分为多个8×8×8的子体积,通过编码器提取高维嵌入特征。
这种方式将大体积拆解为更小的语义单元,既能精准捕捉血管、腺体等小结构的细粒度解剖细节,又大幅降低计算负担,在“保留局部细节”与“控制计算复杂度”之间实现了完美平衡。
2. 平衡记忆库:让小类别特征“不被淹没”
为解决对比学习中多数类特征主导、少数类特征被忽视的问题,SuVCL设计了基于先进先出(FIFO)队列的平衡记忆库机制:
- 为每个类别单独维护特征队列,确保所有类别记忆库存储能力一致;
- 仅将高置信度的子体积特征纳入记忆库,动态阈值随训练进程线性衰减,保证特征可靠性;
- FIFO机制实时更新记忆库,让小结构的特征始终得到同等关注,避免被大器官特征“淹没”。
这一设计从根本上保障了各类别特征的均衡表示,为后续对比学习提供了高质量、无偏的特征样本。
3. 子体积对比学习:强化特征判别能力
基于平衡记忆库,SuVCL构建了针对性的对比学习策略:
- 通过对比损失,让同类特征更相似、异类特征更区分,重塑特征空间,尤其强化小结构的特征判别性。
最终,SuVCL将监督损失、无监督一致性损失、分类损失与对比损失融合,形成整体训练目标,既保证分割任务的基础性能,又针对性提升小类别分割精度。
实验验证:性能全面超越SOTA,小类别分割提升显著
研究团队在Synapse(30例3D扫描数据)和AMOS(360例3D扫描数据)两大主流数据集上开展了全面实验,验证SuVCL的有效性。
1. 与SOTA方法对比:小类别分割精度大幅提升
- Synapse数据集:10%标记数据下,相比经典的A&D方法,SuVCL整体骰子系数提升10.24%,小器官分割精度提升4.5%;20%标记数据下,相比GA方法,整体骰子系数从68.43%提升至71.23%,小器官提升3.38%;
- AMOS数据集:2%标记数据下,相比GA方法,小器官分割精度提升1.76%;5%标记数据下,小器官精度进一步提升3.74%;
- 更值得关注的是,即使标注样本极少,SuVCL在多个小器官分割任务上的精度甚至超越了全监督方法(VNet),充分证明其捕捉细粒度语义的能力。
2. 定性结果:小结构分割更完整、更精准
从可视化结果(图3、图4)可以清晰看到,SuVCL在复杂背景下,既能精准分割肝脏、胃等大器官,也能完整识别主动脉、门静脉、左肾上腺等小结构;而对比方法往往出现小器官漏分割、分割不完整的问题。
▲ 图3:Synapse数据集分割结果可视化(20%标记数据),SuVCL对小结构(如Ao、PSV)分割更精准(图源:论文原文)
▲ 图4:AMOS数据集分割结果可视化(5%标记数据),SuVCL有效避免小器官(如LAG)漏分割(图源:论文原文)
3. 消融实验:核心组件缺一不可
为验证各模块的作用,研究团队在AMOS数据集(5%标记数据)上开展消融实验(表5):
- 仅引入对比学习,小类别骰子系数从54.03%提升至55.29%;
- 加入分类损失后,小类别精度进一步提升至56.09%;
- 加入动态阈值的完整SuVCL模型,小类别精度最终达57.77%,大类别也同步提升至78.55%。
此外,子体积大小的消融实验(表6)表明,8×8×8的子体积尺寸在性能与效率间达到最优——全体积(96×96×96)处理时,小类别精度仅33.18%,而缩小子体积后,小结构细节捕捉能力显著增强。
▲ 表5:各核心组件对分割性能的影响(图源:论文原文)
▲ 表6:不同子体积大小对分割性能的影响(图源:论文原文)
总结与展望
SuVCL的核心价值在于:以“子体积”为核心切入点,将对比学习与类别平衡机制结合,从上游特征编码阶段解决类别不平衡问题,而非依赖下游补偿手段。其轻量级、模块化的设计,可轻松集成到现有半监督分割框架中,具备极强的落地潜力。
实验结果充分证明,SuVCL在Synapse、AMOS等数据集上全面超越现有SOTA方法,尤其在小解剖结构分割上表现亮眼,为标注数据稀缺、类别不平衡场景下的3D医学图像分割提供了新范式。
未来,这一框架还可进一步扩展:例如适配更多模态的医学图像(如MRI、CT)、结合多尺度特征融合策略、优化记忆库更新机制等,持续提升复杂临床场景下的分割性能,为精准医疗提供更坚实的技术支撑。