特征增强的高精度三维牙齿分类分割方法

代超; 姚光乐; 许敏鹏; 汪洋

doi:10.12404/j.issn.1671-1815.2506283

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (24) :10506-10515 DOI: 10.12404/j.issn.1671-1815.2506283

自动化技术、计算机技术

特征增强的高精度三维牙齿分类分割方法

代超 ¹ ,
姚光乐 ²^,^* ,
许敏鹏 ¹ ,
汪洋 ³

作者信息 +

High-precision 3D Tooth Classification and Segmentation Method with Feature Enhancement

DAI Chao ¹ ,
YAO Guang-le ²^,^* ,
XU Min-peng ¹ ,
WANG Yang ³

Author information +

文章历史 +

摘要

3D牙颌数据中的牙齿准确分割对于诊断、治疗计划至关重要,针对已有算法在牙齿边界不清晰、拥挤、错位和缺失等情况下分类分割精度低、高显存消耗的痛点,提出一种采用注意力机制增强特征提取的二阶段牙齿分类分割模型。由于3D点云模型的输入较大,导致计算量较大,为降低显存消耗,定位牙齿采用2D图像进行检测,将3D点云投影成2D图像,针对现有方法在缺牙错位时分类准确率低的问题,在现有算法作为主干网络基础上,增加了由Transformer构建的牙齿特征增强损失模块(feature enhancement loss module,FELM)强化各个牙齿区域数据点之间的相关性学习,以提高检测的分类精度。第二阶段,需要对检测到 2D 牙齿区域之后裁切得到3D牙颌模型上对应的单个牙齿点云数据进行分割。针对 EdgeConv只能学习局部特征的问题,增加了基于注意力机制的全局通道特征关联(global channel relation feature,GCRF)模块,增强了对全局特征进行融合学习,得到EdgeConv-GCRF分割模型,对单颗牙齿进行分割。通过在 Teeth3DS 数据集实验,所提方法得到的平均准确率(mean accuracy,mAcc)、平均交并比(mean intersection over union,mIOU)和平均戴斯值(mean Dice,mDice)分别为0.860 8、0.824 9、0.866 6,相比现有其他方法,显著提升了分类分割精度,能够高效完成分割任务,极具经济及社会价值。

Abstract

Accurate tooth segmentation in 3D dental jaw data is crucial for diagnosis and treatment planning. Aiming at the pain points of existing algorithms, such as low classification and segmentation accuracy and high video memory consumption under conditions of unclear tooth boundaries, crowding, misalignment, and tooth loss, a two-stage tooth classification and segmentation model with an attention mechanism to enhance feature extraction was proposed Due to the large input of 3D point cloud models, which led to a large amount of computation, to reduce video memory consumption, teeth were located by detecting 2D images and projects 3D point clouds into 2D images. To address the problem of low classification accuracy of existing methods in cases of tooth loss and misalignment, a tooth feature enhancement loss module (FELM) constructed by Transformer was added on the basis of the existing algorithm as the backbone network to strengthen the correlation learning between data points in each tooth region, so as to improved the classification accuracy of detection. In the second stage, after detecting the 2D tooth region, the corresponding single-tooth point cloud data on the cropped 3D dental jaw model needed to be segmented. To address the problem that EdgeConv can only learn local features, a global channel relation feature (GCRF) module based on the attention mechanism was added to enhance the fusion learning of global features, and an EdgeConv-GCRF segmentation model was obtained to segment a single tooth. Through experiments on the Teeth3DS dataset, the proposed method achieves the mean accuracy (mAcc), mean intersection over union (mIOU), and mean Dice score (mDice) of 0.860 8, 0.824 9, and 0.866 6, respectively. Compared with other existing methods, it significantly improves the classification and segmentation accuracy, can efficiently complete the segmentation task, and has great economic and social value.

Graphical abstract

关键词

牙齿分割 / YOLOv5 / 边缘卷积 / Transformer / 注意力机制

Key words

tooth segmentation / YOLOv5 / EdgeConv / Transformer / attention mechanism

引用本文

引用格式 ▾

代超, 姚光乐, 许敏鹏, 汪洋. 特征增强的高精度三维牙齿分类分割方法[J]. 科学技术与工程, 2026, 26(24): 10506-10515 DOI:10.12404/j.issn.1671-1815.2506283

DAI Chao, YAO Guang-le, XU Min-peng, WANG Yang. High-precision 3D Tooth Classification and Segmentation Method with Feature Enhancement[J]. Science Technology and Engineering, 2026, 26(24): 10506-10515 DOI:10.12404/j.issn.1671-1815.2506283

登录浏览全文

4963

注册一个新账户忘记密码

在牙科正畸领域,计算机辅助设计(computer-aided design,CAD)系统的应用显著提升了治疗的精准度与临床效率,其中,3D牙颌模型作为CAD系统的核心数据载体,其每颗牙齿的精准分割是医生开展后续正畸工作的前提。然而,从3D牙颌模型中实现每颗牙齿的精准分类与分割仍面临诸多技术挑战,核心难点可归纳为以下两个方面:一方面,人类牙齿存在显著的异质性,牙齿的形状和大小各不相同,且可能受到拥挤、错位、缺失、修复体或矫治器等多种因素的影响,导致牙齿的形态学边界呈现出复杂多变的状态,增加了特征提取与识别的难度;另一方面,口腔内部结构复杂,部分牙齿与周围牙龈、牙槽骨等结构的交界处边界模糊,这些情况都大大增加了牙齿分割的难度。

为攻克这些难题,众多深度学习算法自动牙齿分割算法应运而生,深度学习算法借助卷积、线性和激活函数等模块构建可学习模型,以标签为监督,自动学习目标与背景的差异,从而实现对目标的自动提取。早期一些经典的通用点云目标分割模型,如PointNet^[1]、Pointnet++^[2]、DGCNN^[3],以及检测模型VoteNet^[4]等,还有近年来的point MLP^[5]、point Transformer^[6]和Stratified Transformer^[7]等模型,都可应用于牙颌模型的牙齿分割,不过其精度会受到模型性能及牙齿分割方法设计的影响。在针对 3D 牙颌模型的牙齿分割方面,出现了一阶段模型和二阶段模型。

一阶段模型能够直接从原始数据中分割出牙齿并确定其类别,如MeshSegNet^[8]、GACNet^[9]、ToothMeshSeg^[10]、Mask Autoencoder^[11]、Fast-TGCN^[12]、TFORMER^[13]、TSGCNet^[14]、DilatedToothSegNet^[15]、SGTNet^[16]、DBGANet^[17]等一系列模型都属于此类。但一阶段模型存在一个难以避免的问题,即相邻牙齿部分容易出现标签错分的情况,尤其在牙齿边界不清晰、拥挤、错位和缺失时,其性能会受到严重影响。文献[18]提出将3D牙齿模型同构映射到2D谐波参数空间并转换为图像,利用2D卷积提取每颗牙齿掩码,以此杜绝相邻牙齿标签错分问题,但该方法在处理非流结构的3D牙齿模型时可能会出现崩溃,不利于实际部署。

二阶段模型则采用分步骤的方式,首先定位牙齿并确定类别,然后在牙齿局部区域进一步进行齿龈分割,DArch^[19]、TSegNet^[20]和ToothGroupNet^[21] 等都属于二阶段模型。这种模型能够较好地解决一阶段模型中相邻牙齿标签错分的问题,但和一阶段模型一样,它们在处理点云模型时,由于输入包含上万的点坐标或者面部特征,会消耗大量显存资源,而且提取法向量、曲率等特征的过程也较为耗时。现有方法都是在3D空间进行检测和分割,模型输入量大,计算量也大,显存消耗高,对部署很不友好,在牙齿边界不清晰、拥挤、错位和缺失等情况下分类分割精度低。

近年来,众多深度学习算法通过注意力机制进行了提升和改进,均取得了良好的效果。文献[22]提出的改进的多注意力机制融合检测算法显著提高了运动目标检测识别能力。文献[23]提出了一种结合多尺度特征聚合和共享注意力机制的混合Transformer模型,从人脸图像中推测眼睛的注视方向,取得了更低的误差。文献[24]在模型的主干网络加入空间的混合注意力模块,提出车辆变形类检测算法(vehicle deformation detection,VDD-YOLO),提高了车辆智能定损精度。

基于此,现提出采用注意力机制进行特征增强的二阶段牙齿分类分割方法,在第一阶段检测任务中,为降低显存消耗,将3D投影为2D图,2D图融合了光照图和深度图,利用Transformer^[25]增强牙齿特征点的关联性学习,提高检测时的分类准确率和召回率;在第二阶段分割任务中利用注意力机制增强了对全局特征的融合学习,旨在强化牙齿特征提取,提高牙齿分割的准确率。通过在Teeth3DS数据集实验,证明该模型具有低显存资源消耗、速度快和准确率高的特点,以期为3D牙颌模型的牙齿分类分割提供一种更易于临床部署、精度更高的解决方案。

1 研究方法

3D牙颌模型包含多种类型的牙齿,图1为3D牙颌点云模型及牙齿的类别,包括中切牙(central inciso)、侧切牙(lateral incisor)、尖牙(canine teeth)、第一前磨牙(first premolar,1stPM)、第二前磨牙(second premolar,2ndPM)、第一磨牙(first molar,1stM)、第二磨牙(second molar,2ndM)和第三磨牙(third molar,3rdM)。

针对3D牙颌模型点云数据量大导致3D检测模型输入规模过大、计算复杂度高,进而难以部署的问题,提出一种两阶段3D牙齿分割方法,该方法由牙齿检测模块和单颗牙齿局部点云分割模块构成,整体框架如图2所示。牙齿检测模块在2D图上进行检测,大大降低了计算量和显存消耗,包含基础检测模块YOLOv5x和特征增强损失模块(feature enhancement loss module,FELM),得到YOLOv5x-FELM,其输入为3D数据投影到2D平面上融合了光照图和深度图的图片。图2中,黄色区域为YOLOv5x主干网络,灰色区域为FELM模块。通过2D牙齿检测模型可得到每颗牙齿对应的2D检测结果框,

依据该结果在对应的3D网格上裁切每颗牙齿的局部3D点云,经采样后输入3D 单颗牙齿分割模块,以完成每颗牙齿的最终分割。3D单颗牙齿分割模块边缘卷积(EdgeConv),融合了全局通道相关性特征感知模块(global channel relation feature,GCRF),得到EdgeConv-GCRF,如图2中绿色区域所示,进而在牙齿分割方面实现了速度快、显存资源消耗低的效果。

1.1 检测模块YOLOv5x-FELM

为了降低显存消耗,将3D数据投影到2D平面上,2D图融合了光照图和深度图,使2D图像的信息维度更为丰富、表征能力更为完整。2D图像的检测方法较为多种多样,包括YOLO系列、以 Transformer 为组件的RT-DETR系列和DINO系列。

卷积在深度学习模型已被广泛使用,其提取特征的能力已经被认可,但是其提取的特征是基于近邻像素的,相隔很远的像素之间的联系则不被强调。为此,提出以YOLOv5x为主干网络基础上,增加了一个基于Transformer的FELM模块,用于专门学习牙齿区域的点之间的特征关联性,能更好地让模型将区分各个牙齿,从而提高检测时的分类准确率。如图3所示,该模块由卷积层、Transformer编码器和前馈神经网络(feedforward network,FFN)构建,编码器由M个相同的编码模组构成,仅参与特征图随机采样特征的训练,不参与推理,且采用类别损失函数和目标损失函数进行监督,促使模块朝着更利于检测目标的方向迭代。

FELM模块为增强对单颗牙齿内部点之间的学习,对2D检测牙齿图进行4 000组样本点采样,其中正样本1 000个,负样本3 000个,采用方法如图4所示。对采样后的特征添加位置嵌入位置编码向量,分别接入卷积层,再通过采样统一特征维度后送入 FELM模块,以强化特征训练并学习不同牙齿特征间的关系。模块最终输出8类牙齿的分类结果及左右侧2分类结果。通过该监督机制引导模型向更优检测方向迭代。由于推理阶段无法预先确定采样依据,FELM模块仅参与训练过程,不参与推理计算。

1.2 单颗牙齿分割模块EdgeConv-GCRF

边缘卷积是一种新的神经网络模块,其核心在于动态构建和更新图以捕获点云中的局部结构信息。在每次卷积操作时,它通过计算相邻点之间的特征差异来构建边,并进行信息交换。但边缘卷积只能学习到局部特征,增加能学习全局特征的GCRF进行融合学习,得到EdgeConv-GCRF,如图5所示,GCRF由归一化层(layer norm)、全连接(linear)、Relu函数、卷积层(conv)和残差连接构成,如图5所示,具备与Transformer相似的输入序列相关性学习能力,能在所有输入点上计算全局通道相关性矩阵,提取具有全局通道相关性的特征,且输入和输出间通过残差连接。这种局部和全局特征的感知模块,可强化牙齿分割模型对点云特征的学习。首先利用每颗牙齿的2D检测框,在3D牙颌模型上裁切出对应的牙齿区域点云。为简化牙齿分割模型、降低显存消耗,同时最大程度保留分割精度,对每颗牙齿的局部区域采样N个点,将其输入3D点云单颗牙齿分割模型。首先将点云输入EdgeConv,通过边缘卷积提取点的局部几何特征,同时借助GCRF提取点云的全局通道相关性特征,两者相加之后,输入T个相同的EdgeConv-GCRF模组,提取的特征输入具有卷积和最大池化结构的残差模块,最终通过一个具有三层全卷积结构的模块输出,如图2绿色区域所示。该牙齿分割模块的损失计算值仅区分牙齿点和非牙齿点,不涉及牙齿类别学习。

1.3 损失函数

2D检测模型的损失(L)分为:主干网络损失和FELM模组的损失,可表示为

(1)L=L_y+L_f

式(1)中:L_y为YOLOv5x主干网络损失;L_f为FELM模组的损失。

L_y的定义为

(2)L_y=L_cls+L_box+L_obj+L_lr+L_d

式(2)中:L_cls为牙齿分类损失;L_box为检测框损失(box loss),监督牙齿宽、高的学习;L_obj为置信度损失;L_lr为牙齿左右二分类的均方误差分类损失;L_d为点云深度值的L1损失。

FELM模组损失L_f的定义为

(3)L_f=L_ob+L_cl

式(3)中:L_ob为点云数据的置信度损失(obj loss);L_cl为点云分类损失(cls loss)。

L_cls、L_box、L_obj、L_ob和L_cl使用二元交叉熵损失进行计算,计算公式为

(4)BCE(p,y)=-[ylnp+(1-y)ln(1-p)]

式(4)中:p为模型预测的概率;y为真实标签。

单颗牙齿分割模型,分类损失(cls loss)使用二元交叉熵损失计算。

2 实验

2.1 数据集

2022年3D牙齿分割挑战赛是与国际医学影像计算机辅助干预会议(Medical Image Computing and Computer-Assisted Intervention,MICCAI)相关的重要赛事,该赛事使用Teeth3DS数据集,该数据集的规模为:训练集包含1 200个扫描,涉及16 004颗牙齿;测试集包含600个扫描,涉及7 995颗牙齿。

在数据预处理方面,2D牙齿检测阶段和3D 牙齿分割阶段各有不同的处理方式。2D牙齿检测阶段,先将3D牙颌模型投影为2D图,得到融合了光照图和深度图的2D图像,其图像尺寸为512(长)×512(宽),像素值被归一化到[0,1]范围。同时,利用YOLOv5 的数据扩增方式,对训练集以一定概率进行HSV 变换、左右翻转和缩放处理。3D牙齿分割阶段,在3D牙颌模型上借助标签裁切每颗牙齿所在的局部区域,获取对应的点云,并对牙齿区域进行随机点采样,统一采样2 048个点,随后将其归一化到[-1, 1]范围。此外,对训练集进行数据扩增,包括在[0°, 180°]的角度范围内进行随机旋转,在[-0.1, 0.1]范围内进行平移,以及在[0.8,1.25]范围内进行缩放,且均以一定概率进行。

2.2 评价指标

2D牙齿检测参考开源算法YOLOv5的指标,具体包括召回率(recall,记为R)、精确率(precision,记为P)和平均准确率(mean average precision,mAP)。

3D牙齿分割采用文献[14 -27]使用的指标,分别为:平均准确率(mean accuracy,mAcc)、平均 IOU(mean intersection over union,mIoU)、平均Dice分数(mean Dice,mDice)。

(5)Dice Score=$\frac{2\left|X\bigcap Y\right|}{\left|X\right|+\left|Y\right|}$

式(5)中:Dice Score为Dice系数;X为模型预测的结果集合;Y为真实的标准结果集合;

$\left|X\bigcap Y\right|$

为集合X和集合Y的交集元素数量;

$\left|X\right|$

为集合X的元素总数量;

$\left|Y\right|$

为集合Y的元素总数量。

此外,为衡量牙齿分割方法的优越性,还增加了模型参数量、推理速度、浮点运算次数(giga floating point operations,GFLOPs)和GPU显存消耗指标。

2.3 实验细节

本文模型搭建于PyTorch框架之上,训练与测试过程在配备NVIDIA 3060(12 GB)GPU 及CPU(i7-11700)的电脑上完成,各阶段具体配置为:①2D牙齿检测阶段:模型参数初始化为YOLOv5x 自带的权重,优化器采用Adam,学习率设定为 0.000 1,训练总轮次为300 轮;②3D牙齿分割阶段:模型参数采用随机初始化方式,优化器同样选用Adam,学习率为 0.001,训练总轮次为150 轮。

2.4 实验分析

在Teeth3DS的测试集上做整体牙齿分割的详细实验数据对比。

2.4.1 牙齿检测模型的性能对比

为提高牙齿的检测和分类准确率,在YOLOv5x模型的基础上增加了FELM进行牙齿区域的采样点学习。通过实验验证FELM模块对YOLOv5x 检测模型的影响,同时将其与近年来最新开发的 2D 目标检测器(YOLOv5x、YOLOv10x^[26]、YOLOv11x、YOLOv8x^[27]、RT-DETRv3x^[28]和 Dino-4scale^[29])进行对比。这些检测器在精度或速度等方面具有领先优势,对比维度包括召回率(R)、精确率(P)、平均精准率(mAP)、速度、参数量和GFLOPs。其中,速度、参数量和GFLOPs 的测试条件为:批量尺寸(batch size)为1,输入尺寸为 512×512×3,测试数据为Teeth3DS测试集对应牙颌模型的2D投影图像。从表1最后两行可知,特征增强损失模块对 YOLOv5x 的召回率和精准率提升显著,在不增加模型推理时间、速度和GFLOPs的前提下,R和P分别提升了1.6%和1.1%, mAP50和 mAP50-95 也分别提升了 0.1% 和 2%,充分证明了特征增强损失模块的先进性。纵观YOLOv10x、YOLOv11x、YOLOv8x、RT-DETRv3-x和 Dino-4scale,RT-DETRv3x虽具有最佳精准率,但其召回率比YOLOv5x-FELM低1%。召回率代表每颗牙齿在定位和类别识别上被成功召回的概率,对后续整体牙齿分割有直接影响,召回率越高,才有对该牙齿分割的操作。YOLOv10-x在mAP50、mAP75和mAP50-95上分别比YOLOv5x-FELM高 1.5%、0.1% 和 0.5%,但其召回率和精准率分别低 1%和1.8%,如前文所述,召回率和精准率相对 mAP更为重要。在速度和GFLOPs方面,YOLOv5x-FELM 模型领先于YOLOv8x、RT-DETRv3-x和Dino-4scale,速度仅比YOLOv10x 和YOLOv11x分别慢 3 ms和2 ms,这一时间差微乎其微。在模型参数量上,YOLOv5x-FELM 仅比 Dino-4scale少。由于在医学牙齿分割中,模型的精度要求高于实时性等要求,因此YOLOv5x-FELM 的牙齿检测方法相比其他几种方法具有领先优势。

2.4.2 单颗牙齿分割模型的性能对比

在3D牙齿相关实验中,对Teeth3DS数据集的处理如下:按照给定标签计算2D的方框,裁切每颗牙齿所在的局部区域点云,并统一随机采样数量 N=2 048个点。为平衡模型间的公平性,所有模型的输入均设定为N×3,其中3表示每个点的x、y和z坐标值。之后,在平均准确率(mAcc)、平均重合度(mIoU)、平均戴斯系数(mDice)、GPU 显存、速度(speed)、参数量(Param)和GFLOPs 方面,与DGCNN、PointNet++、TSGCNet、 PointMLP、CurveNet、DBGANet、SGTNet 和 VIT(6层 Transformer)点云模型进行了详细的实验对比。其中,GPU显存、Speed、Param和GFLOPs是在批量尺寸等于8时测得。

EdgeConv-GCRF模型由DGCNN改进而来。由表2可知,该模型在mAcc、mIoU及mDice指标上分别较DGCNN提升0.000 377、0.000 791和 0.000 405,验证了GCRF模块设计的合理性。观察表2的第1~8行结果可知,TSGCNet^[14]、DBGANet^[17]、SGTNet^[16]、VIT^[25]、Pointnet++^[2]、DGCNN^[3]、PointMLP^[5]和CurveNet^[30]的单颗牙齿分割精度呈依次递增趋势,其中CurveNet表现最优,其mAcc、mIoU 和mDice分别为0.988 236、0.976 765和0.988 246。本文模型在上述三项指标上分别较CurveNet提升0.000 2、0.000 495和0.000 253。尽管增幅微小,但需指出,即使表现最差的TSGCNet,其mAcc、mIoU和mDice也已达到0.980 591、0.961 961和0.980 611,说明当前研究领域内模型精度已处于较高水平,进一步优化的空间有限。更高的分割精度可确保牙齿边缘提取更为精准,这对后续自动排牙计算碰撞至关重要,同时也证明了所设计的单颗牙齿点云分割模型结构的合理性。

在实际生产中,模型应用时精度越高且硬件资源消耗越小,越具有实用价值。表2中,SGTNet 的GPU训练和推理显存分别消耗11 359 MB和 5 941 MB,推理时间Speed为621.08 ms,相比于其他模型,它对资源的消耗较为昂贵。在mAcc前4的模型中,推理时PointMLP和CurveNet的GPU显存消耗最低,分别为818 MB和924 MB,比 EdgeConv-GCRF模型少319MB和213 MB,但它们的推理Speed分别为 340.51 ms 和239.60 ms,是EdgeConv-GCRF模型14.89ms的22.87倍和 16.09倍。在mAcc前4的模型中,EdgeConv-GCRF 模型相比于DGCNN和CurveNet,在Param和 GFlops上相差无几,即EdgeConv-GCRF模型在保持高分割精度的同时,具有可竞争的速度、参数量和 GFlOPs 优势。

2.4.3 牙齿检测与分割消融实验

为提高牙齿的检测和分类准确率,在YOLOv5x模型的基础上增加了FELM进行牙齿区域的采样点学习。通过消融实验验证牙齿分类数量和FELM模块对YOLOv5x检测模型的影响,以展示选择的合理性。表3中所有实验的批次尺寸为12。具体对比情况如下。

(1)对比第1行和第2行,在16类时,有 FELM 模块的模型其P、mAP50、mAP75和mAP50-95分别提升0.8%、0.7%、1.3%和1.3%,证明了 FELM 的有效性。

(2)对比第1行和第3行,牙齿分成16类相比8类时,除P降低0.2%之外,R、mAP50、mAP75 和mAP50-95分别提升10.06%、4.6%、4.3%和 2.4%。

(3)对比第1行和第4行,当模型具有FELM 模块且把牙齿划分为8类时,P、R、mAP50、mAP75 和mAP50-95提升值分别为0.2%、12.1%、5%、4.9% 和 3.5%。

由此可见,FELM 模块和把牙齿划分为8类对模型在牙齿检测和分类的精度提升具有实际意义。按照给定标签计算2D的方框,裁切每颗牙齿所在的局部区域点云,现在通过改变单颗牙齿分割模型的采样点数N,以确定最佳数值。表4中所有实验的批次尺寸为8。

从实验数据来看,在表4中,当N=3 072时,mAcc、mIoU和mDice值虽达到最优,但提升幅度极小,分别仅提高0.000 008、0.000 149和0.000 076。而在表3中,当N=2 048 时,EdgeConv-GCRF 相较于其他表现最好的对比算法CurveNet,已在 mAcc、mIoU和mDice上分别提高0.000 2、0.000 495和0.000 253,展现出了较好的性能优势。更值得注意的是,与N=2 048相比,N=3 072时的推理时间、训练显存和推理显存分别增加了0.75、0.37 和0.34倍,资源消耗显著上升。在推理时间、训练显存和测试显存大幅增加的情况下,性能提升却微乎其微。综合考量性能提升幅度与资源消耗成本,N取2 048更为适宜。

2.4.4 整体牙齿分割定量分析

本实验先采用YOLOv5x-FELM进行2D检测,然后根据检测结果在3D点云数据上截取相应的牙齿区域,再用EdgeConv-GCRF进行3D牙齿分割^[31],整体分割结果如表5所示,其中ToothMeshSeg、SGTNet、DBGANet和 TSegNet的数据通过开源代码训练测试得到。表5分别记录了各对比算法在牙龈、第三磨牙、第二磨牙、第一磨牙、第二前磨牙、第一前磨牙、中切牙、侧切牙和尖牙测试集上的mAcc、mIoU和mDice。

本文算法在牙齿分割方面取得了最优的mAcc、mIoU和mDice,分别为0.860 8、0.824 9和 0.866 6,相较于次优算法DilatedToothSegNet,分别高出0.055 9、0.064 6和0.061 5。本文算法相较于已有算法具有明显优势,这主要源于两个方面:一是本文2D牙齿检测模型中所设计的 FELM 模块,该模块提高了牙齿的P和R,也就是提升了牙齿被正确定位和分类的概率;二是GCRF模块能够让单颗牙齿分割模型获取输入点的全局通道信息感知,从而确保局部单颗牙齿尽可能被正确分割。

2.4.5 牙齿分割定性评估

图6直观地展示了不同对比方法之间的牙齿分割结果,主要从6个具有代表性的牙颌模型特征来分析算法之间的优劣,具体如下。

(1)第1行呈现的是一个较为常见的牙颌模型情况,该模型中除了第三号磨牙(3rdM)外所有牙齿都存在,且牙齿在牙颌模型上排列整齐。在这种情况下,除本文方法和TSegNet外,其他方法在前牙位置都产生了少量的误分割板块。

(2)第2行牙颌模型中,前牙区域存在严重的拥挤和错位。除本文方法外,其他对比算法均存在相邻牙齿标签错分的情况,其中一阶段(DBGANet、DilatedToothSegNet、SGTNet和ToothMeshSeg)牙齿分割算法的错分情况最为严重,二阶段(TSegNet)牙齿分割算法所受影响最小。此外,在右边最后一颗磨牙处,由于存在边界不清晰的问题,所有方法都出现了误分割。

(3)第3行的牙颌模型中,牙颌左边第二前磨牙与第一后磨牙之间存在较大间隙,牙颌右边存在第一后磨牙缺失的情况。除本文方法外,其他对比算法均存在标签预测错误,特别是DBGANet和 SGTNet在右边最后一颗磨牙上出现了两种不同的标签。另外,DBGANet在前牙位置相邻牙齿之间出现了标签误分割为对方标签的情况,DilatedToothSegNet、SGTNet 和 TSegNet 在前牙处的分割边界存在严重的毛刺现象。

(4)第4行是一个所有牙齿都存在的牙颌数据,本文方法能为每一颗牙齿分配合适的标签,而其他对比算法在磨牙区域存在局部斑块点标签错分分割或者整颗牙齿标签错分的问题,TSegNet 方法还存在牙齿漏检的情况。此外,所有的一阶段算法在相邻牙齿之间标签误分割至对方标签的问题。

综合来看,一阶段模型在牙齿边界不清晰、拥挤、错位和缺失处的性能受到严重影响,二阶段算法在这些情况下的表现有所改善。本文算法在牙齿分割上的优越性主要体现在两个方面:一是相邻牙齿之间不易出现局部斑块标签被分到对方标签的情况,获得的牙齿分割结果边缘更加光滑;二是不易存在牙齿漏检和相邻牙齿标签误分割的问题。

3 结论

针对现有二阶段算法在牙齿边界模糊、拥挤、错位和缺失等复杂场景下分割精度低,以及在3D牙颌的牙齿分割中存在高显存容量和时间消耗的痛点,提出一种采用注意力机制增强特征提取的两阶段牙齿分割方法。为降低显存消耗,首先在3D牙颌模型的2D投影图上进行牙齿定位;随后依据2D检测结果,在原始3D模型上裁切每颗牙齿的局部区域;最后对裁切区域的点云进行采样,将采样结果输入3D点云牙齿分割模型完成最终分割。为提升牙齿定位和分类精度,提出辅助2D牙齿检测的FELM损失模块。该模块通过平衡正负样本分布,学习输入特征序列之间的相互关系,进而强化主干模型对特征的感知能力,有效提升了主干模型对牙齿的定位和分类精度。利用2D检测结果裁切出来的牙齿区域含有更少的非牙齿点,将其输入融合了具有全局通道信息特征提取能力模块的EdgeConv-GCRF模型。在Teeth3DS数据集上的实验结果表明,本文方法的牙齿分割效果优于其他算法,充分验证了其有效性和优越性。本文方法能够高效完成复杂场景下的3D牙颌模型牙齿分割任务,兼具部署效率与分割精度,具有较高的临床应用价值与社会经济效益。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Qi C R, Su H, Mo K, et al. Pointnet: deep learning on point sets for 3d classification and segmentation[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 652-660.

[2]	Qi C R, Yi L, Su H, et al. Pointnet++: deep hierarchical feature learning on point sets in a metric space[J]. Advances in Neural Information Processing Systems, 2017, 30: 5099-5108.

[3]	Wang Y, Sun Y, Liu Z, et al. Dynamic graph CNN for learning on point clouds[J]. ACM Transactions on Graphics, 2019, 38(5): 1-12.

[4]	Qi C R, Litany O, He K, et al. Deep hough voting for 3D object detection in point clouds[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. Seoul: IEEE, 2019: 9277-9286.

[5]	Ma X, Qin C, You H, et al. Rethinking network design and local geometry in point cloud: a simple residual MLP framework[J]. arXiv Preprint, arXiv: 2202.07123, 2022.

[6]	Zhao H, Jiang L, Jia J, et al. Point Transformer[C]// Proceedings of the IEEE/CVF international Conference on Computer Vision. Montreal: IEEE, 2021: 16259-16268.

[7]	Lai X, Liu J, Jiang L, et al. Stratified Transformer for 3D point cloud segmentation[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans: IEEE, 2022: 8500-8509.

[8]	Lian C, Wang L, Wu T H, et al. Deep multi-scale mesh feature learning for automated labeling of raw dental surfaces from 3D intraoral scanners[J]. IEEE Transactions on Medical Imaging, 2020, 39(7): 2440-2450.

[9]	Zhao Y, Zhang L, Yang C, et al. 3D Dental model segmentation with graph attentional convolution network[J]. Pattern Recognition Letters, 2021, 152: 79-85.

[10]	Jana A, Subhash H M, Metaxas D. 3D tooth mesh segmentation with simplified mesh cell representation[C]// IEEE 20th International Symposium on Biomedical Imaging (ISBI). Cartagena de Indias: IEEE, 2023: 1-5.

[11]	Almalki A, Latecki L J. Self-supervised learning with masked autoencoders for teeth segmentation from intra-oral 3D scans[C]// Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. Seattle: IEEE, 2024: 7820-7830.

[12]	Li J, Cheng B, Niu N, et al. A fine-grained orthodontics segmentation model for 3D intraoral scan data[J]. Computers in Biology and Medicine, 2024, 168: 107821.

[13]	Xiong H, Li K, Tan K, et al. TFormer: 3D tooth segmentation in mesh scans with geometry guided transformer[J]. arXiv Preprint, arXiv: 2210.16627, 2022.

[14]	Zhang L, Zhao Y, Meng D, et al. TSGCNet: discriminative geometric feature learning with two-stream graph convolutional network for 3D dental model segmentation[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville: IEEE, 2021: 6699-6708.

[15]	Krenmayr L, von Schwerin R, Schaudt D, et al. DilatedToothSegNet: tooth segmentation network on 3D dental meshes through increasing receptive vision[J]. Journal of Imaging Informatics in Medicine, 2024, 37: 1846-1862.

[16]	Duan F, Chen L. 3D dental mesh segmentation using semantics-based feature learning with graph-Transformer[C]// International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer, 2023: 456-465.

[17]	Lin Z, He Z, Wang X, et al. DBGANet: dual-branch geometric attention network for accurate 3D tooth segmentation[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2023, 33: 5876-5887.

[18]	Zhang J, Li C, Song Q, et al. Automatic 3D tooth segmentation using convolutional neural networks in harmonic parameter space[J]. Graphical Models, 2020, 109: 101071.

[19]	Qiu L, Ye C, Chen P, et al. Darch: dental arch prior-assisted 3D tooth instance segmentation with weak annotations[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans: IEEE, 2022: 20752-20761.

[20]	Cui Z, Li C, Chen N, et al. TSegNet: an efficient and accurate tooth segmentation network on 3D dental model[J]. Medical Image Analysis, 2021, 69: 101949.

[21]	Ben-Hamadou A, Smaoui O, Rekik A, et al. 3DTeethSeg’22: 3D teeth scan segmentation and labeling challenge[J]. arXiv Preprint, arXiv: 2305.18277, 2023.

[22]	靳志鑫, 孙浩航, 李琳, 等. 多注意力机制融合的体育场景下运动目标检测[J]. 科学技术与工程, 2025, 25(29): 12570-12578.

[23]	Jin Zhixin, Sun Haohang, Li Lin, et al. Motion object recognition in complex scenes based on multi-attention mechanism fusion[J]. Science Technology and Engineering, 2025, 25(29): 12570-12578.

[24]	彭黄果, 陈亮. 结合多尺度融合与注意力机制的混合Transformer注视估计模型[J]. 科学技术与工程, 2025, 25(29): 12579-12585.

[25]	Peng Huangguo, Chen Liang. Hybrid Transformer gaze estimation model combining multi-scale fusion and attention mechanism[J]. Science Technology and Engineering, 2025, 25(29): 12579-12585.

[26]	翟永杰, 朱浩硕, 李佳蔚, 等. VDD-YOLO: 用于车辆变形损伤的评估方法[J]. 科学技术与工程, 2025, 25(29): 12560-12569.

[27]	Zhai Yongjie, Zhu Haoshuo, Li Jiawei, et al. VDD-YOLO: method for vehicle deformation and damage detection[J]. Science Technology and Engineering, 2025, 25(29): 12560-12569.

[28]	Dosovitskiy A. An image is worth 16×16 words: Transformers for image recognition at scale[J]. arXiv Preprint, arXiv: 2010.11929, 2020.

[29]	Wang A, Chen H, Liu L, et al. YOLOv10: real-time end-to-end object detection[J]. arXiv Preprint, arXiv: 2405.14458, 2024.

[30]	Cheng T, Song L, Ge Y, et al. YOLO-world: real-time open-vocabulary object detection[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2024: 16901-16911.

[31]	Zhao Y, Lv W, Xu S, et al. DETRs beat YOLOs on real-time object detection[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2024: 16965-16974.

[32]	Zhang H, Li F, Liu S, et al. DINO: DETR with improved denoising anchor boxes for end-to-end object detection[J]. arXiv Preprint, arXiv: 2203.03605, 2022.

[33]	Muzahid A A M, Wan W, Sohel F, et al. CurveNet: curvature-based multitask learning deep networks for 3D object recognition[C]// IEEE/CAA Journal of Automatica Sinica. New York: 2020: 1177-1187.

[34]	Qian G C, Li Y, Peng H, et al. PointNeXt: revisiting PointNet++ with improved training and scaling strategies[C]// Advances in Neural Information Processing Systems. New Orleans: Curran Associates, Inc., 2022: 35.