基于正则化自编码器扰动的特征选择算法

孟冲; 聂斌; 姜磊; 刘明; 史晨浩

doi:10.12404/j.issn.1671-1815.2507073

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (16) :6918-6931 DOI: 10.12404/j.issn.1671-1815.2507073

自动化技术、计算机技术

基于正则化自编码器扰动的特征选择算法

孟冲 ¹ ,
聂斌 ¹^,^* ,
姜磊 ² ,
刘明 ² ,
史晨浩 ¹

作者信息 +

Regularized Autoencoder Perturbation Feature Selection Algorithm

MENG Chong ¹ ,
NIE Bin ¹^,^* ,
JIANG Lei ² ,
LIU Ming ² ,
SHI Chen-hao ¹

Author information +

文章历史 +

摘要

Boruta是一种基于随机森林的特征选择算法，其核心思想是通过引入影子特征来评估原始特征的重要性，从而获得重要性高于影子特征的特征子集。然而，Boruta的影子特征生成机制是对原始特征进行随机打乱，具有较强的随机性和不确定性。为此，聚焦于影子特征的生成机制，提出一种注入高斯噪声的正则化自编码器扰动特征选择算法（regularized autoencoder perturbation feature selection，RAE-PFS）。所提算法通过正则化自编码器学习原始特征的结构信息，将原始特征编码到潜在空间、引入高斯噪声扰动潜在空间、解码，从而生成影子特征，与原始特征合并后，通过随机森林获得重要性高于影子特征的特征子集。通过8个公开数据集和5种分类器实验，结果表明：所提出的RAE-PFS比传统的Boruta特征选择率降低了8.34%，并且分类准确率，精确率和召回率均有显著提高。最后，在医学数据集上使用SHAP对选择特征进行可解释性分析，验证了RAE-PFS选择特征的合理性。

Abstract

Boruta is a feature selection algorithm based on random forests， whose core principle involves introducing shadow features to evaluate the importance of original features， thereby obtaining a subset of features with higher importance than their shadow counterparts. However， Boruta’s shadow feature generation mechanism involves randomly shuffling the original features， exhibiting significant randomness and uncertainty. Consequently， focusing on the shadow feature generation mechanism， a regularised autoencoder perturbation feature selection algorithm （RAE-PFS） injected with Gaussian noise was proposed. The proposed algorithm learned structural information from original features via a regularised autoencoder， encoded the original features into the latent space latent space， introduced Gaussian noise to perturb the latent space， and decoded them to generate shadow features. After merging with original features， a feature subset with higher importance than shadow features was obtained using a random forest. Experiments across eight public datasets and five classifiers demonstrate that the proposed RAE-PFS reduces the feature selection rate by 8.34% compared to traditional Boruta， while significantly improving classification accuracy， precision， and recall. Finally， interpretability analysis based on SHAP was performed on medical datasets to verify the rationality of the features selected by RAE-PFS.

Graphical abstract

关键词

特征选择 / Boruta / 正则化自编码器（RAE） / 影子特征

Key words

feature selection / Boruta / regularised autoencoder （RAE） / shadow features

引用本文

引用格式 ▾

孟冲, 聂斌, 姜磊, 刘明, 史晨浩. 基于正则化自编码器扰动的特征选择算法[J]. 科学技术与工程, 2026, 26(16): 6918-6931 DOI:10.12404/j.issn.1671-1815.2507073

MENG Chong, NIE Bin, JIANG Lei, LIU Ming, SHI Chen-hao. Regularized Autoencoder Perturbation Feature Selection Algorithm[J]. Science Technology and Engineering, 2026, 26(16): 6918-6931 DOI:10.12404/j.issn.1671-1815.2507073

登录浏览全文

4963

注册一个新账户忘记密码

随着现代社会信息化的不断推进，各个领域正在积累大量且维度高的数据。高维数据集在分类、数据挖掘和情感分析等任务中带来了巨大挑战。这类数据往往来源于包含大量特征的观测对象，但其中许多特征并不能明确其作用，从而增加了处理和分析的复杂性^[1]。在高维数据分析中，对数据降维的方法主要分为两类：特征提取和特征选择^[2]。特征提取是通过将原始高维特征空间映射到一个低维空间。低维空间中的特征是由原始特征映射而来的新特征，保留了原始特征中重要的信息。但提取后的特征往往是经过数学变换得到的抽象表示，可能无法直接对应原始数据的具体含义，不利于结果解释。特征选择则是在原始特征集中直接筛选出与任务最相关、最具代表性的特征，而不对其进行复杂的变换或组合。它的核心目标是剔除冗余、无关或噪声特征，从而简化模型结构、降低计算成本。与特征提取相比，特征选择保留了特征的原始物理或语义意义，因此具有更高的可解释性^[3]。

现有特征选择方法通常可分为三类：基于过滤（filter）的统计方法依赖相关性或显著性指标选择特征，通常需要较少的计算时间。基于包裹（wrapper）的搜索方法通过模型性能直接指导特征子集选择，最佳特征子集是根据分类器的结果选择的。由于重复学习步骤和交叉验证，基于包裹的方法在计算上比过滤方法更复杂。嵌入式（embedded）方法通过将特征选择过程与模型训练过程有机结合，在优化模型参数的同时完成特征筛选。与过滤式方法和包裹式方法相比，嵌入式方法能够在降低计算复杂度的同时，选取与模型性能更契合的特征子集，因此通常具有更优的预测效果和更好的泛化能力^[4]。

Boruta算法^[5]是一种典型的嵌入式特征选择方法，其基于随机森林的重要性评估机制。通过引入随机打乱的影子特征与原始特征进行对比，从而判定特征的重要性。该方法因其有效性已在众多领域得到成功应用。李超等^[6]在开展海上风电功率短期预测研究时，为应对高维气象数据的复杂性，成功应用Boruta算法从初始特征中，筛选出与风电出力最相关的关键特征，有效优化了深度学习模型Crossformer的输入，为其后续实现高精度预测奠定了坚实基础。Zhou等^[7]将Boruta应用在糖尿病预测模型，并取得了优异性能。Gholami等^[8]在使用预测土地对大气沙尘排放敏感性模型中，利用Boruta确定了风蚀敏感性的特征重要程度，为制定沙尘排放缓解措施提供了依据。Szul等^[9]使用Boruta结合粗糙集理论预测模型的创新方法，用于优化建筑供暖能耗的输入数据，显著提升了预测精度。同时，针对算法自身的局限性，研究者们也进行了相应改进，聂斌^[10]将Boruta中用于计算重要性的随机森林替换为变量投影重要性，用于对小样本数据进行特征选择，解决了Boruta无法筛选小样本数据的问题。Yuan等^[11]引入XGBoost计算特征重要性提出XGBoost-Boruta方法以提升大型数据集的计算效率。

然而，目前针对Boruta生成影子特征的机制研究较少。Boruta的策略是对原始特征进行完全随机打乱，这虽然有效消除了特征与标签的直接依赖，但也同时破坏了特征间潜在的相关结构，影响了原始特征的扰动的稳定性。对于存在复杂分布模式或强相关性的高维数据，这种随机扰动可能引入额外的评估偏差，降低特征选择结果的稳定性与准确性。

为探索这一问题，现提出一种基于正则化自编码器扰动的特征选择算法（regularized autoencoder perturbation feature selection algorithm，RAE-PFS）。该方法首先利用正则化自编码器（regularized autoencoder，RAE）对原始特征进行非线性嵌入与重构，但由于直接解码得到的影子特征与原始特征过于接近，难以形成有效扰动，因此在潜在空间中进一步引入高斯噪声，以增加影子特征与真实特征之间的差异性。这样生成的影子特征既保持部分结构信息，又避免与原始特征过度相似，从而具备更合适的扰动能力。随后，结合Boruta的迭代筛选思想，借助随机森林的重要性评估机制，对真实特征与影子特征进行多轮比较与筛选，实现更稳健且具有更强泛化能力的特征选择。从影子特征生成机制出发，对Boruta算法进行改进，有助于丰富基于扰动思想的特征选择理论，并为生成式表征学习与传统特征筛选方法的融合提供参考。

1 算法

1.1 随机森林

随机森林（random forest，RF）是一种基于决策树的集成学习方法^[12]，凭借其在高维数据建模、非线性关系刻画以及特征重要性评估等方面的突出性能，RF已成为Boruta算法中的核心重要性方法。在构建RF的过程中，每棵决策树会在训练阶段基于特征的划分效果，选择局部最优的划分特征及其对应的分裂点。对于分类任务，划分效果常使用基尼指数（Gini impurity）或者信息增益（information gain）进行度量^[13]。每当某一特征被选中用于节点划分时，该次分裂带来的纯度提升会被记录。最终，通过对该特征在整棵森林中所有相关节点的纯度增益进行累计，即可得到其总体特征重要性得分。当森林包含T棵树时，特征f的整体重要性计算公式为

（1）$ \operatorname{Imp}(f)=\frac{1}{T} \sum_{t=1}^{T} \operatorname{Imp}_{t}(f)$

式（1）中：Imp_t（f）为单棵树t中的特征重要性，其计算公式为

（2）$ \operatorname{Imp}_{t}(f)=\sum_{n \in N_{f, t}} \frac{N_{n}}{N} \Delta I_{n}$

式（2）中：N_f_，_t为第t棵树中由特征f进行划分的所有节点集合；N为训练样本总数；N_n为到达节点n的样本数； ΔI_n为节点n划分前后不纯度的减少量。

随机森林的重要性得分在评估特征时基于整体特征集合，并能够直接反映各特征对模型预测准确性的实际贡献，为基于特征扰动的筛选机制提供了理论依据。

1.2 Boruta特征选择算法

Boruta算法是一种基于随机森林的特征选择方法，其核心思想是通过对原始特征进行随机扰动，以识别真正具有预测能力的特征。其对原始特征按列随机打乱，生成影子特征，并将其与原始特征合并，构成扩展特征集合。Boruta的具体步骤如下。

步骤1 对原始特征矩阵进行复制，并对复制样本的各个特征维度进行随机打乱，从而构造影子特征。这些影子特征与原始特征共同组成扩展后的特征集。

步骤2 在该扩展特征集上训练随机森林分类器，并计算所有特征的重要性得分。为了设定判别阈值，记录影子特征中最高的重要性分数。

步骤3 对于每一个真实特征的重要性进行比较，若其重要性显著高于阈值，则将其保留在最终特征子集中；若显著低于阈值，则判定其为不需要的特征；若处于两者之间，则进入下一轮迭代。

步骤4 重复上述过程，直至所有特征均被归类为确认或剔除，或达到预设的停止条件。该方法能够在控制假阳性特征的同时，有效筛选出对任务具有贡献的特征子集。

1.3 注入噪声的正则自编码器

1.3.1 影子特征生成机制分析

Boruta算法通过对原始特征矩阵的各列进行独立随机置乱（random shuffling）以生成影子特征。该操作切断了特征与标签的条件依赖，同时也破坏了特征间的协方差结构及数据分布。由此生成的影子特征仅保留了原始数据的数值分布，在特征空间中表现为高频噪声。这种结构破坏导致随机森林分类器易于将影子特征与保留了流形结构的真实特征区分，从而降低了特征选择的筛选基准，增加了冗余特征被选中的概率。

针对上述局限，采用基于生成模型重构的扰动策略。该策略利用RAE学习原始数据在低维潜在空间中的非线性映射。通过在潜在空间注入服从正态分布的随机噪声并经解码器重构，生成保留原始特征的局部信息的近似影子特征。图1展示了Boruta与RAE生成影子特征的不同。

1.3.2 正则化自编码器模型构建

自编码器（auto-encoder，AE）由编码器（encoder）和解码器（decoder）组成，是一种特殊的人工神经网络架构，旨在通过无监督学习实现对输入数据的高效表征学习^[14]。其中编码器负责将高维输入数据$ \boldsymbol{X} \in \mathbf{R}^{n}$映射到一个低维的潜在空间表示$ z \in \mathbf{R}^{d}$（d<n），以实现信息压缩。而解码器则试图根据该潜在表示z尽可能使重构输出$ \boldsymbol{\hat{x}}$接近原始输入。

在数学形式上，AE的前向过程可表示为

（3）$z=f_{\mathrm{enc}}\left(\boldsymbol{x} ; \theta_{\mathrm{e}}\right)$

（4）$\hat{\boldsymbol{x}}=f_{\mathrm{dec}}\left(\boldsymbol{z} ; \theta_{\mathrm{d}}\right)$

式中：f_enc和f_dec分别为编码器与解码器的非线性映射函数；θ_e、θ_d分别为编码器与解码器的可学习参数。

自编码器常用的损失函数为均方误差，其表达式为

（5）$L_{\mathrm{AE}}\left(\theta_{\mathrm{e}}, \theta_{\mathrm{d}}\right)=\frac{1}{N} \sum_{i=1}^{N}\left\|\boldsymbol{x}_{i}-\hat{\boldsymbol{x}}_{i}\right\|_{2}^{2}$

式（5）中：x_i为第i个输入样本；$\hat{\boldsymbol{x}}_{i}$为对应的重构样本；N为样本的数量；L_AE为对N个样本的误差取平均来衡量自编码器整体的重构误差。

通过最小化输入x与重构输出$\hat{\boldsymbol{x}}$之间的差异，自编码器能够学习到输入数据的主要结构模式与关键信息。因为其表征学习的特性，标准自编码器通常用于特征提取^[15]、降维^[16-17]、去噪^[18-19]与异常检测等任务^[20]。然而，标准自编码器只关心重构误差，作为生成模型而言生成能力有限。

为提升自编码器的泛化能力与生成潜力，研究者提出了正则自编码器（regular autoencoder， RAE）^[21]。RAE在重构损失之外引入额外的正则化项，用于限制潜在空间的自由度、抑制过拟合，并在一定程度上塑造潜在向量的分布结构。常见的RAE变体包括稀疏自编码器（sparse AE）^[22]、变分自编码器（variational AE）^[23]、收缩自编码器（contractive AE）^[24]等。

采用RAE形式通过在潜在空间引入L₂正则化损失使编码结果接近标准正态分布，从而获得更加平滑且可泛化的潜在表示。正则化损失表达式为

（6）$L_{\mathrm{reg}}=\mu \frac{1}{N} \sum_{i=1}^{N}\left\|\boldsymbol z_{i}-\boldsymbol \varepsilon_{i}\right\|_{2}^{2} $

式（6）中：ε_i~N（0，I）为与z形状相同的标准正态样本；I为与z维度一致的单位矩阵；μ为正则化强度。

结合L_AE与L_reg得出RAE的损失函数L_RAE为

（7）$ L_{\mathrm{RAE}}=\frac{1}{N} \sum_{i=1}^{N}\left\|\boldsymbol{x}_{i}-\hat{\boldsymbol{x}}_{i}\right\|_{2}^{2}+\mu \frac{1}{N} \sum_{i=1}^{N}\left\|\boldsymbol{z}_{i}-\boldsymbol{\varepsilon}_{i}\right\|_{2}^{2}$

1.3.3 潜在空间的高斯噪声注入与特征生成

尽管RAE通过正则化约束优化了潜在空间的平滑性与泛化能力，但其解码重构机制使得生成特征在数值与分布上对原始特征保持了较高相似性，这种过度的相似性削弱了影子特征与真实特征之间的统计差异，导致其作为特征筛选的对照基准时判别阈值过高。为此，在RAE潜在表示中引入高斯噪声，旨在解码阶段生成既保留数据流形结构又具备随机扰动的影子特征。相较于Boruta算法破坏性的完全随机置乱，该策略在维持数据分布一致性的前提下引入了可控的结构化变异，从而有效提升了特征选择算法对冗余特征的识别能力。具体实现方式为

（8）$ \boldsymbol z^{\prime}=\boldsymbol z+\lambda \boldsymbol{\delta}, \quad \boldsymbol{\delta} \sim N\left(0, \sigma^{2} \boldsymbol{I}\right)$

式（8）中：z'为最终用于生成扰动特征的潜在空间；z为RAE原始潜在空间；λ为引入噪声强度；δ为从多元正态分布采样的随机噪声；σ²为高斯噪声的方差。

在生成阶段，解码器对融入高斯噪声的潜在空间进行解码可表示为

（9）$ \boldsymbol{X}_{\mathrm{G}}=f_{\mathrm{dec}}\left(\boldsymbol{z}^{\prime}\right)$

式（9）中：X_G为解码生成的影子特征；f_dec（·）为与编码器结构相反的解码器。

注入噪声的正则化自编码器如图2所示。

1.4 基于随机森林的扰动筛选

在获得由RAE生成的影子特征后，借鉴Boruta算法思想，引入一种基于随机森林的竞争性特征筛选策略，如图3所示。将原始特征与影子特征合并后输入随机森林模型，依据特征重要性进行排序，并在下一轮迭代中筛选出重要性高于影子特征的原始特征。

首先，横向拼接原始特征（X）与生成的影子特征（X_G），构建一个增强的混合特征空间（X_comb）。

而后，对（X_comb，Y）训练随机森林分类器，其中Y为样本标签向量。利用随机森林的特征重要性评估能力，可获得经由X_G扰动后关于X的重要性。若原始特征经由扰动后的重要性大于生成特征中的最大特征重要性值，则对其进行保留，加入特征子集（S），进入下一轮迭代，直至到达设定最大迭代次数或特征不再变化。

1.5 RAE-PFS算法流程

为提升Boruta在特征筛选中的准确性，提出一种结合自编码器与随机森林特征重要性迭代比较的改进方法RAE-PFS。该方法首先对输入特征矩阵X进行标准化，以消除量纲差异对模型训练的影响。随后，利用正则化强度为μ的自编码器对标准化数据进行训练，训练完成后，在潜在空间加入强度为λ的高斯噪声，生成对应的扰动特征集合G。将原始特征与扰动特征合并进入迭代过程。在每轮迭代中，首先利用随机森林模型计算候选集合中各特征的重要性得分，并确定扰动特征中最高的重要性值。得到重要性筛选阈值之后，选取重要性得分高于阈值的原始特征构成保留集合S，并从扰动特征中提取与S对应的子集，更新候选集合。上述过程循环进行，直至迭代次数达到预设值max_iter，最终输出的特征子集S即为筛选结果。RAE-PFS流程如图4所示，伪代码如下。其中，X_scaled为标准化后的特征矩阵，Y为样本标签向量，S_new为更新后保留的特征子集。

2 实验

2.1 实验环境

本实验环境基于Windows 11操作系统搭建，模型实现采用Python与PyTorch深度学习框架。硬件配置包括AMD Ryzen 9-7940HX中央处理器（CPU）、NVIDIA GeForce RTX 4060图形处理器（GPU），以及32 GB GDDR5内存。

2.2 动态维度适应机制

针对不同数据集特征规模差异巨大的问题，为增强算法的泛化能力并避免固定结构带来的性能瓶颈，在RAE中引入动态维度调整机制。该机制能够根据输入数据的特征维度n自适应地确定网络关键层的神经元规模。为防止信息在压缩过程中过度丢失并抑制维度膨胀，潜在空间（latent space）的维度d设定为

（10）$ d=\max (2,\lfloor n / \sigma\rfloor)$

式（10）中：σ为压缩因子；n为输入数据的特征维度。

该设计保证了模型在处理高维数据时能有效提取特征，而在低维数据上仍保留足够的表征容量。

2.3 超参数优化与网格搜索

在特征选择过程中，RAE的重构能力与Boruta的筛选阈值高度依赖于超参数的设置。为了在模型复杂度和拟合能力之间找到最佳平衡，采用网格搜索（grid search）策略结合十折交叉验证（10-fold cross-validation）对关键超参数进行联合寻优。

网格搜索使用随机森林进行测试，以分类准确率（Accuracy）作为评价指标，对正则化系数（μ）和高斯噪声强度（λ）进行遍历搜索。搜索空间及推荐配置如表1所示。

为了深入探究正则化强度（μ）与高斯噪声强度（λ）对RAE-PFS算法性能的联合影响机制，基于网格搜索结果绘制了参数敏感性三维曲面图，分别展示了其对平均准确率[图5（a）]和平均特征选择率[图5（b）]的影响规律。

μ通过约束潜在空间的分布结构，决定了生成影子特征与原始特征分布之间的差异程度。适度的正则化能够有效平滑潜在空使RAE生成的影子特征更具判别性，从而提升特征筛选的有效性。然而，随着正则化强度的过度增大，会导致RAE对原始数据欠拟合。在欠拟合时生成的影子特征丢失了原始数据的关键信息，在特征选在特征选择中的扰动能力大幅减弱，会使得冗余特征被大量保留。

在确定了特征的基础结构后，λ主要控制影子特征与原始特征之间的数值偏离程度。当λ处于低区间时，加入的噪声过弱，使得生成的影子特征与原始特征在数值上过于相似。此时，算法难以区分哪些是真实特征，哪些是干扰项，导致筛选标准变得极为严苛，这会使得大量原本有效的特征无法超过影子特征的重要性得分，从而被错误剔除，造成特征选择率偏低。随着噪声强度增加，影子特征逐渐向随机噪声退化。这导致筛选门槛降低，使得大量冗余特征保留，造成特征选择率较高，但冗余特征的加入并不能提升下游模型的性能。

综上，根据网格搜索的最优值，在后续实验过程中将RAE-PFS的参数设置为μ=0.1与λ=0.2，该参数组合不仅能筛选出具有代表性的特征子集，还能在多数数据集上保持较优的算法性能。

2.4 数据集介绍

实验环节使用8个数据集用于测试算法，这些数据集均来自公开数据集网站，分别是UCI（University of California， Irvine）公共数据集平台（https：//archive.ics.uci.edu/）和Openml公共数据集平台（https：//www.openml.org/）。数据集涵盖二分类数据和多分类数据。类别数量为2~30，样本数量为62~5 620，特征数量为8~10 000。选用的数据集涵盖从低维到高维、从简单到复杂的多种结构及类别特征，确保了特征选择方法性能评估的广泛性与普适性。表2简要描述了这些数据集。

2.5 对比方法与分类器参数设置

对RAE-PFS所选特征的性能进行系统而全面的评估，并将其与多种代表性的特征选择方法进行对比分析，以验证该方法在不同数据集上的有效性与优势。对比方法包括数据集基线（使用全部特征）、Boruta、XGBoost-Boruta、FWDT^[25]、IWFS^[26]。其中Boruta、XGBoost-Boruta使用scikit-learn^[27]实现，采用scikit-learn中的默认参数配置，FWDT与IWFS采用参考文献中推荐配置。在特征选择过程中将随机数种子统一设定为42，以确保实验的可重复性。RAE-PFS与对比方法的配置如表3所示。

为全面考察特征子集在分类任务中的有效性，选用5种常见的分类器对选取特征子集进行测试：随机森林（random forest，RF）、K近邻（k-nearest neighbor，KNN）、朴素贝叶斯（naive Bayes，NB）、决策树（decision tree，DT）以及支持向量机（support vector machine，SVM）。以上分类器均使用scikit-learn实现。所有实验结果均采用十折交叉验证（10-fold cross-validation）方法计算得出，对于每折交叉验证，输入数据分为训练数据（90%）和测试数据（10%），以确保评估结果的稳健性与泛化能力。此外，为了保证实验的可重复性，随机数种子统一设为42。参数选择上主要采用scikit-learn的默认配置，详细配置如表4所示。

3 实验结果与分析

通过与多种主流特征选择算法进行对比，从特征保留率、分类准确率、精确度及召回率等多个维度全面评估了所提方法的性能。分析RAE-PFS的算法稳定性与计算复杂度，并进一步通过统计检验验证了实验结果的显著性。

3.1 选择特征率

为评估各特征选择方法在不同维度数据集上的降维能力，对每种方法在8个数据集中的特征保留比例进行了统计。结果如表5所示，所提出的RAE-PFS方法在所有数据集上的平均特征保留率为31.52%。其中，在特征数量只有8个的Diabetes数据集上，RAE-PFS和Boruta选择特征数量持平，说明RAE-PFS能够筛选出有用的特征。并且，除超高维数据集Amazon以外，其余数据集RAE-PFS选择的特征数量均少于Boruta。说明在多数情况下，使用RAE生成的近似特征在扰动机制下对于特征的区分能力大于随机打乱策略的影子特征，保留了更精准的特征。

值得注意的是，将Boruta中的重要性计度量模型由RF替换为XGBoost的XGBoost-Boruta方法呈现出更低的平均特征保留率（27.93%）。其根本原因在于二者特征重要性度量机制的差异：在Boruta中，RF通过累积各分裂节点的基尼不纯度减少量来衡量特征的重要性，而XGBoost在梯度提升框架下利用目标函数的一阶、二阶梯度信息，计算每个分裂所带来的增益。增益直接刻画了分裂对整体模型优化的贡献，因此在特征冗余判别上更为严格，从而实现了更具选择性的特征筛选。

FWDT通过改进的ReliefF算法，以一种直接且与类别相关联的方式计算出每个特征的权重，并将这个权重作为构建决策树的唯一标准。但由于FWDT采用了重要性中位数作为选取阈值，导致其平均保留率最高，为58.63%，在部分场景中降维效果有限。

IWFS是一种基于信息论的特征选择算法，它通过动态调整特征权重来考虑特征间的交互作用，从而选择出最具信息量的特征子集。IWFS的选取策略为当特征子集与类别的联合互信息接近全部特征与类别互信息时，则停止向特征子集中加入特征。但由于不同数据集中特征差距较大，以致其特征筛选率在不同数据集中波动较大。

综上，RAE-PFS在保持模型性能的同时实现较高的降维效率与稳定性；Boruta在冗余特征剔除上略显保守；XGBoost-Boruta筛选更为严格，适用于高冗余特征场景；FWDT因阈值设定导致特征保留率偏高，降维效果有限；IWFS在不同数据集上表现波动较大，鲁棒性略显不足。整体结果表明，RAE-PFS在降低特征维度方面较Boruta具有明显优势。

3.2 分类性能

3.2.1 分类准确率

分类精度是评估分类问题最常用的性能指标，其定义为正确分类样本数量与样本总数的百分比。表6为RAE-PFS选择的特征在RF、KNN、NB、DT和SVM分类器的分类精度表现。以RF分类器为例，基于RAE-PFS选择的特征，其平均分类精度为88.311 4%（表6），Boruta方法的分类精度为87.2146%，XGBoost-Boruta方法的分类精度为82.6443%。在XGBoost-Boruta方法中，XGBoost被用于计算特征重要性并驱动Boruta进行特征选择，从而选取更少的特征，但其准确率低于Boruta。这表明XGBoost-Boruta在特征选择上可能过于激进，导致部分有价值的特征被舍弃。而FWDT选择的特征最多，其准确率排名为第三，可以看出，以中位数为阈值的标准的策略并不能很好地处理冗余特征。而IWFS由于其自动筛选机制在不同数据集中表现波动较大，总体分类准确率较低。

总体而言，在5种分类器中，除RAE-PFS在NB分类器上的平均准确率略低于Boruta，其余分类器均取得了最高值。结合表5可知，RAE-PFS能够在使用更少特征的情况下，达到与Boruta相当甚至更优的分类性能。

3.2.2 精确率与召回率

精确率（precision）作为分类性能的重要指标，其核心意义在于衡量模型在所有被判定为正类的样本中，真正属于正类的比例。图6所示为5种典型分类器下各特征选择方法的精确率对比结果。从实验现象来看，除SVM外，RAE-PFS在其余分类器上的精确率均显著优于对照方法。这一结果表明，RAE-PFS能够在特征选择过程中有效去除冗余信息与噪声特征，从而提升分类器对正类样本的判别可靠性，显著降低误报率，使得模型在正类预测上具备更强的稳定性与可信度。需要注意的是，SVM在该指标上未能充分体现出RAE-PFS的优势，这可能与其对特征分布的高度敏感性以及核函数选择的依赖性密切相关，因此该现象值得在后续研究中进一步深入探讨。

召回率（recall）作为衡量分类器性能的重要指标，反映了模型在所有实际正类样本中能够正确识别出的比例，即体现了其对正类样本的覆盖能力。图7为不同分类器下各方法在召回率上的对比情况。从整体趋势来看，RAE-PFS在多数分类器中依然保持了相对优越的表现。这表明该方法在保证预测准确性的同时，有效避免了因过度特征压缩导致的正类样本识别率下降。换言之，RAE-PFS在特征选择过程中兼顾了覆盖率与准确率之间的平衡，使得所得特征集不仅具有合理性与代表性，还能够提升分类器在实际应用场景下的泛化能力与鲁棒性。这一结果说明，RAE-PFS能够在保持分类性能的同时，增强模型在复杂环境下的稳定性与实用性。

3.3 稳定性

为了验证算法的稳定性，图8为各特征选择方法基于RF分类器进行十折交叉验证的准确率分布情况。其中每个子图代表一个数据集，子图中横坐标为不同的特征选择方法，纵坐标表示分类精度。箱型图的高度直观地反映了模型性能的离散程度，箱体越紧凑，表明算法在不同数据划分下的性能波动越小，具有越高的鲁棒性。实验结果显示，RAE-PFS在多数数据集表现出了较为稳定的分类精度，尤其是在Diabetes[图8（a）]、Breast Cancer[图7（b）]和Amazon[图8（h）]数据集上。

3.4 RAE-PFS算法复杂度

为评估RAE-PFS算法复杂度，从时间复杂度和空间复杂度两个维度进行理论分析。

3.4.1 时间复杂度分析

RAE-PFS的时间开销主要由RAE表征学习与迭代特征筛选两部分构成。由于采用全连接架构，网络参数量与特征维度D呈平方关系。在N个样本上运行E轮迭代复杂度为

（11）$ T_{\mathrm{RAE}}=O\left(E N D^{2}\right)$

式（11）中：T_RAE为RAE表征学习的时间复杂度；O为渐近记号，用于描述算法时间复杂度的增长数量级，忽略常数项和低阶项。

在基于随机森林的扰动筛选阶段，需要进行K次迭代，每轮构建包含n_estimators棵决策树的随机森林，其时间复杂度为

（12）$ T_{\text {Selection }}=O(\text {Kn_estimators } N D \lg N)$

式（12）中：T_Selection为基于随机森林的扰动筛选阶段的时间复杂度。

综上所述，RAE-PFS的总时间复杂度为

（13）$ T_{\text {Total }}=O\left(E N D^{2}+K \text { n_estimators } N D \log N\right)$

在处理超高维数据时，算法的计算瓶颈主要位于RAE的训练过程，该过程呈现出与特征维度平方相关的增长趋势；而当样本量极大时，瓶颈则转移至随机森林的构建过程。

3.4.2 空间复杂度分析

算法的空间开销由模型参数与数据存储决定。RAE的权重矩阵存储需求为O（D²），对高维特征较为敏感。除了原始数据O（ND）外，随机森林在训练过程中需要存储树结构，其空间复杂度为O（n_estimatorsN）。

因此，算法的总空间复杂度为

（14）$ S_{\text {Total }}=O\left(D^{2}+N D+\text { n_estimators } N\right)$

式（14）中：n_estimators为随机森林中包含的决策树数量。

相较于传统算法Boruta而言，RAE-PFS的主要局限性在于引入了基于全连接网络的表征学习过程。导致其在处理超高维数据时计算开销显著增加。

3.5 统计检验

基于实验评估方法和性能测量，需要统计假设检验来评估算法的性能以进行比较。为验证所提出RAE-PFS方法在不同分类器下的性能优势，基于Friedman检验^[28]对多种特征选择方法进行显著性分析。Friedman检验是一种非参数统计方法，能够在无需分布假设的情况下比较多算法在多实验条件下的综合性能，显著性水平设定为0.05^[29]。从表7可以看出，在RF分类器上，RAE-PFS虽未表现出显著优于其他方法的统计差异（p=0.070 7），但其平均分类精度最高（88.311 4%），并在最终排名中位居第一。在KNN分类器上，方法间性能差异显著（p=0.001 9），RAE-PFS以84.668 9%的平均精度获得第二名，仅次于Boruta。在NB分类器上，p值为0.008 0，RAE-PFS显著优于其他方法并取得最高精度（83.236 7%），在DT分类器上亦获得相同优势（p=0.016 0，精度80.457 0%）。在SVM分类器下，整体方法比较显示差异显著（p=0.003 3）。在该设定中，RAE-PFS的准确率为87.33%，并未取得最高值，但与最佳方法Boruta的结果非常接近。总体而言，RAE-PFS在Naive Bayes和DT上显著领先，在RF上取得最高准确率，并在KNN与SVM上保持次优或接近最优的表现，结合更具选择性的特征保留率，体现出在不同分类器与数据条件下的稳定性与鲁棒性。

3.6 特征子集的可解释性与临床应用

特征选择在临床应用中不仅是对原始高维数据的降维与压缩，其核心价值更在于通过剥离冗余的生物学噪声，从复杂的临床表型中精准甄别关键的致病因子。为进一步评估RAE-PFS筛选的特征子集是否有效捕捉具有临床诊断价值的生物标志物，并检验下游分类模型的决策逻辑与生物学机理的一致性，采用SHAP（Shapley additive explanations）可解释性框架^[30]，对部分具有具体含义的医学数据集特征子集构建的随机森林模型进行深度解析，其中随机森林模型中参数与前文一致。此项后验分析旨在将算法决策过程与临床诊疗的循证逻辑相对齐，从而确证筛选结果的临床适用性。

通过SHAP重要性图，可以直观地展示特征子集中各变量对模型预测结果的边际贡献及其影响方向。以下基于Diabetes与Breast-Cancer两大经典临床数据集，具体阐述该方法选择特征在不同病理场景下的作用机制与实际影响。

在Diabetes数据集中（图9），RAE-PFS筛选出的4个特征展示了清晰的病理学正向相关性。血糖浓度（plas）作为诊断糖尿病的首要指标，其高数值样本显著集中在SHAP正值区域，表明高血糖是驱动模型做出患病判断的最强因素。同时，身体质量指数（mass）与年龄（age）也呈现出显著的高值高风险分布趋势，这与2型糖尿病多发于肥胖人群及中老年群体的流行病学特征一致^[31]。此外，糖尿病谱系功能（pedi）的正向影响进一步量化了家族遗传史在疾病预测中的权重。

同理，在Breast-Cancer数据集的分析中（图10），模型锁定的关键特征主要聚焦于细胞核的形态学几何参数。排名前列的worst area（最大面积）和worst perimeter（最大周长）为例，图10中显示其高值样本显著分布在SHAP轴的正向区域，而低值样本则聚集于负向区域。这揭示了模型成功捕捉到了恶性肿瘤细胞典型的“体积增大”与“形态不规则”特征^[32]。此外，worst concave points（最大凹陷点数）与concavity（凹陷度）在模型中的影响，也符合恶性肿块边缘常呈现毛刺状或不规则凹陷的临床病理表现。虽然部分尾部特征的全局平均贡献度较低，但其在特定样本上的非零SHAP值表明，这些特征在处理临界模糊病例时起到了微调作用。RAE-PFS保留了这些特征，确保了模型在面对复杂异质性样本时仍具备足够的鲁棒性，避免了因过度简化特征空间而导致的欠拟合风险。

综上所述，RAE-PFS方法在处理临床医学数据时表现出显著的临床适用性。该方法证明了仅依赖部分关键临床指标即可达到甚至优于全特征集的诊断性能，这为开发低成本、非侵入性的临床决策支持系统提供了理论依据。此外，通过SHAP后验归因分析，验证了筛选特征与病理生理机制的高度一致性，从而赋予了模型明确的生物学可解释性，能够为临床决策支持系统提供更精简、更具解释性的特征输入。

4 结论

（1）针对Boruta算法在处理冗余特征时影子特征判别力不足的局限，在其扰动特征选择的框架基础上引入正则化自编码器，并在潜在空间中注入高斯噪声以生成影子特征，提出RAE-PFS算法。该方法能够在保留特征间部分相关性的同时，削弱特征与标签之间的直接耦合，从而为随机森林的重要性评估构建出更具鉴别力的参照基准。8个公开数据集在5种分类器上的实验结果表明，RAE-PFS在降维效率、分类性能均显著优于传统Boruta方法。

（2）对RAE-PFS进行了系统性的性能评估与机制验证。参数敏感性与稳定性分析证实，适度的结构化扰动显著增强了算法的鲁棒性，有效平衡了特征选择的精确率与召回率。基于SHAP的可解释性分析进一步验证了该方法的临床适用性。实验结果显示，RAE-PFS在医学数据集上筛选的特征子集与既有病理生理机制高度一致，证实了算法在筛选特征时，能够捕捉到具有实际诊断价值的关键生物标志物。

（3）未来的工作将聚焦于算法的效率优化与应用拓展。尽管RAE-PFS性能高于传统Boruta，但RAE结构在超高维数据上存在计算瓶颈。后续研究将探索轻量级网络结构或稀疏编码策略以降低复杂度，并计划引入任务自适应的噪声调节机制与多分布混合生成策略，增强扰动特征的多样性。此外，还将拓展实验规模，将算法应用于生物信息学等高维领域，并结合可解释性分析，进一步推动该方法在复杂实际场景中的落地与推广。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Omuya E O, Okeyo G O, Kimwele M W. Feature selection for classification using principal component analysis and information gain[J]. Expert Systems with Applications, 2021, 174: 114765.

[2]	Barbieri M C, Grisci B I, Dorn M. Analysis and comparison of feature selection methods towards performance and stability[J]. Expert Systems with Applications, 2024, 249: 123667.

[3]	Li J, Cheng K, Wang S, et al. Feature selection: a data perspective[J]. ACM Computing Surveys (CSUR), 2017, 50(6): 1-45.

[4]	Dhal P, Azad C. A comprehensive survey on feature selection in the various fields of machine learning[J]. Applied Intelligence, 2022, 52(4): 4543-4581.

[5]	Kursa M B, Jankowski A, Rudnicki W R. Boruta—a system for feature selection[J]. Fundamenta Informaticae, 2010, 101(4): 271-285.

[6]	李超, 李明, 李渊华, 等. 基于Boruta-SSA-CKCformer的海上风电功率短期预测[J]. 科学技术与工程, 2025, 25(23): 9840-9850.

[7]	Li Chao, Li Ming, Li Yuanhua, et al. Short-term prediction of offshore wind power based on Boruta-SSA-CKCformer[J]. Science Technology and Engineering, 2025, 25(23): 9840-9850.

[8]	Zhou H, Xin Y, Li S. A diabetes prediction model based on Boruta feature selection and ensemble learning[J]. BMC Bioinformatics, 2023, 24(1): 224.

[9]	Gholami H, Mohammadifar A, Golzari S, et al. Using the Boruta algorithm and deep learning models for mapping land susceptibility to atmospheric dust emissions in Iran[J]. Aeolian Research, 2021, 50: 100682.

[10]	Szul T, Tabor S, Pancerz K. Application of the Boruta algorithm to input data selection for a model based on rough set theory (RST) to prediction energy consumption for building heating[J]. Energies, 2021, 14(10): 2779.

[11]	聂斌. 中药复方药效物质及效应的偏最小二乘结构方程模型解析方法研究[D]. 南昌: 江西中医药大学, 2024.

[12]	Nie Bin. Research on partial least squares structural equation model analysis method for pharmacodynamic substances and effects of traditional Chinese medicine formulas[D]. Nanchang: Jiangxi University of Chinese Medicine, 2024.

[13]	Yuan X, Chen F, Xia Z, et al. A novel feature susceptibility approach for a PEMFC control system based on an improved XGBoost-Boruta algorithm[J]. Energy and AI, 2023, 12: 100229.

[14]	黄浩, 车恒达, 孔祥伟, 等. 基于随机森林与SHAP算法的致密砂岩气暂堵效果的影响因素分析[J]. 科学技术与工程, 2025, 25(26): 11135-11143.

[15]	Huang Hao, Che Hengda, Kong Xiangwei, et al. Factors affecting the temporary plugging effect of tight sandstone gas based on random forest and SHAP algorithm[J]. Science Technology and Engineering, 2025, 25(26): 11135-11143.

[16]	李强, 张立梅, 白牧可. 基于多元数据特征和改进随机森林的智能配电网异常数据辨识[J]. 科学技术与工程, 2023, 23(5): 2007-2015.

[17]	Li Qiang, Zhang Limei, Bai Muke. Identification of abnormal data in smart distribution network based on multivariate data features and im proved random forest[J]. Science Technology and Engineering, 2023, 23(5): 2007-2015.

[18]	Wang Y, Yao H, Zhao S. Auto-encoder based dimensionality reduction[J]. Neurocomputing, 2016, 184: 232-242.

[19]	Li P, Pei Y, Li J. A comprehensive survey on design and application of autoencoder in deep learning[J]. Applied Soft Computing, 2023, 138: 110176.

[20]	Meng Q, Catchpoole D, Skillicorn D, et al. Relational autoencoder for feature extraction[C]// Proceedings of the 2017 International Joint Conference on Neural Networks (IJCNN). Piscataway, NJ: IEEE, 2017: 364-371.

[21]	Mienye I D, Swart T G. Deep autoencoder neural networks: a comprehensive review and new perspectives[J]. Archives of Computational Methods in Engineering, 2025, 32(1): 1-20.

[22]	Manjunatha B A, Shastry K A, Naresh E, et al. A network intrusion detection framework on sparse deep denoising auto-encoder for dimensionality reduction[J]. Soft Computing, 2024, 28(5): 4503-4517.

[23]	Majumdar A. Blind denoising autoencoder[J]. IEEE Transactions on Neural Networks and Learning Systems, 2018, 30(1): 312-317.

[24]	Fan C, Xiao F, Zhao Y, et al. Analytical investigation of autoencoder-based methods for unsupervised anomaly detection in building energy data[J]. Applied Energy, 2018, 211: 1123-1135.

[25]	Alain G, Bengio Y. What regularized auto-encoders learn from the data-generating distribution[J]. The Journal of Machine Learning Research, 2014, 15(1): 3563-3593.

[26]	Luo W, Li J, Yang J, et al. Convolutional sparse autoencoders for image classification[J]. IEEE Transactions on Neural Networks and Learning Systems, 2017, 29(7): 3289-3294.

[27]	Pu Y, Gan Z, Henao R, et al. Variational autoencoder for deep learning of images, abels and captions[J]. Advances in Neural Information Processing Systems, 2016, 29: 2352-2360.

[28]	Shen C, Qi Y, Wang J, et al. An automatic and robust features learning method for rotating machinery fault diagnosis based on contractive autoencoder[J]. Engineering Applications of Artificial Intelligence, 2018, 76: 170-184.

[29]	Zhou H F, Zhang J W, Zhou Y Q, et al. A feature selection algorithm of decision tree based on feature weight[J]. Expert Systems with Applications, 2021, 164: 113842.

[30]	Zeng Z, Zhang H, Zhang R, et al. A novel feature selection method considering feature interaction[J]. Pattern Recognition, 2015, 48(8): 2656-2666.

[31]	Pedregosa F, Varoquaux G, Gramfort A, et al. Scikit-learn: machine learning in Python[J]. Journal of Machine Learning Research, 2011, 12: 2825-2830.

[32]	Friedman M. A comparison of alternative tests of significance for the problem of m rankings[J]. The Annals of Mathematical Statistics, 1940, 11(1): 86-92.

[33]	Korkmaz S, Şahman M A, Cinar A C, et al. Boosting the oversampling methods based on differential evolution strategies for imbalanced learning[J]. AApplied Soft Computing, 2021, 112:107787.

[34]	Liu Z, Du J, Luo J, et al. A stable feature selection method based on majority voting and SHAP for high-dimensional metabolomics data[J]. Computer Methods and Programs in Biomedicine, 2025, 265: 109170.

[35]	周银娟, 王文, 魏海萍. 中国高空腹血糖相关缺血性脑卒中疾病负担评估、趋势预测与重点人群防控策略: 基于GBD 2021的公共卫生预警[J]. 陆军军医大学学报, 2026, 48(2): 181-190.

[36]

Zhou Yinjuan, Wang Wen, Wei Haiping, Assessment of disease burden and trend prediction of ischemic stroke related to high fasting plasma glucose in China: prevention and control strategies for key populations—a public health early warning based on GBD 2021[J]. Journal of Army Medical University, 2026, 48(2): 181-190.

[37]	Hong R, Xu B. Breast cancer: an up-to-date review and future perspectives[J]. Cancer Communications, 2022, 42(10): 913-936.

基金资助

国家自然科学基金(82260849)

江西中医药大学校级科技创新团队发展计划(CXTD22015)

PDF (9870KB)

访问

被引

详细

导航

Received	Published	Revised
2025-10-09	2026-06-08	2026-01-14
Online Date
2026-08-07

摘要