基于海马反向重放机制的分层优化导航策略

于乃功; 林可; 黄敬森; 张志雯

doi:10.12404/j.issn.1671-1815.2505218

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (21) :9169-9177 DOI: 10.12404/j.issn.1671-1815.2505218

自动化技术、计算机技术

基于海马反向重放机制的分层优化导航策略

于乃功 ¹ ,
林可 ² ,
黄敬森 ² ,
张志雯 ²

作者信息 +

Hierarchical Optimization Navigation Strategy Based on Hippocampal Reverse-replay Mechanism

Author information +

文章历史 +

摘要

灵活利用既有经验以指导未来行为,是生物智能的核心特征之一。然而,支持此类适应性学习的神经机制,尤其是在多目标环境下的具体实现,仍有待深入探究。提出了一种基于海马反向重放机制的分层优化导航策略。模型以位置细胞的空间表征为底层结构,通过反向重放调控突触权重形成任务特异性记忆,并利用重放时长的损失调控实现跨任务优化,从而建立可迁移的导航策略。该方法不同于传统的重新训练方式,而是通过调节重放持续时间来间接优化模型的初始参数,实现跨任务知识的快速迁移。通过模拟小鼠在动态变化目标场景中的探索行为,对模型进行了系统验证。实验结果表明,该模型不仅在已知目标导航中显著缩短路径时间,而且在未见目标位置上仍保持较高泛化性能,验证了基于反向重放的分层优化策略在多任务快速适应中的有效性。本研究从神经科学与计算建模的交叉视角出发,为构建具备快速适应能力的人工智能导航系统提供了新思路,也为理解与模拟海马体功能提供了理论依据。

Abstract

The flexible use of prior experience to guide future behavior is a core feature of biological intelligence. However, the neural mechanisms that support such adaptive learning, especially in multi-goal environments, remain insufficiently understood. A hierarchical optimization navigation model driven by hippocampal reverse replay was proposed. The model was built on the spatial representation of place cells. Task-specific memory was formed through synaptic weight modulation induced by reverse replay. Cross-task optimization was achieved by loss regulation based on replay duration, thereby enabling the construction of a transferable navigation strategy. Unlike traditional retraining-based approaches, the proposed method indirectly optimizes the initial parameters of the model by adjusting the duration of replay, which allows rapid transfer of task knowledge. The model was systematically validated through simulations of mouse-like exploration in environments with dynamically changing goals. The results demonstrate that navigation time to known targets is significantly reduced, while high generalization performance to previously unseen goal locations is maintained. These findings confirm the effectiveness of the reverse-replay-based hierarchical optimization strategy for rapid multi-task adaptation. From the interdisciplinary perspective of neuroscience and computational modeling, this study provides new insights for the development of adaptive navigation systems in artificial intelligence and offers a theoretical basis for understanding and simulating hippocampal function.

Graphical abstract

关键词

生物智能 / 元学习 / 位置细胞 / 认知地图 / 海马重放 / 目标导航

Key words

biological intelligence / meta-learning / place cell / cognitive map / hippocampal replay / goal-directed navigation

引用本文

引用格式 ▾

于乃功, 林可, 黄敬森, 张志雯. 基于海马反向重放机制的分层优化导航策略[J]. 科学技术与工程, 2026, 26(21): 9169-9177 DOI:10.12404/j.issn.1671-1815.2505218

YU Nai-gong, LIN Ke, HUANG Jing-sen, ZHANG Zhi-wen. Hierarchical Optimization Navigation Strategy Based on Hippocampal Reverse-replay Mechanism[J]. Science Technology and Engineering, 2026, 26(21): 9169-9177 DOI:10.12404/j.issn.1671-1815.2505218

登录浏览全文

4963

注册一个新账户忘记密码

近几十年来,研究者们持续致力于揭示生物学习背后的神经机制,其中大量研究聚焦于海马体——这一被广泛认为在学习与记忆神经系统中发挥核心作用的脑区^[1-2]。该领域的开创性研究已识别出若干关键的功能性神经表征和过程,这些被认为在记忆的编码、提取与存储中起到重要作用^[3-4]。其中,相当一部分工作集中于空间领域的学习研究^[5-6],这主要得益于在海马单神经元活动中观察到的强烈空间相关性^[7]。主流理论认为,海马体的神经表征可作为个体所探索环境的“认知地图”^[8],从而用于指导目标导向的导航行为。

研究认为,海马体在空间学习中发挥着关键作用,其主要细胞——位置细胞(place cell)通过对特定位置的激活来编码个体所探索环境的认知地图^[8-9]。此外,研究表明,在睡眠期间,海马位置细胞对清醒经历的时间压缩式重放有助于新形成地图的巩固^[3];而在清醒但不活动的阶段,这种重放被认为有助于计划行为与回忆信息^[10-11]。大量实验结果表明,在特定环境中,某一位置细胞激发的位置(即其位置场^[8])与其在同一环境中对其他目标位置的反应相互独立^[11-12]。这一发现催生了具有广泛影响力的理论,认为每一个新目标位置都需要建立全新的突触连接。然而,近年来这一观点受到越来越多的质疑^[13-14]。因为每一个新目标位置都依赖长期突触可塑性,不仅在计算上代价高昂,也限制了学习的速度。此外,该理论也难以解释动物所表现出的快速且高度灵活的学习能力^[15-16]。

近年来,越来越多的研究支持这样一种观点:海马体的学习在一定程度上依赖于先验知识。例如,大量研究表明,在动物实际探索目标位置之前,其未来的位置细胞表征可以部分预测此前的位置细胞活动,这一现象被称为“重放”(replay)^[17-18]。此外,研究发现,新的海马认知地图,甚至是重放活动,在个体到达目标位置后的几分钟内即可形成 ^[19-20]。进一步的研究还发现,位置细胞并不会在任意位置形成“位置场”,它们仅在先前曾表现出亚阈值活动的区域中建立位置场^[14]。这一“预配置”现象被认为对应于海马突触矩阵中已有的权重连接^[21],这些连接可能是先天存在的,也可能是长期学习积累的结果。由此形成一个“预配置地图”,可用于快速赋予新的目标位置以表征。与这一观点一致,最新研究发现,曾被认为由同质细胞群组成的海马主要层实际上是由多个微模块构成,这些模块具有独特的基因表达、神经活动模式及表征特征,被认为在发育过程中形成^[22-26]。这一发现进一步支持另一重要假设:通过系统发育与个体发育过程中不断积累的经验,学习事件被映射到特定的海马微模块上,这些微模块编码了可能环境的结构特征,最终共同构建出一个更高层次的元表征,称之为认知元地图,它能够基于既往经验预配置未来的空间表征^[27]。

理解动物大脑的导航行为及其神经机制,是神经科学与认知科学领域的核心课题之一。“认知元地图” 理论框架为解析这一复杂机制提供了关键视角,但其具体的神经表征形式与实现路径仍需进一步细化和操作化建构。基于此,现以该理论框架为基础,融合神经科学中的结构性发现(如海马体的环境编码特性)与元学习领域的算法思路,旨在深入探究海马体如何通过先验结构的塑造,在多任务环境中实现快速适应与高效信息获取,最终为 “认知元地图” 的潜在机制提供更具象的解释,并为跨学科研究提供理论参考与实验方向。

为实现上述目标,现借鉴元学习领域的模型无关优化(model-agnostic meta-learning, MAML),创新性地构建了分层优化空间导航模型。与传统MAML算法通过更新超参数实现任务迁移的思路不同,所提模型将优化焦点转向位置细胞网络的初始权重参数,该设计既保留了元学习对经验数据的高效利用能力(即深度挖掘动物长期学习积累的环境信息),又通过精准复刻动物跨任务提取环境结构特征的行为模式,为模型的任务泛化性能奠定基础。

1 模型构建及理论基础

1.1 位置细胞放电率模型

小鼠海马体中位置细胞的放电活跃度与其在空间中的位置密切相关,每当小鼠身处环境中的某个特定地点时,就会有对应的位置细胞被激活,单个位置细胞对应空间中的某一位置,特定环境可以用许多位置细胞的放电活动进行表征。如图1(a)所示为一次实验中小鼠CA3区的位置细胞放电响应图,可以看出,在小鼠经历的区域都会有对应的位置细胞放电,放电野形状似圆形,中间区域放电响应最大,并且放电强度逐渐向外递减。

根据实验中位置细胞放电响应图的形状,可以采用高斯函数进行模拟。设小鼠所处的空间位置为p=(x,y),则第i个海马位置细胞的放电率

${I}_{i}^{\mathrm{p}\mathrm{l}\mathrm{a}\mathrm{c}\mathrm{e}}$

可以表示为

(1)${I}_{i}^{\mathrm{p}\mathrm{l}\mathrm{a}\mathrm{c}\mathrm{e}}$=exp$\left(-\frac{‖p-{p}_{i}{\Vert }^{2}}{2{\sigma }^{2}}\right)$

式(1)中:p_i=(x_i,y_i)为第i个位置细胞的参考位置;σ为放电率调整参数。

图1(b)为σ²=30时位置细胞的放电率分布情况,可以看出,模拟的位置细胞中间区域放电强度最大,并且呈圆形依次向外递减,正中心放电率为1,外部深色区域放电率几乎为0。因此式(1)能够在一定程度上模拟海马位置细胞的特性。

1.2 位置细胞网络模型

所研究的网络由n个位置细胞神经元组成,这些神经元均匀排列在一个二维平面上。每个神经元与其8个最近邻神经元之间存在双向连接,这种连接关系由它们的位置场分布决定。通过这种方式,网络的连接结构实际上构成了环境空间的一个映射。

位置细胞的放电率除了受小鼠位置的影响以外,还与其相邻8个神经元的突触输入有关。设第i个位置细胞的相邻神经元的突触输入加权和为

${I}_{i}^{\mathrm{s}\mathrm{y}\mathrm{n}}$

,表示为

(2)${I}_{i}^{\mathrm{s}\mathrm{y}\mathrm{n}}$=$\stackrel{8}{\sum _{j=1}}$ω_ijr_jD_jF_j

式(2)中:ω_ij为位置细胞j与位置细胞i之间的突触连接权重;r_j为位置细胞激活量;D_j和F_j分别为短时抑制与短时增强,用以调控位置细胞的持续激活时间。对于每个位置细胞,两者的计算方式为

(3)

$\frac{\mathrm{d}}{\mathrm{d}t}$

D_j=$\frac{1-{D}_{j}}{{\tau }_{\mathrm{S}\mathrm{T}\mathrm{D}}}$-r_jD_jF_j

(4)

$\frac{\mathrm{d}}{\mathrm{d}t}$

F_j=$\frac{U-{F}_{j}}{{\tau }_{\mathrm{S}\mathrm{T}\mathrm{F}}}$+U(1-F_jr_j)

式中:τ_STD和τ_STF分别为短时抑制与短时增强的时间常数;U为一个常数,表示在神经元未激活时短时增强的稳态值;D_j与F_j的取值范围均为[0,1]。需要注意的是,当r_j>0时,D_j会持续趋近于0,而F_j则会持续增大趋近于1。在本文模型中,通过优化时间常数的取值,能够调控短时可塑性效应在动态过程中的主导倾向。具体而言,当前时间常数的设置使得短时抑制成为动态变化中占据主导地位的短时可塑性表现形式。

每个位置细胞的激活率r_j由线性整流器给出,并设置有上下限,表达式为

(5)r_j=$\left\{\begin{array}{ll}0,& r\text{'}{\mathrm{ }}_{j}<0\\ 100,& r\text{'}{\mathrm{ }}_{j}>100\\ r\text{'}{\mathrm{ }}_{j},& \mathrm{其}\mathrm{他}\end{array}\right.$

r'_j由式(9)给出,即

(6)r'_j=α(I_j-ε)

式中:α和ε为常数,分别用于确定线性整流函数缩放比例与阈值;I_j为位置细胞的膜电位,由一阶微分方程给出,即

(7)τ

$\frac{\mathrm{d}}{\mathrm{d}t}$

I_j=-I_j+${I}_{j}^{\mathrm{s}\mathrm{y}\mathrm{n}}$+${I}_{j}^{\mathrm{p}\mathrm{l}\mathrm{a}\mathrm{c}\mathrm{e}}$

式(7)中:τ为时间常数。位置细胞间的突触权重更新采用赫布学习规则,表达式为

(8)τ_w

$\frac{{\mathrm{d}}^{2}}{\mathrm{d}{t}^{2}}$

ω_ij=-$\frac{\mathrm{d}}{\mathrm{d}t}$ω_ij+ηr_ir_j

式(8)中:τ_w为时间常数;η为缩放因子。

1.3 运动策略

根据上述所构建的位置细胞网络,由图2所示,在每个时间点计算了从小鼠当前位置到神经活动重心(对应神经网络表征的当前位置)的向量,并将其称为活动向量。利用该向量来旋转动物运动速度向量的角度,甚至在动物静止时也会更新速度向量,以确定其下一次启动时的运动方向。在多项实验研究中^[28],已提出动物运动与海马放电序列之间存在此类关系。

活动向量a在二维坐标系中的计算方式为

(9)a=$\frac{\stackrel{n}{\sum _{i=1}}{r}_{i}{p}_{i}}{\stackrel{n}{\sum _{i=1}}{r}_{i}}$-z_pos

当

$\stackrel{n}{\sum _{i=1}}$

r_ip_i>0时,通过速度向量 v 来更新动物的位置 z_pos,具体过程为

(10)

$\frac{\mathrm{d}}{\mathrm{d}t}$

z_pos=γ_vv

式(10)中:γ_v为小鼠恒定运动速度,并将速度向量往活动向量的方向旋转,表达式为

(11)

$\frac{\mathrm{d}}{\mathrm{d}t}$

v=γ_a$\frac{a}{‖a‖}$+γ_noise

式(11)中:γ_a为方向驱动系数,用于控制速度向量沿活动向量方向的分量强度。在每个时间点将速度向量v归一化为单位向量,并叠加噪声γ_noise。

2 分层优化算法

所提出的分层优化架构如图3所示,由网络层、记忆层和决策层三大功能模块构成,实现对复杂空间任务的精准建模与动态响应。

网络层作为模型的核心枢纽,其结构与功能已在前文详述,此处不再展开。记忆层模拟生物的情景记忆系统,通过支持集的实时更新,持续存储与任务相关的权重信息,赋予模型快速适应新任务的能力。决策层则进一步整合记忆层的信息储备与查询集样本数据,通过参数优化对网络层进行精细化调整,从而显著提升模型在特定任务场景下泛化能力。

将小样本学习任务$\mathcal{T}$视为从任务分布p($\mathcal{T}$)中采样得到的。每个任务对应一个特定的数据集Δ,并且Δ被划分为两个互不相交的子集:支持集Δ^S以及查询集Δ^Q,满足Δ=Δ^S∪Δ^Q。

2.1 记忆层

为了实现对选定任务的快速适应,该层引入了一种由奖励驱动的反向重放机制,通过动态调整突触权重来实现情景记忆功能。具体而言,反向重放诱导的突触可塑性会调节位置细胞网络内的权重更新。通过对支持集样本的迭代训练,网络参数会沿着每个任务的梯度高效收敛。核心步骤如下。

从Δ^S中随机选取k个样本用于模型的迭代训练。每当小鼠成功完成某样本所定义的导航任务时,奖励信号设为1。

(12)R=$\left\{\begin{array}{ll}1,& ‖z-{z}_{\mathrm{t}\mathrm{a}\mathrm{r}}\Vert <{r}_{\mathrm{d}}\\ 0,& \mathrm{其}\mathrm{他}\end{array}\right.$

式(12)中:R为奖励值;z_tar=(x_tar,y_tar)为目标位置;r_d为以目标位置为圆心的圆形区域半径定义的距离指标。随后,执行持续时间t_m的反向重放过程,对目标位置定义的位置细胞施加间歇性脉冲刺激,即

(13)${I}_{i}^{\mathrm{p}\mathrm{l}\mathrm{a}\mathrm{c}\mathrm{e}}$=exp$\left(-\frac{\Vert {z}_{\mathrm{t}\mathrm{a}\mathrm{r}}-{p}_{i}\Vert }{2{\sigma }^{2}}\right)$

这些脉冲诱发特征性放电序列。Haga等^[29]的计算研究表明,在短期突触抑制或去极化后存在的对称STDP条件下,放电序列会使突触传递偏向传播的相反方向。本文研究通过将赫布学习规则与短期可塑性机制结合,采用类似的权重更新机制,实现神经网络动态特征调节。因此权重更新规则定义为

(14)τ_w

$\frac{{\mathrm{d}}^{2}}{\mathrm{d}{t}^{2}}$

ω_ij=-$\frac{\mathrm{d}}{\mathrm{d}t}$ω_ij+ηr_ir_jD_jF_j

上述诱发的神经信号通过方向选择性突触修饰在二维网络架构中均匀传播,具体而言,增强的反向传播路径形成向目标位置收敛的矢量场拓扑结构。

最后,反向重放后的优化权重将作为处理下一样本的初始权重。由k个样本训练得到的权重ω_k将被保留,作为决策层的输入。

2.2 决策层

该层的主要目标是模拟动物海马体中构建元图所涉及的决策行为。具体的决策过程如下:首先,从Δ^Q中随机抽取m个样本。对于每个由查询样本所代表的导航任务,导航前使用的初始权重被设置为从上层(即记忆层)检索到的存储信息ω_k。当小鼠完成导航并到达目标位置后,会计算当前任务的损失。该损失定义为智能体到达目标的实际时间与理想时间(以秒为单位)之间的差值。

(15)loss=$\left|{t}_{\mathrm{a}}-{t}_{\mathrm{i}}\right|$

式(15)中:t_a为实际时间;t_i为理想时间,即小鼠以恒定速度γ_v从起点沿直线移动到目标点所需的时间,即

(16)t_i=$\frac{d({P}_{\mathrm{e}},{P}_{\mathrm{s}})}{\left|{\gamma }_{v}\right|}$

式(16)中:P_s为小鼠的随机起始位置;P_e为目标位置;d(P_e,P_s)为目标位置与起止位置之间的欧式距离。

其次,为了更新网络层的初始权重参数,通常需要计算损失函数相对于这些参数的梯度,并使用梯度下降算法对其进行优化。然而,由于直接获取这些梯度存在困难,之前的研究表明哺乳动物海马体中的元图构建与海马重播之间存在关键的因果关系。基于这一见解,提出了一种解决方法:引入指数函数来建模损失值随重播时间的变化,从而通过海马重播机制实现对网络层权重参数的间接优化。

(17)Loss=ae^bt+c

式(17)中:t为重放时间;a、b、c为常数系数。基于该函数,计算查询集中所抽取的m个样本的平均损失相对重放时间的梯度方向,并据此更新海马重放时间。

(18)$t_{\text {replay }}^{k+1}=t_{\text {replay }}^{k}-\beta \nabla_{t_{\text {replay }}} \mathcal{L}[\operatorname{Loss}(t)]$

式(18)中:

${t}_{\mathrm{r}\mathrm{e}\mathrm{p}\mathrm{l}\mathrm{a}\mathrm{y}}^{k}$

的初始值设为0;β为学习率;$\mathcal{L}$[Loss(t)]为抽取的所有样本的平均损失相对于重放时间的梯度。网络层根据更新后的重放时间进行反向重播,以调整其突触权重。随后,经过优化的权重会作为下一轮训练的初始参数,继续在记忆层中开展训练,并进一步更新决策层的权重。通过这种 “学习-调整” 的多轮迭代过程,最终将形成一个稳定且具有泛化能力的导航记忆模板。

3 仿真实验与分析

通过测试所提模型在不同导航任务中的表现,对其整体性能进行评估。主要目标是验证该模型能否从多个导航任务中提取结构特征,并在任务切换时实现高效迁移,进而展现出强大的跨任务泛化能力。

3.1 参数与任务设置

当小鼠进入目标位置周围半径为r_d的圆形区域时,即认为到达目标区域。若小鼠在时间T_max内未能抵达目标位置,本次导航将终止。二维空间中的所有起点与终点之间的最小路径长度为L_min。位置细胞网络的具体参数设置如表1所示。为在受限区域内模拟更贴近自然的多目标场景,设计了4项任务,具体如图4(a)所示。

3.2 反向重放机制下的基线性能

首先,评估了未使用分层优化的模型在执行目标导向导航任务时的表现。在仿真实验中,小鼠从二维方形环境内的随机初始位置出发,搜寻位于四个候选奖励点之一的奖励[图4(a)的红点所示]。每次试验中,小鼠先在起始位置静止3 s,随后以恒定速度在环境中移动直至找到奖励;抵达目标后,小鼠需在奖励位置再停留15 s。在静止阶段,每1 s会触发一次反向重放序列。

每组仿真包含20次试验,奖励位置每5次试验更新一次。因此,小鼠可利用前序试验积累的记忆,在第2-5、7-10、12-15、17-20 次试验(称为 “重复试验”)中加速目标搜寻;而在第6、11、16次试验中,由于目标位置发生变化,这些记忆不再有效(称为 “切换试验”)。

共进行了10组独立仿真,如图5所示,网络能在每次切换试验后快速适应新任务,并逐步形成高效的导航策略。此外,重复试验的平均探索时间显著短于切换试验,表明小鼠可有效复用先前的导航经验。相比之下,切换试验中,小鼠倾向于在先前的奖励位置附近搜寻,导致导航效率下降。

实验结果表明,在目标位置固定的场景中,基于突触重放的网络层能够逐步优化导航路径,小鼠在多次实验中展现出显著的学习与记忆效应。然而,当目标位置发生变化时,模型的导航效率大幅下降,探索路径变得更长且更分散。这一现象说明,基于重放的机制在适应环境变化时缺乏灵活性。

与哺乳动物在动态环境中表现出的快速适应能力相比,当前模型存在明显的滞后性,常常固守先前习得的记忆策略。这种 “认知惯性” 反映出模型过度依赖历史奖励信号,而对当前任务信息的提取不足。尽管重放机制提升了记忆效率,但仅依靠它不足以支撑复杂环境中的任务切换与策略迁移。在后续实验中,将引入分层优化机制,以增强模型在动态场景下的响应能力与泛化能力。

3.3 导航效率关于重放时长的指数模型

首先探究了目标导向导航效率(以探索损失为衡量指标)与重放时长之间的量化关系。为此,我们对基线实验10组独立仿真的结果进行了统计分析,共得到200个有效数据点。在实验设置中,神经记忆的模拟重放时长被设定在0~60 s,并按固定间隔进行测试。结果显示,随着重放时长的增加,小鼠的路径规划效率呈现出规律性变化。

具体而言,构建了与各重放时长对应的时间-效率样本库,并采用自适应指数优化模型对数据进行拟合分析。最终,得到了导航效率与重放时长之间的指数关系曲线,如图6所示。拟合方程如式(19)所示。

(19)Loss=59.1e^-0^.¹⁵^t+4.9

3.4 通过分层优化实现元图构建

展示了神经网络在经历初始参数分层优化后,在目标导向导航任务中的性能表现。优化基于方法部分提出的分层机制进行。在分层优化阶段,图4(a)所示的4个目标位置被视为4个独立的导航任务,其各自的最大优化迭代次数分别设置为 80次[图7(a)]、100次[图7(b)]、120次[图7(c)]和160次[图7(d)]。在每次迭代中,系统随机选择一个目标位置,并对记忆层和决策层进行联合更新。

当达到最大迭代次数后,网络权重优化即完成。从优化后的权重偏置图可见,每个目标位置周围形成了收敛的连接向量场,不同程度地指向目标。这种结构变化表明,网络已在参数空间中隐式编码了面向任务的导航偏好,从而构建了一种具有目标方向性和预期结构的预测连接模式,即元图表征,使其在一定程度上能够内部模拟未来目标导向的轨迹。

3.5 对已习得任务的记忆保持与快速导航能力评估

评估了模型在完成分层优化后,对训练阶段已学习过的目标位置是否形成了稳定、高效的导航记忆。这对应于生物体对熟悉环境的快速定位能力,是验证模型能否有效巩固并利用已获得经验的关键测试。

测试任务与分层优化阶段(3.4节)所使用的4个目标位置完全相同[图4(a)]。分别评估了网络在不同优化迭代次数(0、80、100、120、160、200次)后的性能。每组测试中,小鼠从随机起始点出发,导航至指定的已知目标位置,记录其探索时间。

如图8与表2所示,未经优化(0次迭代)的模型在任务切换后导航效率低下,平均探索时间长达167 s,表明其缺乏对历史经验的有效利用。经过分层优化后,模型对所有已习得任务的导航效率均得到显著提升。特别地,在120次迭代后达到最佳性能,平均探索时间降至103 s,相比基线提升38.3%。该结果证实,分层优化机制成功地将多个独立任务的经验提炼并固化为网络内部的稳定权重偏置(即图7所示的元图表征),使得模型能够快速调用“记忆”以实现高效导航。

然而,当迭代次数过度增加(如160次)时,性能出现下降(探索时间回升至145 s)。迭代次数达到200次时,平均探索时间与未探索时的探索时间几乎一致。这并非简单的“过拟合”,而更可能反映了网络权重在参数空间中过度偏向于某几个高频任务,导致其内部表征的灵活性下降,从而损害了在多任务间保持平衡的能力。这一现象与生物学习中“过度训练”可能导致的行为僵化具有一定类比性。

3.6 对未知任务的跨任务泛化能力评估

测试模型能否将其在训练任务中学习到的环境结构特征与导航策略,迁移到全新的、未见过的目标位置上。这是评估其是否构建了真正具有普遍性的“认知元地图”的关键。

如图4(b)所示,设置了4个与训练阶段完全不同的新目标位置。模型使用经过分层优化(迭代次数同上)后的网络进行导航测试,所有其他条件保持不变。

如图9与表3所示,模型在面对全新目标时,依然表现出了显著的泛化优势。未经优化的模型由于缺乏先验结构知识,探索效率最低。而经过优化的模型,特别是经过120次迭代后,在新任务上的平均探索时间(118 s)相比基线(160 s)缩短了26.3%。这一结果强有力地证明,分层优化机制并非仅仅记忆了具体的任务-目标,而是促进网络提取了跨任务共享的空间结构特征与导航策略,形成了一种可用于快速适应新情景的“元知识”。

性能在120次迭代达到峰值后下降的趋势与3.5节一致,进一步验证了优化过程存在一个最佳平衡点。在这一点上,网络获得的“元知识”既足够丰富以支持泛化,又保持了足够的可塑性以避免僵化。这与神经科学中关于“海马重放通过平衡记忆巩固与系统灵活性来促进泛化”的理论观点相符。计算模型为这一理论提供了一个具体的机制性解释:分层优化通过调控反向重放的“质”与“量”,实现了对网络初始权重(即元图表征)的塑造,从而在快速适应与广泛泛化之间取得了最优权衡。

4 结论

提出了一种受MAML框架与海马体神经编码机制启发的神经网络初始化分层优化策略,并构建了相应的仿生导航模型。实验结果表明,该框架能够有效提升小鼠在目标位置变化条件下的导航性能,并具备良好的跨任务泛化能力。分层结构中,决策层通过突触可塑性实现可迁移空间表征的提取,记忆层通过奖励驱动的反向重放支持任务特异性的快速适应。整体机制与海马体前额叶序列重放的神经科学发现保持一致,验证了其在目标导向行为中的合理性与生物启发性。以上结果共同说明,本文研究在理解认知系统的层级优化策略及其在空间导航中的作用方面取得了实质性推进。

未来的研究将进一步扩展该框架的生物学与工程应用潜力。首先,可在模型中纳入网格细胞、头部方向细胞等空间编码单元,以更完整地模拟海马内嗅皮层系统的动力学结构。其次,可将当前框架推广到更复杂的动态场景,引入多目标切换、非平稳环境与噪声干扰等因素,提升模型的鲁棒性与适应性。最终目标是推动该分层优化模型在自主机器人、神经形态计算等方向的实际应用。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Scoville W B, Milner B. Loss of recent memory after bilateral hippocampal lesions[J]. Journal of Neurology, Neurosurgery & Psychiatry, 1957, 20(1): 11-21.

[2]	Muller R U, Stead M, Pach J. The hippocampus as a cognitive graph[J]. The Journal of General Physiology, 1996, 107(6): 663-694.

[3]	刘衍平, 郑荣艳, 宋富洪, 等. 多策略改进的海马优化算法及应用[J]. 科学技术与工程, 2025, 25(10): 4216-4228.

[4]	Liu Yanping, Zheng Rongyan, Song Fuhong, et al. A multi-strategy improved hippocampal optimization algorithm and its applications[J]. Science Technology and Engineering, 2025, 25(10): 4216-4228.

[5]	廖诣深, 于乃功. 仿鼠脑内嗅-海马-前额叶信息传递回路的空间导航方法[J]. 生物医学工程学杂志, 2024, 41(1): 80-89.

[6]	Liao Yishen, Yu Naigong. A spatial navigation method based on a mouse-brain-inspired olfactory-hippocampal-prefrontal information transmission circuit[J]. Journal of Biomedical Engineering, 2024, 41(1): 80-89.

[7]	Morris R G M, Garrud P, Rawlins J N P, et al. Place navigation impaired in rats with hippocampal lesions[J]. Nature, 1982, 297(5868): 681-683.

[8]	Olton D S, Walker J A, Gage F H. Hippocampal connections and spatial discrimination[J]. Brain Research, 1978, 139(2): 295-308.

[9]	朱祥维, 沈丹, 肖凯, 等. 类脑导航的机理、算法、实现与展望[J]. 航空学报, 2023, 44(19): 6-38.

[10]	Zhu Xiangwei, Shen Dan, Xiao Kai, et al. Mechanisms, algorithms, implementations, and prospects of brain-inspired navigation[J]. Acta Aeronautica et Astronautica Sinica, 2023, 44(19): 6-38.

[11]	王立晓, 刘晨, 孙小慧. 基于认知地图的行人地铁站空间认知分析[J]. 科学技术与工程, 2022, 22(4): 1588-1594.

[12]	Wang Lixiao, Liu Chen, Sun Xiaohui. Spatial cognition analysis of pedestrians in subway stations based on cognitive maps[J]. Science Technology and Engineering, 2022, 22(4): 1588-1594.

[13]	阮晓钢, 柴洁, 武悦, 等. 基于海马体位置细胞的认知地图构建与导航[J]. 自动化学报, 2021, 47(3): 666-677.

[14]	Ruan Xiaogang, Chai Jie, Wu Yue, et al. Cognitive map construction and navigation based on hippocampal place cells[J]. Acta Automatica Sinica, 2021, 47(3): 666-677.

[15]	于乃功, 苑云鹤, 李倜, 等. 一种基于海马认知机理的仿生机器人认知地图构建方法[J]. 自动化学报, 2018, 44(1): 52-73.

[16]	Yu Naigong, Yuan Yunhe, Li Ti, et al. A cognitive map construction method for bionic robots based on hippocampal cognitive mechanisms[J]. Acta Automatica Sinica, 2018, 44(1): 52-73.

[17]	Pfeiffer B E, Foster D J. Hippocampal place-cell sequences depict future paths to remembered goals[J]. Nature, 2013, 497(7447): 74-79.

[18]	Ólafsdóttir H F, Bush D, Barry C. The role of hippocampal replay in memory and planning[J]. Current Biology, 2018, 28(1): 37-50.

[19]	徐亚军, 郝博扬, 高田露, 等. 基于多目标遗传局部搜索算法的航空导航台频率指配[J]. 科学技术与工程, 2025, 25(15): 6530-6537.

[20]	Xu Yajun, Hao Boyang, Gao Tianlu, et al. Frequency assignment of aeronautical navigation aids based on a multi-objective genetic local search algorithm[J]. Science Technology and Engineering, 2025, 25(15): 6530-6537.

[21]	Dragoi G, Tonegawa S. Selection of preconfigured cell assemblies for representation of novel spatial experiences[J]. Philosophical Transactions of the Royal Society B: Biological Sciences, 2014, 369(1635): 20120522.

[22]	Mckenzie S, Roman H, English D F, et al. Preexisting hippocampal network dynamics constrain optogenetically induced place fields[J]. Neuron, 2021, 109(6): 1040-1054.

[23]	冯浩然, 尚志刚, 杨莉芳, 等. 基于Q学习参数辨识的动物学习能力评价方法[J]. 科学技术与工程, 2022, 22(27): 11842-11849.

[24]	Feng Haoran, Shang Zhigang, Yang Lifang, et al. An evaluation method of animal learning ability based on Q-learning parameter identification[J]. Science Technology and Engineering, 2022, 22(27): 11842-11849.

[25]	Tse D, Langston R F, Kakeyama M, et al. Schemas and memory consolidation[J]. Science, 2007, 316(5821): 76-82.

[26]	Dragoi G, Tonegawa S. Preplay of future place cell sequences by hippocampal cellular assemblies[J]. Nature, 2010, 469(7330): 397-401.

[27]	Grosmark A D, Buzsáki G. Diversity in neural firing dynamics supports both rigid and learned hippocampal sequences[J]. Science, 2016, 351(6280): 1440-1443.

[28]	Berners-Lee A, Feng T, Silva D, et al. Hippocampal replays appear after a single experience and incorporate greater detail with more experience[J]. Neuron, 2022, 110(11): 1829-1842.

[29]	Widloski J, Foster, David J. Flexible rerouting of hippocampal replay sequences around changing barriers in the absence of global place field remapping[J]. Neuron, 2022, 110(9): 1547-1558.

[30]	McNaughton B L, Barnes C A, Gerrard J L, et al. Deciphering the hippocampal polyglot: the hippocampus as a path integration system[J]. Journal of Experimental Biology, 1996, 199(1): 173-185.

[31]	王晓辉, 陈思彤. 基于BIM的机器人定位导航研究综述[J]. 科学技术与工程, 2025, 25(21): 8761-8772.

[32]	Wang Xiaohui, Chen Sitong. A review of robot localization and navigation based on BIM[J]. Science Technology and Engineering, 2025, 25(21): 8761-8772.

[33]	Cembrowski M S, Bachman J L, Wang L H, et al. Spatial gene-expression gradients underlie prominent heterogeneity of CA1 pyramidal neurons[J]. Neuron, 2016, 89(2): 351-368.

[34]	Cavalieri D, Angelova A, Islah A, et al. CA1 pyramidal cell diversity is rooted in the time of neurogenesis[J]. eLife, 2021, 10: 69270.

[35]	Poulopoulos A, Davis P. Faculty opinions recommendation of preconfigured dynamics in the hippocampus are guided by embryonic birthdate and rate of neurogenesis[J]. Nature Neuroscience, 2022, 25(9): 1201-1212.

[36]	Harvey R E, Robinson H L, Liu C, et al. Hippocampo-cortical circuits for selective memory encoding, routing, and replay[J]. Neuron, 2023, 111(13): 2076-2090.

[37]	Ambrogioni L, Ólafsdóttir H F. Rethinking the hippocampal cognitive map as a meta-learning computational module[J]. Trends in Cognitive Sciences, 2023, 27(8): 702-712.