从神经网络的连接中对存储在神经网络中的记忆进行贝叶斯重建

塞巴斯蒂安·戈尔特 ，弗洛伦特·克尔扎卡拉，伦卡·兹德博罗娃，尼古拉斯·布鲁内尔

发布时间：30 年 2023 月 <

抽象

大型神经回路的综合突触接线图的出现创造了连接组学领域，并引发了许多开放的研究问题。其中一个问题是，鉴于其突触连接矩阵，是否有可能重建存储在循环神经元网络中的信息。在这里，我们通过确定在特定吸引子网络模型中何时解决此类推理问题在理论上是可行的，并提供一种实用的算法来解决这个问题。该算法建立在统计物理学的思想之上，以执行近似贝叶斯推理，并且适合精确分析。我们研究了它在三种不同模型上的性能，将该算法与PCA等标准算法进行了比较，并探讨了从突触连接重建存储模式的局限性。

作者摘要

神经科学的核心假设之一是记忆存储在突触连接中。理论模型显示了由于突触可塑性机制，大量记忆可以存储在循环神经回路中。连续块面电子显微镜和机器学习方法的最新进展使得完全重建越来越大体积的神经元回路的突触连接成为可能。在这里，我们提出了一个问题，即在多大程度上可以从神经回路的突触连接知识中重建存储在神经回路中的记忆。我们提出了一种近似的贝叶斯推理算法，并研究了它在特定吸引子网络模型上的属性。

引文： Goldt S， Krzakala F， Zdeborová L， Brunel N （2023） 从神经网络的连接中存储的记忆的贝叶斯重建。公共科学图书馆计算生物学19（1）： e1010813. https://doi.org/10.1371/journal.pcbi.1010813

编辑 器： 莱尔·格雷厄姆， 巴黎笛卡尔大学，法国国家科学研究中心

收到： 6月 2021， 12;接受： 2022月 30， 2023;发表： <>月 <>， <>

版权： ? 2023 戈尔特等人。这是一篇根据知识共享署名许可条款分发的开放获取文章，该许可允许在任何媒体上不受限制地使用、分发和复制，前提是注明原作者和来源。

数据可用性： 所有相关数据都在手稿中。

资金： SG和LZ根据欧盟的地平线2020研究与创新计划资助协议714608-SMiLe承认ERC的资助。资助者在研究设计、数据收集和分析、发表决定或手稿准备方面没有任何作用。

竞争利益： 提交人声明不存在相互竞争的利益。

介绍

全面的突触接线图或“连接组”提供了大脑区域甚至整个生物体中所有神经元及其互连的详细图谱。自1986年使用电子显微镜方法获得线虫秀丽隐杆线虫的连接组以来[1]，数据采集和分析方法都得到了扩大和显着改进。今天，已经有可能提供更复杂的系统的连接组，例如各种黑腹果蝇回路[2，3]，甚至是其大脑的很大一部分[4，5];斑马鱼的嗅球[6];以及啮齿动物视网膜[7-9]、海马体[10]和皮层[11-16]的各种碎片。虽然在哺乳动物甚至人类大脑的完整连接体的道路上仍然存在许多艰巨的挑战[17]，但今天可用的数据集已经引发了许多有趣的问题。与此同时，越来越清楚的是，必须开发新的定量方法来充分利用连接组学提供的新数据宝库[18]。

在这里，我们专注于将信息存储在突触连接中的局部神经网络。据推测，皮质网络针对这项任务进行了优化，这要归功于它们广泛的复发性突触连接[19]。这些网络的流行模型是吸引子神经网络，例如霍普菲尔德模型[20]和各种泛化[21-24]，其中记忆被存储为动态的吸引子状态。这些吸引子状态表示在训练期间反复呈现给网络的外部刺激的学习内部表示，从而诱导网络突触权重的变化。那么，一个自然要问的问题是：鉴于对循环神经网络中神经元之间的突触连接的知识，我们能否重建最初存储在该网络中的活动模式？

在本文中，我们首先根据贝叶斯推理问题给出了这个问题的数学表述。贝叶斯方法的优点是提供了一种自然的方式来处理与从大量噪声观察中估计大量参数相关的不确定性，即在本例中从网络中突触的强度重建原始刺激。对噪声进行建模在这个问题中至关重要，因为我们不能期望连接体中报告的突触强度超过粗略的估计。我们使用统计物理学中的工具来确定在模型设置中理论上何时可以解决此推理问题，并提供一种实用的算法来做到这一点。我们详细分析了算法在各种不同的问题上的性能，并邀请读者在GitHub上下载我们对算法的参考实现，并使用和扩展它。

任务：从网络连接重建记忆

网络模型。

我们分析了著名的霍普菲尔德模型[20]的一个变体，用于由状态为s的N个相互作用神经元组成的递归神经网络我， i = 1， ...， n.网络通过具有标量权重的对称双向连接完全连接。神经元在迭代 k + 1 时依次更新其状态，根据

(1)

其中 g（?） 是一些非线性激活函数，是第 i个神经元的总突触输入。

网络存储P固定模式或存储器，它们是我们在矩阵中收集的N维向量。我们为存储在网络中的第μ个模式编写，并表示模式条目可以采用的值集，例如二进制模式。请注意，这些模式对应于神经元活动与其平均值的偏差，而不是神经元活动本身，后者被限制为非负值。平均活性的减法预计将由在突触处起作用的塑性规则执行（使用“协方差规则”，参见例如[25]）。在二进制模式的情况下，Xμ，i= 1 表示神经元在给定模式中处于活动状态，而 Xμ，i= ?1 表示神经元不活跃。我们还假设 Xμ，i是 i.i.d. 随机变量，即存储的模式是不相关的。模式通过选择其权重 J 存储在网络中ij使得模式成为其动态的固定点。

我们在热力学极限N → ∞下研究该模型，同时保持模式数 P 为 1 阶。此缩放使 Hopfield 模型的结果权重矩阵成为低秩矩阵。近年来，低秩矩阵在神经科学中发挥了重要作用，特别是在循环网络的建模中[26-29]。因此，以有原则的方式从数据中估计它们的方法可以帮助将这些理论与实验数据联系起来。

学习规则。

选择权重或网络连接结构的一个经典思想是选择与模式的经验相关性成比例的权重。这个处方也被称为Hebb规则[30]，可以更紧凑地写成

(2)

其中 （X*)?是 X* 的转置，因此 W 是模式的经验相关矩阵，假设模式的均值为零，正如我们将在这项工作中所做的那样，并且缩放的选择将在下面解释。使用二进制神经元 s我(t） = ±1，该模型对应于著名的霍普菲尔德模型 [20]。在这个模型中，网络表现出靠近存储存储器的定点吸引子，前提是存储模式的数量P小于αcN 其中αc约0.14 [31]。

连接矩阵方程（2）具有许多不切实际的特征，使其不足以解决我们在这里感兴趣的问题：（i）网络是完全连接的，与大脑中的神经元网络不一致;（ii）突触不受符号约束，而大脑中的突触要么是兴奋性的（即非阴性），要么是抑制性的（即非阳性）。满足这两个要求的最小模型是整流的霍普菲尔德模型

(3)

其中 τ > 0，ζij是一个噪声项（见下文），我们选择 Φ（x） = max（0， x）。 这种选择确保了权重是非负的，有效地产生了兴奋性神经元网络的模型。这与信息存储主要发生在兴奋性到兴奋性突触中的假设一致，而抑制性神经元的工作主要是控制兴奋性网络中的活动水平。这一观点与许多研究一致[32，33]，但受到其他研究的质疑[34]。

噪声项ζij取为对称随机高斯矩阵，即对于 i < j，ζijs 是 i.i.d. 随机高斯变量，均值为零，标准差为 ν，ζ集 = ζij.标量参数 τ 控制网络中的连接概率，

(4)

到领导顺序为 N → ∞。特别是，网络在大τ极限中变得稀疏。由于 P ～ O（1），从方程 （2） 获得的权重将具有 1/N 的方差，而噪声的方差为 1 阶。我们研究的模型与Sompolinsky研究的一系列连接矩阵有关[35]，并且与Mongillo等人最近提出的模型[34]有相似之处。

在大脑网络中，连接矩阵不是对称的。但是，如果我们假设权重仅通过对称矩阵 X*（X*)?，这些不对称性是由于学习过程中不同的噪声源，以及连接组重建充其量只能给我们一个真实突触权重的近似值（见讨论）。为了分析从对称矩阵 X*（X*)?，正如我们在这里所做的那样，我们可以因此对称矩阵 J，或者等效地关注噪声矩阵ζij是对称的。

关于缩放的说明。

我们在方程（2）中选择缩放是在考虑重建模式的情况下做出的，并遵循随机矩阵理论。我们的连通性矩阵模型与尖峰维格纳模型 [36， 37] 相关，其中随机矩阵 M 构造为 M ij = βu我uj + ζij，带ζij同上。因此，矩阵 M 是随机矩阵的秩一扰动，其元素从正态分布中绘制。任务是从矩阵 M 重建向量 u，其元素的阶数为 1。直觉上，我们希望将自己置于“有趣”的制度中，从 M 元素重建 u 的 N 个条目既不容易也不是不可能的。使用随机矩阵理论[36，38]对该模型的经典分析表明，这种“有趣”状态的特征是M的前导特征向量和向量u之间的重叠相变，这恰好发生在信噪比β上，该比率缩放为。因此，我们为非线性矩阵模型（3）选择了相同的缩放比例。

重建与检索记忆。

我们强调，我们在本文中的重点是从观察到的连接矩阵J重建刺激，这与检索问题[20，39-41]不同，在检索问题中，我们询问模式X是否是网络动力学的稳定不动点，方程（1）。我们将在本文末尾讨论从网络动力学重建模式的可行性。

使用统计物理解决推理问题

我们的目标是重建用于使用连通性结构 （3） 创建 Hopfield 网络的连通性矩阵 J 的模式 X*。我们将模式 X* 称为问题的基本事实。由于连通性结构是随机的，我们将模式重建表述为概率推理问题。我们将网络 J 的连接矩阵解释为对称低秩矩阵 W ～ X*（X*)?，被规则（3）给出的变换所扭曲。我们可以表征权重 J 的条件概率分布ij给定 Wij如

（5一）

（5b）

从这种嘈杂、失真的观察中重建低秩矩阵是一个通用的推理问题，出现在许多不同的应用中，例如鲁棒 [42] 和稀疏 [43-45] PCA、高斯混合聚类 [46] 和密集网络中的社区检测 [47， 48]，仅举几例。 低秩矩阵也广泛用于神经科学，以模拟循环连接[26-29]。贝叶斯方法在所有这些问题中的优势在于，它们允许将有关问题的知识有原则地和透明地集成到推理过程中，例如通过选择先验分布和输出通道。在下文中，我们将假设我们知道用于生成连接矩阵 J 的超参数 ν 和 τ。期望最大化和相关技术似乎是将我们的方法扩展到需要学习这些超参数的情况的自然候选者（参见讨论）。

在这里，我们采用贝叶斯方法[49]来推断给定连通性J的模式。这意味着我们将模式的重建视为一个随机变量 X，其后验分布 p（X|J） 给定连通矩阵由贝叶斯定理给出：

(6)

我们介绍了 X 第 i列的简写。我们假设模式彼此不相关，并且我们知道先验分布PX(X） 存储在网络中的模式。例如，这种分布可以反映这样一个事实，即我们知道存储在网络中的记忆是二进制的，编码给定神经元是否放电，或者我们知道任何给定神经元在给定内存中放电的概率。

请注意，我们在这里将重建记忆的问题表述为重建矩阵X列的问题，或者等价地，每个神经元的调谐曲线。最终，我们对整个矩阵 X 感兴趣，因此我们重建它的所有列还是所有行并不重要。但是，从算法的角度来看，使用列更方便，这是我们在这里采用的方法。该分布的行的边际是N维的，提供了可以执行的模式的最佳估计[49]。

评估高维积分以准确获得边际是一个棘手的问题。相反，在这里，我们利用后验分布（6）和统计物理学中出现的某些概率分布之间的形式类比来推导出一种称为“近似消息传递”[50]的算法，该算法对存储在网络中的存储器进行近似贝叶斯推断。此外，我们将证明统计物理学的技术，特别是称为“状态进化”（SE）的工具，可用于相当详细地分析该算法的行为和性能。近似消息传递算法可以理解为信念传播的一种变体，这是一种在图形模型中进行推理的通用算法，通常归功于 Pearl [51]。

结果

一种用于模式重建的贝叶斯算法

这里考虑的推理问题，我们的目标是从嘈杂的观察中恢复对称的低秩矩阵，可以使用一类近似消息传递 （AMP） 算法来解决，用于低秩矩阵分解，称为 Low-RAMP。它是由Lesieur等人[52]推导的，建立在以前的工作[44，53，54]的基础上，为低秩矩阵分解问题的特定实例提供了AMP算法。Low-RAMP 是一种迭代算法，可生成 p（x） 边际分布均值的估计值我）及其协方差矩阵σ我，其中 x我通常是我们通过评估后验分布 （6） 来估计的低秩矩阵 X 的第 i列。在本例中，是第 i个神经元的估计“调谐曲线”的平均值（见上文）。使用此框架，我们将导出上一节中概述的模式重建问题的算法变体。我们将在方法部分详细介绍该算法。

我们还为适用于许多不同问题的对称和二分矩阵分解问题提供了低 RAMP 的参考实现。它被设计为易于扩展到其他问题，并提供了许多进一步的实用程序功能。本文中的所有结果都可以使用此代码重现。

状态演变

与其他算法（如蒙特卡罗方法）相比，AMP算法具有独特的优势，即其行为在极限N→ ∞中的行为，用于X*上的可分离先验，随机i.i.d.噪声ζij和模式数P = O（1），可以使用“状态演变”技术始终精确跟踪[50，55].这种方法的根源可以追溯到最初在物理学中引入的想法，用于处理一类称为眼镜的无序系统[56，57]。对于我们在这里考虑的低秩矩阵分解问题，Lesieur等人[52]在先前推导和分析其他特定问题的状态进化的工作的基础上，详细推导出和分析了状态进化[44，45，53]。特别是在过去的几年里，人们对使用状态进化来理解许多问题的近似贝叶斯推理算法的性质的兴趣激增[58]。

由于我们采用概率方法来估计模式，因此我们将模式的重建称为后验分布的平均值，我们用帽子表示： .我们的目标是跟踪均方误差 mseX算法t步后真实信号的重建，

(7)

其中表示向量的欧几里得范数。MSE 可以用定义为

(8)

这样.在这里和整篇论文中，我们写了关于先验分布p 的平均值X(x） 对应模型的 〈?〉。我们写 x0用下标下划线随机变量 X0不是我们尝试评估的矩阵 X 的列;相反，它是一个从先验中抽取并取平均值的变量。

现在的目标是找到订单参数 M 的更新方程t这反映了算法的进展。这个更新方程是状态演化方程[50，55]。值得注意的是，从[59]中我们看到定义问题的两个常数τ和ν并没有明确地出现在状态演化方程中。相反，算法的行为及其性能仅取决于问题的有效信噪比（SNR），这是连接结构中使用的阈值τ和噪声方差ν的函数（3）。形式上，它可以表示为我们用来描述网络如何连接的生成模型的 Fisher 分数矩阵 [60] 的逆函数 （5a） 和 （5b），评估条件为 ：

(9)

(10)

这里和整个，表示对随机变量的期望。事实上，在算法的层面上，关于输出通道（5）的所有内容都可以总结在这个单一的标量Δ中。状态演化的这种显着的普遍性以及AMP算法相对于输出通道的普遍性在[59]中首次观察到，并被称为“通道通用性”。

状态演化为阶次参数 M 提供了更新方程t这反映了算法的进展。我们首先定义一个辅助函数

(11)

哪里和.如果 A = 0 且 b = 0，此函数将计算先验分布 p 的平均值X(相反，b 和 A 是根据数据估计的（有关详细信息，请参阅算法），因此 f 计算包含先验部分和数据相关部分的分布上的平均值。这种结构反映了我们在这里应用的后验密度的高斯近似，或者更广泛地说，先验信息与贝叶斯推理典型的数据依赖可能性之间的相互作用。因此，是一个归一化因素。订单参数 M 的更新公式t对于本文中考虑的所有情况，都可以使用此辅助函数编写;它读作[52]

(12)

其中 z 是均值为零且方差为 1 的高斯随机变量的 P 维向量。超过 x 的平均值0取自先验分布 pX(x），如上所述。

总而言之，统计物理学为我们提供了一种算法来执行模式的近似推断，状态演化方程（12）使我们能够跟踪算法随时间推移的行为。因此，我们可以通过研究低维状态演化的不动点来分析算法在高维推理中的性能（12）。这是这种方法背后的关键思想，我们现在将通过将其应用于几个具体案例来证明这种机制的有用性。

重建二进制模式

作为到目前为止概述的算法和分析工具的第一个应用，我们考虑一组二进制模式的重建，.我们将假设正值和负值都是等概率的，并且模式向量的分量彼此独立，因此存储模式矩阵列上的先验，x我，只是

(13)

单个模式 （P = 1）。

对于以下讨论，首先考虑P = 1的情况是有启发性和帮助的，即网络中只存储了一个我们试图从J中恢复的模式。然后，模型的阈值函数变为 f（A， B） = tanh（B），其中 和 现在标量参数 m 的状态演变t简化为

(14)

其中 w 是均值和单位方差为零的标量高斯随机变量。

我们现在可以使用给定的噪声水平 Δ（ν， τ） 迭代状态演化方程 （14），直到收敛，然后计算对应于该不动点的 mse。我们收敛的定点揭示了有关 AMP 算法性能的信息。我们在图 1 的左侧绘制算法的两个不同初始化的结果：在蓝色中，我们绘制通过迭代 SE 从随机初始化开始获得的 MSE

(15)

其中δ> 0 是一个非常小的随机数。以这种方式获得的误差是 AMP 算法在通过从先验分布中随机抽取进行初始化时获得的误差，换句话说，是对模式的随机猜测。蓝色叉号证实了这一点，蓝叉显示了在问题的实际实例上从算法的五次独立运行中获得的 MSE 的平均值和标准偏差。图 1 中的橙色虚线显示了从知情初始化中获得的最终 MSE

(16)

这将对应于使用解决方案初始化算法，即.

缩略图 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图1. （左）二进制模式的消息传递算法的重建和性能。

我们将AMP算法（7）获得的mse （32）绘制为有效噪声Δ（9）（蓝色十字）的函数。我们绘制了从随机 （15） 和通知 （16） 初始化开始的算法性能。实线表示通过迭代状态演化方程 （14） 获得的预测。具有 δ/δc> 1 对应于右侧相图中的白色区域。我们还绘制了通过将PCA应用于权重矩阵J和费舍尔矩阵S（31）（绿色和红色，或）获得的重建的MSE。参数：τ = 0。AMP 的 N = 5000，PCA 的 N = 20000。（中）P = 1的整流霍普菲尔德通道的相图。我们使用消息传递算法作为常量阈值τ和连接结构中出现的高斯噪声的方差ν的函数，绘制了比随机猜测更好的模式重建是容易（蓝色）还是不可能（白色）。实线是连接概率 p 的轮廓C(ν， τ） （4）.（右）临界噪声ν*作为连接概率p的函数 C.我们绘制 ν*，加性高斯噪声的最大方差ζij在这种情况下，重建仍然是可能的，相对于概率pC (4）任何两个神经元是连接的。

https://doi.org/10.1371/journal.pcbi.1010813.g001

在此模型中，我们发现从随机猜测开始的AMP算法与从知情初始化开始的算法一样好。情况并非总是如此，我们确实会在我们考虑的下一个稀疏和偏斜模型中发现不同的行为。

什么时候可以恢复？

我们可以从图 1 的中间图中看到，从连接 J 中恢复内存并不总是可能的;有效噪声Δ存在临界值c高于该算法获得的解的均方误差与我们仅基于先验分布 （13） 对解进行随机猜测而获得的误差相同，而无需查看数据。我们可以计算出这个临界噪声水平Δc使用状态演化 （12）。我们可以从这个方程中看到 mt= 0 是一个平凡的不动点，从某种意义上说，对应于该不动点的 MSE 等于通过随机猜测获得的 MSE。围绕此不动点展开方程 （14） 得到 mT+ 1 = mt/Δ.因此，有两种恢复制度，由临界值隔开

(17)

有效噪声（9）。如果 δ > δc、均匀定点稳定，无法恢复。另一方面，对于 Δ < Δc，则一致不动点不稳定，因此 AMP 返回 MSE 低于随机猜测的模式的估计值。图1中间的相图描绘了具有对称先验（13）的整流Hopfield通道的简单相位和不可能相位。虽然原则上，对于其他先验和通道，状态演化方程中可能存在其他不动点[52]，但它始终是从描述算法行为的知情或无知情初始化到达的不动点之一。

乍一看，加性高斯噪声的影响ζij图1中的相图似乎违反直觉。如果我们将阈值固定为 τ = 0.5，则对于 ζ 的小方差 ν 的重建是不可能的ij.随着ν的增加，即当我们向系统添加更多的噪声时，恢复成为可能。理解这种行为的关键是，对于单个刺激 P = 1，网络中的权重将具有围绕原点对称的两个可能值之一。通过应用整流，对于任何截止 τ > Wij得到的无加性噪声的权重矩阵J为零，无法恢复。我们只能希望在增加噪音时检测到某些东西ζij将整流前的砝码值推到截止值以上。如果增加的噪声足够大，以至于没有噪声的重量大于截止值a + ζ，则可以恢复ij > τ，同时保持足够小，以至于无噪声权重为正值的可能性明显大于负值。随着噪声方差进一步增加，其有害影响占主导地位，恢复再次变得不可能。这种机制让人想起随机共振（SR），这是一种通过噪声的存在放大微弱信号的机制。实际上，我们的问题包含SR的三个要素（例如[61]）：阈值机制，由连接结构中的整流给出：弱信号（存储的模式）;和一个噪声项，ζ。

如前所述，当噪声太大时，恢复变得不可能。我们在图 1 的右侧显示了ζ的临界方差ij在此之上，重建变得不可能，ν*，作为连接概率 p 的函数C，由等式（4）给出。该图可以通过求解获得，对于给定值pC = C、二维系统

(18)

(19)

对于 （τ， ν）。正如预期的那样，临界方差随连接概率的增加而增加，当连接概率变为零时，临界方差变为零。

与主成分分析（PCA）的比较。

主成分分析 （PCA） 是从网络连接重建存储模式的另一种方法。PCA和其他光谱方法具有一些优点：它们是非参数的，并且在单个模式的情况下实现它们很简单：存储模式的PCA预测只是J的前特征向量。我们用图7左侧的绿线绘制了该估计值的均方误差（1），我们看到PCA的重建误差大于AMP的重建误差，特别是对于较大的噪声值。理论也证实了这一点：PCA的重建均方误差可以证明严格大于AMP估计值，因为后者是贝叶斯最优预测因子[52]。

另一种PCA算法可以通过围绕平凡不动点[58，62]对AMP方程进行直线化来找到。这种线性化产生的方程可以解释为应用于费舍尔矩阵S（31）而不是J的PCA。由于 Fisher 矩阵在推导消息传递方程时依赖于数据的生成模型，因此查看其领先的特征向量提供了一种更适合手头问题的频谱算法。事实上，我们发现它的误差（图1中的红线）略低于直接从PCA获得的权重误差。无论哪种情况，PCA 的性能都比 AMP 差。

与图1中大噪声水平下的AMP误差相比，PCA误差值较大，揭示了PCA的一个基本弱点：即使在高于临界噪声Δ的噪声水平下c，其中任何算法都无法重建，则可以应用 PCA 并将返回预测 - PCA 中没有不确定性的概念。因此，随着噪声的增加，PCA的mse趋于常数，J的前导特征向量只是一个随机向量;对于霍普菲尔德先验，当重新缩放特征向量以具有与从霍普菲尔德先验绘制相同的长度时，此常量为 2。另一方面，如果 Δ > Δ 返回一个充满零的向量c（先验的平均值为 0，就像我们考虑的所有先验一样）。因此，AMP 表示其对种植模式的不确定性，对于具有 x 的输入，产生 mse = 1我= ±1。因此，贝叶斯方法的优点是它可以防止在高噪声条件下过度自信的预测。

与AMP相比，PCA的性能较弱，这是因为频谱方法没有提供一种自然的方式来将我们掌握的关于刺激结构和分布的先验知识整合到恢复算法中。贝叶斯框架通过存储模式的生成模型以透明的方式整合了这些领域知识 pX(我们将看到，这为稀疏模式和编码水平较低的模式创造了更大的性能差距。

许多模式（P > 1）。

对于具有有限 P 的几种模式 P > 1 的一般情况，我们可以通过注意到矩阵 M 来显着简化状态演变t将在时间 t = 0 时充满零的矩阵和完美恢复情况下适当缩放的单位矩阵之间进行插值，即

(20)

我在哪里P是 P 维的单位矩阵。换句话说，对于不相关的模式，不同的输入模式在重建过程中不会相互作用，因此在我们只存储几个模式并且连接结构保持低秩的情况下，非对角矩阵元素保持零。一旦我们通过存储更多模式来重载模型，我们将拥有非零非对角线元素，这意味着重建收敛到虚假模式，例如模式的线性组合。然而，在这个政权中，上述得出的国家演变也崩溃了。在这种情况下，阈值函数变为

(21)

其中 zk又是一个标准的高斯变量。代入状态演化得到参数 m 的更新方程t即

(22)

其中 mt是上面介绍的重叠参数 （20）。此更新与 P = 1 情况下的状态演变具有相同的形式，即 Eq （14）。因此，我们发现，值得注意的是，恢复P不同的模式完全等价于在热力学极限中恢复单个模式P次，其中N→ ∞而模式的数量是有序的。这种近似最终将在具有有限网络大小的实际应用中分解，我们将在下面研究这种行为的突破点。

使用 PCA 恢复许多模式带来了额外的挑战。虽然通过简单地计算 P 前导特征向量很容易恢复矩阵 J 或 S 的前导秩 P 子空间，但不清楚如何从这些特征向量中恢复确切的模式，由于 W 的旋转对称性，这些特征向量可以是输入模式的任何旋转。这可以从以下事实中看出：模式 X* 可以乘以任何旋转矩阵 O，而无需改变所得权重矩阵 J，参见方程 （2）。因此，从主成分中恢复确切刺激的最佳方法不是先验的（见[63]）。其他问题需要将PCA与其他方法相结合，例如k均值或梯度下降。由于我们已经看到 AMP 在二进制模式上优于 PCA，并且我们将看到这种差距只会在我们将在下面研究的其他类型的模式中增加，因此我们不会进一步研究这个方向。

第一个总结。

在我们转向更复杂的模式先验分布之前，让我们简要总结一下到目前为止的结果。我们推导出了一种算法，该算法可以从循环网络的连通性中重建模式，其权重是从学习规则方程（3）中获得的。该算法在此重构中是否成功取决于噪声水平 ν 和阈值 τ。这些参数可以组合成有效的噪声参数Δ（9），它决定了消息传递算法的性能。该算法在重建任务中表现良好，并且通过以原则性的方式包含有关模式分布的先验信息，击败了 PCA 等非参数方法。

稀疏模式

整流的 Hopfield 模型的一个有趣的变体是它的稀疏版本，其中只有分数 0 ≤ ρ ≤ 1 的分量 xij模式 x我为非零。然后，先验分布变为

(23)

其中δ（?）是克罗内克三角洲。此先验的平均值为 〈x〉 = 0p，其中 0p是 p 零和协方差 〈xx 的向量?〉 = ρIp.我们再次强调，这些模式代表神经元活动与其平均值的偏差 - 在这种情况下±1表示活动增加/减少，而0表示给定模式中活动没有变化。状态演化将在序参数与 M = ρI 之间进行插值，该参数对于从先验分布中提取且与基本事实完全不相关的估计量全为零P进行完美重建。我们将数学细节委托给方法部分，并在此处关注算法的性能。

消息传递的性能。

我们首先注意到，在稀疏重建问题中，AMP无法比随机猜测更好地恢复存储模式的临界噪声水平是Δc = ρ2.从这个意义上说，临界噪声是 AMP 算法的一个属性，其值可以通过围绕其平凡的不动点 m 绘制状态演化方程 （36） 来再次获得t= 0。但是，通常认为没有其他算法能够恢复高于此噪声水平的模式，这将使该阈值成为模型的属性而不是算法的属性;我们将在下一段中回到这一点。无论如何，Δ 的降低cρ 表示固定 ν、τ 和 Δ 处的重建性能随模式稀疏性而降低。然而，问题的难度也是如此。如果我们通过临界噪声归一化噪声水平，即如果我们绘制重建误差作为 Δ/Δ 的函数c正如我们在图 2 中所做的那样，我们看到非零分量 X 的很大一部分 ρij在小噪音水平下实现更好的重建。

缩略图 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图2. 使用消息传递算法和 PCA 重建稀疏二进制模式。

我们将 AMP 算法方程 （32） 获得的每个模式的 mse 绘制为有效噪声 Δ （9） 的函数，用于随机 （15） 和通知 （16） 初始化。线条表示状态演变的结果，而叉线表示 AMP 算法在问题实例上的性能。虽然 AMP 从 ρ = 0.1 和 ρ = 0.3 的两次初始化开始执行相同的操作，但 ρ = 0.05 的性能存在差距，这可能暗示存在硬阶段（请参阅正文）。我们还绘制了通过将PCA应用于权重矩阵J和费舍尔矩阵S（31）（绿色和红色，或）获得的重建的MSE。参数：τ = 0。AMP 的 N = 2000，PCA 的 N = 20000。

https://doi.org/10.1371/journal.pcbi.1010813.g002

对于 ρ = 0.1 和 ρ = 0.3，图 2 中的性能图类似于对称 Hopfield 模型的总体结果：如果有效噪声水平低于临界噪声水平，则可以进行重建。对于稀疏性的这两个值，AMP（蓝色虚线）返回的估计值的 mse 与从通知初始化（橙色）开始时从状态演化获得的 mse 匹配。然而，状态演化预测的知情和随机初始条件的重建误差在较小的稀疏性下不一致。对于 ρ = 0.05（左），存在一系列有效噪声水平 Δ，其中 AMP 的性能与从知情初始条件开始的状态演变预测的性能不匹配。我们注意到，这可能是所谓的硬阶段的特征，在这个阶段中，模式的重建在信息理论上是可能的 - 即在连接中存在存储模式的一些痕迹 - 但AMP无法提取它。但是，需要强调的是，AMP 在连接中的信息量方面表现不佳，但在任何其他已知算法的性能方面则不尽如人意。换句话说，虽然AMP不会利用连接中的所有信息，但在理论计算机科学中人们普遍认为，如果这确实是重建问题的困难阶段，则没有算法可以在多项式时间内重建具有这种噪声水平的非平凡误差的模式。例如，PCA也无法在此噪声水平下重建模式的任何痕迹（见下文）。我们将感兴趣的读者推荐给参考文献。[58，64]对于最近关于该主题的评论，还有许多其他问题的例子表现出如此困难的阶段或计算到统计的差距，正如文献中有时所说的那样。

PCA的性能。

图2还显示了应用于权重（绿色）或费舍尔矩阵（红色）的PCA的重建误差。请注意，虽然 AMP 的误差按 ρ 重新缩放，但我们绘制 PCA 的重建而不重新缩放（这就是为什么我们在所有三个图中都有第二个 y 轴的原因）。换句话说，在图20最左边的图中，AMP的重建误差乘以2，仍然低于PCA的重建误差。我们以这种方式重新调整 AMP 误差，以确保不同稀疏性值的误差具有可比性，因为 AMP 在所有情况下都会返回稀疏估计值。另一方面，PCA 对模式的稀疏性是不可知的，并且无论 ρ 的值如何，都会返回密集重建。因此，高噪声下的PCA误差为1 + ρ。同样，我们看到AMP在重建误差方面优于PCA，最大的差异来自最低的稀疏性。这是意料之中的，因为 AMP 算法可以考虑有关先验的信息。

重建低编码级别的模式

作为第三个也是最后一个示例，我们考虑低编码水平的模式的重建。为此，我们将从先验分布中绘制模式

(24)

这与Tsodyks和Feigel'man首先提出的模型[21，65]有关，该模型考虑了二进制（0，1）活动模式（其中0表示不活动，1表示活动）的存储，具有“编码级别”ρ（神经元在给定模式中活跃的概率）。研究稀疏ρ?1极限的动机是，涉及记忆的大脑结构中的活动通常是稀疏的 - 例如，从啮齿动物到人类的动物估计ρ约为0.01[66，67]。与前面的情况一样，模式对应于活动与其平均值的偏差，即 （1 ? ρ， ? ρ） 而不是 （1，0）。该模型具有均值零和一个协方差矩阵 ρ（1 ? ρ）IP.我们仍然使用对应于整流 Hopfield 模型 （3） 的连通性结构的通道，因此当 Fisher 分数矩阵 S 保持不变时，我们有一个新的阈值函数，因此我们有一个新的状态演化，我们在 Methods. 中推导出来。

在这里，我们绘制了算法的性能以及迭代状态演化方程（方法）的结果，用于图 3 中编码级别 ρ 的两个不同值。请注意，我们再次将 AMP 的重建误差重新标定为 （1 ? ρ）ρ，以确保编码级别 ρ 不同值的结果的可比性。另一方面，图3中PCA（绿色和红色）的误差曲线没有重新调整。我们再次注意到，AMP在重建误差方面优于PCA，对于随机猜测，在PCA的情况下趋于1 + ρ（1 ? ρ）。

缩略图 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图3. 按照 Tsodyks 先验重建低编码水平模式时各种算法的性能。

（上）与图 1 和图 2 相同的图，用于从 Tsodyks 的先验 （24） 绘制的单个存储模式。对于 ρ < 0.211，随机初始化算法 （15） 的性能与知情初始化 （16） 的性能不同，后者可能是硬阶段的特征。参数：τ = 0，AMP 的 N = 5000，PCA 的 N = 20000。

https://doi.org/10.1371/journal.pcbi.1010813.g003

恢复低编码水平图案的硬度。

在这个模型中，我们也有一个均匀的不动点，其中 mt= 0。围绕此固定点展开可生成更新方程

(25)

因此，我们发现在该模型中，均匀或无信息不动点变得不稳定的噪声临界值为Δ<Δc = (ρ ? 1）2ρ2.

最近，在 [52] 中推导出了一个闭式充分准则，用于在具有零均值的先验模型中存在硬相;也就是说，如果先验在统计意义上是“偏斜的”，则存在硬阶段，使得

(26)

其中平均值取于该模型的先验分布，方程 （23）。对于先验（24），该准则预测存在一阶相变，因此存在硬相，我们假设w.l.o.g.ρ<1/2。请注意，这是一个充分条件，而不是必要条件;实际上，对于稀疏霍普菲尔德先验，它在零附近对称并且具有〈x3〉 = 0，我们不能用方程（26）计算ρ的临界值。

重建更多模式：我们能走多远？

对于我们推导出的算法来说，一个自然的问题是我们可以可靠地重建多少模式。在实践中，使用 AMP 重建模式的瓶颈是在算法的每一步计算列向量 x 的后验密度的高斯近似的分区函数（请参阅方法部分中 AMP 算法的详细说明）：

(27)

即使对于简单的霍普菲尔德先验 （13），评估此分布的均值和方差也需要求和 2P项，因此计算成本在存储的模式数量上呈指数级增长。我们可以通过计算函数 W（x;A，b）使用平均场近似[68]，最初在[69]中提出。

均值场近似值。

因此，我们通过因式分布近似后验分布，将完整的协方差矩阵 A 替换为仅包含 j = 1， ...， x 的 P 元素的方差的向量 a，

(28)

我们使用波浪号来表示平均场数量。我们已经为到目前为止讨论的模型实现了均场近似，并且我们展示了 AMP 的性能，对于图 4 中迄今为止讨论的三个模型，我们用状态演化预测重建单个存储模式 P = 1 而不进行平均场近似。对于这里研究的所有三个模型，出现的情况都是相似的：具有平均场近似的算法能够重建存储的模式，就像它正在查看单个模式的重建到一定的噪声水平一样，超过该水平，性能会迅速下降。直观地说，存储模式之间的串扰为重建引入了额外的噪声源，这导致无法在低于P = 1的情况下以更低的Δ重建存储的模式。

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图4. MSE从平均场先验近似重建。

我们绘制了 AMP 算法（无阻尼）获得的最终 mse，使用均值场近似来计算阈值函数。实线是通过迭代标量变量方程 （14） 的状态演变来预测的 mse。我们选择 N = 5000 并设置 τ = 0。

https://doi.org/10.1371/journal.pcbi.1010813.g004

缩放存储模式的关键数量。

在本文中，我们依赖于矩阵 J 近似低秩的假设，从某种意义上说，它的特征值可以分离成大量的特征值，而 a 只有与存储的模式对应的特征值才能分离。我们刚刚介绍的平均场近似使得现在即使在具有大量模式的情况下也可以运行重建算法。这就提出了一个重要的实际问题：基于低秩近似的算法分解了多少个模式？

我们在所有三个模型中按数字方式研究这个问题，如下所示。我们在所有实验中将噪声水平Δ固定在临界噪声水平的20%，超过该水平在信息理论上不可能弱重建存储的模式。然后，我们进行了 1000 次重建实验，每个 P 值的 N = 5;每次运行的最终MSE在图25的左侧用一个点显示。当 P = 29 时，所有 36 次运行给出的 mse 远低于阈值;事实上，每个模式MSE/P的重建误差就像我们在网络中只存储了一个模式（蓝线）一样低。当我们增加模式 P 的数量时，算法第一次无法恢复所有模式是 P = 20 个模式。对于 P = 34 个模式，该算法没有重建模式，一次错误比偶然性更好。鉴于误差低的成功运行和误差本质上是随机猜测的不成功运行之间的明确区别，我们为重建 MSE 设置了阈值，低于该阈值，我们认为算法成功通过随机猜测获得的平凡 MSE 的 50%（橙线）。在 P = <> 时，该算法在超过 <>% 的情况下无法实现低于阈值的 mse。我们定义存储模式的关键数量P暴击作为在至少 50% 的运行中，MSE 低于阈值时可以重建的最大模式数，因此 P暴击在这种情况下 = 33。在右侧，我们显示了 P 的值暴击对于所有三个模型（二进制、稀疏和偏斜）作为 N 的函数。在每种情况下，我们发现P暴击～ Nγ，稀疏模式的指数γ介于 γ ≈ 0.5 γ之间，而 Tsodyk 先验模式的指数≈ 0.7 之间。指数的确切值将取决于阈值的选择，尤其是噪声水平。虽然成功和不成功运行之间的分离允许各种误差阈值而不改变结果，但指数对噪声水平更敏感，因为噪声水平越高，重建误差的波动越接近临界噪声（参见图4）。

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图5. 缩放可通过平均字段消息传递可靠地重建的关键数量的模式。

（左）对于二进制模式，我们将平均场消息传递算法的 20 个实例的最终重建误差绘制为存储的刺激数 P 的函数。我们将可以重建的模式的关键数量定义为最大 P，其中超过一半的运行产生的 MSE 优于阈值（此处为平凡 MSE 的 0%，即 2.1000）。参数： N = 0， Δ = 2.<>ΔC， τ = 0。（右）我们绘制了最高数量的模式P.max在至少 20% 的情况下，可以用低于微不足道误差 50% 的误差来重建。对于所考虑的所有三个模型，我们显示了实验结果（交叉）和幂律拟合的指数P.max～ Nγ.在所有情况下，τ = 0，噪声电平 Δ 是临界噪声水平 Δ 的 20%c重建变得不可能的地方。ρ = 0.3 对于稀疏的霍普菲尔德和索迪克先验。

https://doi.org/10.1371/journal.pcbi.1010813.g005

讨论

我们已经推导出了可以仅从连接知识中重建存储在递归霍普菲尔德型网络中的模式的条件，在这种情况下，这些权重是通过学习规则获得的，该学习规则是经典Hebbian规则的噪声，非线性版本。我们已经实现并提供了实用的算法来做到这一点：基于消息传递的贝叶斯方法，以及经典的非参数方法，例如权重和费舍尔分数矩阵上的PCA。消息传递算法提供了一种原则性的方法，可以使用有关输入先验信息的先验信息来重建模式，而频谱方法稳健且易于实现，但未能考虑这些额外信息。

算法的性能可以通过有效噪声水平来捕获，该噪声水平同时考虑了突触噪声和学习规则的阈值。我们发现消息传递算法在噪声水平上击败了PCA重建，这是由于消息传递算法可以结合有关模式分布的先验知识的原则性方式。

虽然我们的理论结果是在存储的模式数量为1阶的极限下获得的，而网络中的神经元数量趋于无穷大，但我们还探索了一种均场近似，使我们能够研究可以用一些可靠性重建的最大模式数量如何与模式维度成比例。我们现在讨论可以扩展我们工作的一些方向。

未知生成模型的案例

我们假设问题的超参数，例如存储的刺激数P或刺激的生成模型pX(x），在重建前已知。但是，可以将消息传递算法及其分析扩展到未知超参数的情况。在我们的框架内，学习这些超参数值的自然方法与众所周知的期望最大化算法密切相关[70]。Krzakala等人[71]报告了对期望最大化的详细研究，以获得消息传递算法的各种超参数，用于“压缩传感”的统计估计问题，其中旨在从小于未知数的测量中重建信号。Montanari等人[72]最近提出了另一种处理未知噪声分布的方法，用于矩阵去噪的相关问题，其中当W是具有独立且相同分布条目的噪声矩阵时，人们的目标是从观察值Y = X + W重建未知的低秩矩阵。Montanari等人[72]提出了一种迭代方法来估计观测结果Y的噪声分布。未来工作的一个有趣方向是探索在连接矩阵中重建存储模式问题的两种策略。

从理论分析的角度来看，假设算法中的“错误”排名，即想要推断的模式数量与存储的模式数量之间存在不匹配，这使得分析更加复杂。可以修改消息传递算法以考虑这种不匹配。虽然最近已经迈出了理论分析和改进消息传递发展的第一步[73-75]，但我们把神经科学背景下对这个方向的探索留给了未来的工作。

最后，连通性矩阵中也可能没有（可识别的）信号，因为噪声的相对强度太大，或者因为连通性纯粹是随机的。正如我们上面所讨论的，在这种情况下，AMP 比 PCA 显示出明显的优势：虽然 AMP 将返回接近 0 的输入，表明它没有在数据中找到任何结构，但 PCA 将始终返回前导特征向量，但在这种情况下，该特征向量完全没有信息。

重建大量模式

我们工作的另一个重要扩展是从连通性J重建大量模式，即该制度是否可访问。这本质上是将具有广泛秩的大型矩阵分解的问题，也称为字典学习 [76-78]。虽然我们注意到最近有希望的进展迹象[79，80]，但这仍然是一个难题，其影响将远远超出此处讨论的应用。

从动态重建模式

通过使用此扭曲模式初始化网络并运行网络动态 （1） 直到收敛，可以检索给定失真或噪声版本的模式。重建模式的另一种算法是从不同的初始条件运行网络动态，直到收敛，并将生成的固定点作为存储在连通性中的模式的估计值。但是，仅当初始条件与网络中存储的模式之一相关时，此过程才会生成存储的模式。因此，在这种情况下谈论“模式完成”更合适[49]。在这里，我们考虑了一个更具挑战性的问题，即无法获得对模式的这种部分观察，如果唯一可用的信息是连通性矩阵，就会出现这种情况。

仍然公平地想知道这个算法在从随机初始条件开始时能做得有多好。在经典的Hopfield模型中，权重由Hebb规则（2）给出，当模式的数量为35阶时，与存储的模式具有非零宏观重叠的动力学的任何初始条件都可以保证收敛到该模式。在有限网络中，人们期望随机初始条件收敛到存储的模式之一（取决于随机初始重叠）。当我们研究一个不同于Hebb规则的学习规则时，我们注意到Sompolinsky[2]的一个经典结果，该结果表明，循环网络的动力学，其连接是Hebbian权重（<>）的非线性，噪声版本，基本上不受这种变化的影响。

对于单个模式，迭代动态类似于计算对称矩阵的第一个主成分的幂法[81]，因此动态重建方法非常类似于我们在P = 1的情况下分析的PCA算法。但是，对于多个模式，不能保证所有模式都将恢复。此外，该算法的性能预计将强烈依赖于模型：在更现实的模型中，例如Tsodyks-Feigel'man模型[21，65]，所有神经元都为零的静止状态是稳定的，并且收敛到存储模式之一将需要大于某个非零临界值的初始重叠。在这种情况下，通过动态恢复模式预计不会起作用。

同样，在重建大量模式时，这种策略预计也会失败。在这种情况下，我们需要初始条件与每个模式之间的相关性，并且获得所有模式的这种相关性将需要指数级的多次试验。

连接组数据提供有关突触权重的哪些信息？

神经元回路的EM重建具有足够高的分辨率，可以测量树突棘的体积，树突棘是形成锥体细胞之间绝大多数突触连接的解剖结构（参见例如[14]）。树突棘的体积反过来又被证明与突触强度密切相关，这是通过突触前活动触发的突触后电位的幅度来衡量的[82-84]。树突棘测量中的噪声以及体积和EPSP振幅之间缺乏完美的相关性是引入噪声矩阵的两个原因（以及学习过程中的噪声ζij在我们的模型中。

迈向更现实的生物学模型

我们在这里的重点是分析最简单的模型，其中检索模式的问题在数学上是很好的，既不是微不足道的，也不是不可能实现的。我们现在讨论该模型的各种扩展，这些扩展可以在未来的工作中解决。

连通性矩阵的学习分量中的不对称性。

出于多种原因，我们在这里专注于对称连接矩阵。首先，在皮层和海马体中进行的多项体外研究表明，与随机定向鄂尔多斯-仁义网络相比，这些结构中的局部网络表现出显著的对称性，神经元对中双向连接的概率要高得多[85-88]，但啮齿动物桶状皮层除外，那里不存在这种过度代表性[89].此外，海马体CA3区域的突触可塑性已被证明在时间上是对称的[90]。因此，人们期望这种突触可塑性规则将导致在该领域具有高度对称性的连通矩阵。在皮层中，可塑性规则在时间上是不对称的，这是突触前和突触后神经元尖峰之间时间差异的函数。然而，可塑性也在很大程度上取决于突触前和突触后神经元的放电速率，如果对放电速率的依赖性主导了对尖峰时间的依赖性[91]，那么人们还期望在连接矩阵中具有强对称的Hebbian分量。最后，高度对称性也与啮齿动物[92]和灵长类动物[93-96]在多个皮质区域的持续活动观察一致。与这一观点一致，Inagaki等人[92]使用光遗传学扰动表明，在短期记忆任务期间，小鼠区域ALM的动力学表现出吸引子动力学的多种特征。当然，我们并不期望所有大脑结构中的连接矩阵都能被嘈杂的对称矩阵很好地捕获。特别是，存储时间序列[97-99]的网络需要包含一个重要的不对称学习分量。然后，我们的方法需要扩展到非对称矩阵。从实践角度来看，所提方法的应用只有在重建的连通矩阵表现出显著的对称性时才有意义。

抑制。

在这里，我们假设抑制不参与学习，只是为兴奋性神经元提供均匀的抑制，相当于为活跃神经元设置阈值。这种传统观点与观察到特定类型的抑制神经元（PV阳性中间神经元）与锥体细胞之间存在高连接概率是一致的[100]。这也与海马体的观察结果一致，即抑制仅受空间位置的微弱调节[32]（然而见[101]）。然而，也有研究表明，涉及抑制性中间神经元的突触连接也表现出可塑性[102]，并且有人认为这种连接的可塑性可以大大扩展存储容量[34]。我们的方法可以扩展到添加抑制性神经元，但有一些警告：估计这种突触的强度可能更具挑战性，因为涉及中间神经元的突触直接在树突轴上形成，而不是在棘上形成;此外，连接矩阵必然是不对称的。

以不同强度存储的记忆。

在我们的模型中，与大多数联想记忆模型一样，记忆以相同的强度存储。该模型的直接扩展将是一个记忆具有不同嵌入强度的模型。这类模型包括“palimpsest”模型，其中最近存储的模式逐渐抹去逐渐被遗忘的旧模式[103-106]。请注意，在这类模型中，我们的方法可能只推断出嵌入最强烈的模式，而正在被遗忘的记忆不太可能被推断出来。从消息传递算法的角度来看，必须通过模型的学习规则 Eq （3） 以及先验过度嵌入优势来建模逐渐擦除。

突触权重的分布。

我们的模型导致非负突触权重的截断高斯分布。实验记录的EPSP振幅[86]和脊柱体积[107]的分布已使用对数正态分布拟合。我们的方法可以很容易地推广到具有任意分布的非负权重的网络，方法是在方程（3）中使用合适的非线性Φ[34]。

二进制赫比矩阵。

一些作者提出，突触以数字方式而不是模拟方式存储信息[35，108，109]。 在这种情况下，突触只有几个稳定状态，可塑性事件对应于这些状态之间的过渡。然后，得到的模型将与随机块模型（SBM）[110]相似，其中代表特定存储内存的神经元组对应于SBM中的社区。一个重要的区别是，在随机模式的情况下，这些组之间会有重叠[111]。人们可以使用与这里提出的类似的方法来处理这种情况，因为随机块模型中的恢复社区可以重新表述为低秩矩阵分解问题，因此适用于我们在这里使用的相同分析技术，请参阅参考文献。[52，64，112]作为这种丰富文献的例子。

模式的分布。

我们假设存储的内存是随机的 i.i.d. 二进制向量。神经元对外部输入的反应很少遵循双峰分布，有时可以用单峰对数正态分布来更好地描述[113]。然而，与突触可塑性规则相关的非线性可能会将存储的记忆二值化[24]，这将导致一个与本文研究的模型非常相似的模型。

验证

一个重要的问题是如何验证这种分析的结果。一种可能性是模拟网络的动态，其连通性矩阵设置为重建矩阵，使用推断模式作为初始条件，以检查动态是否收敛到接近推断模式的定点吸引子。

方法

推理问题和统计物理之间的形式类比

令人惊讶的是，统计物理学可以帮助解决和分析像这里讨论的推理问题。如果我们引入交互作用 g（?） ≡ ln P ，两者之间的联系变得更加透明外（?） 将后部重写为

(29)

该分布描述了估计值 X 的后验密度。然而，它也可以解释为吉布斯或玻尔兹曼分布，它描述了复杂、无序系统（如玻璃）的性质。这个类比可以通过利用无序系统的统计物理学工具来利用，来解决从连通性J推断模式的困难推理问题。我们在这项工作中讨论的AMP算法和AMP算法背后的关键思想首先出现在Thouless，Anderson和Palmer的一篇论文中[114]，该论文涉及由平衡分布类型描述的物理系统（29）。状态演化技术首先由Donoho，Maleki和Montanari [50]基于[55]的想法引入压缩传感问题，但它也基于统计物理学的想法，通常被称为空腔方法[56]。有关统计物理和推理问题之间联系的更详细信息，请参见[49，58，115]。

低秩矩阵重建的近似消息传递

我们现在能够陈述用于对称低秩矩阵分解的AMP算法，该算法以这种形式由Lesieur [52]派生，建立在先前的工作的基础上，为该问题类的特定实例推导出AMP类型算法[44，53，54]。我们向感兴趣的读者推荐这些论文，以了解这类算法的推导及其与信念传播和谱方法的关系的详细信息。

为了描述算法，我们首先将 Fisher 分数矩阵定义为为推理给出的数据矩阵 J 的变换：

(30)

对于对应于整流霍普菲尔德模型 （3） 的通道，我们发现

(31)

Low-RAMP 是一种迭代算法：在每一步 t 中，它计算出一个新的均值和方差估计值，如下所示

（32一）

（32b）

其中阈值函数在方程（11）中定义，为方便起见，此处重复：

(33)

存在一组参数，并且对于每个边际，这些参数又更新为

（34一）

（34b）

要运行算法，我们执行以下步骤：

给定矩阵 J，使用 Eq （31） 计算费舍尔分数矩阵 S。

对于所有 i = 1， ...， N，初始化参数 b我和 A我这样所有条目都为零。用先验分布 p 的随机抽取来初始化所有估计器X(x） 并在第一步设置为全零。（无需初始化σ我).

首先计算方程 （34b） 和 （34a） 及其之后的更新，然后使用方程 （32a） 和 （32b） 计算新均值及其方差。

重复步骤 3，直到所有 和 之间的平方差小于某个预定义的阈值ε。

我们还在 Python 包中提供了此算法的实现，该包是为本文编写的所有程序的基础。

用于重建稀疏模式的状态演化

我们在正文中讨论过稀疏先验 （23） 的平均值 〈x〉 = 0p和协方差〈xx?〉 = ρIp.状态演化将在初始化时全为零的顺序参数和 M = ρI 之间进行插值P进行完美重建。因此，我们有动力使用 ansatz Mt = mt我P.然后，阈值函数变为

(35)

将此形式代入 SE 更新方程 （12） 可生成参数 m 的闭合更新方程t,

(36)

其中 z 又是一个标量高斯随机变量，均值和单位方差为零，如方程 （14） 所示。我们可以从方程（36）恢复对称整流霍普菲尔德模型的状态演化，在极限ρ→1。

用于重建低编码级别模式的状态演化

对于 Tsodyk 的先验函数 （24），我们有一个新的阈值函数 （11），其读数为

(37)

先验分布（24）允许我们使用与上面相同的ansatz进行磁化，以分析稀疏模式。设置 Mt = mt我P，我们得到标量阶参数 m 的以下更新公式t> 0：

(38)

确认

SG、FK和LZ感谢杜克大学数学系在长期访问期间的盛情款待。

引用

1.怀特 JG， 索斯盖特 E， 汤姆森 JN， 布伦纳 S.线虫秀丽隐杆线虫神经系统的结构。皇家学会哲学学报B：生物科学。1986;314(1165):1–340.密码：22462104

查看文章PubMed/NCBI谷歌学术搜索

2.Ohyama T， Schneider-Mizell CM， Fetter RD， Aleman JV， Franconville R， Rivera-Alba M， et al.多级多模态回路增强了果蝇的动作选择。自然界。2015;520(7549):633–639.密码：25896325

查看文章PubMed/NCBI谷歌学术搜索

3.Eichler K， Li F， Litwin-Kumar A， Park Y， Andrade I， Schneider-Mizell CM， et al.昆虫大脑中学习和记忆中心的完整连接组。自然界。2017;548(7666):175–182.密码：28796202

查看文章PubMed/NCBI谷歌学术搜索

4.徐CS， Januszewski M， Lu Z， Takemura Sy， Hayworth KJ， Huang G， et al.成虫果蝇中脑的连接组。生物Rxiv。2020;.密码：32880371

查看文章PubMed/NCBI谷歌学术搜索

5.谢弗 LK， 徐 CS， Januszewski M， Lu Z， 竹村 Sy， Hayworth KJ， et al.成虫果蝇中脑的连接组和分析。生物Rxiv。2020;.密码：32880371

查看文章PubMed/NCBI谷歌学术搜索

6.万纳AA，弗里德里希RW。通过嗅球的接线图对气味表示进行白化。纳特神经科学。2020;23(3):433–442.密码：31959937

查看文章PubMed/NCBI谷歌学术搜索

7.Briggman KL，Helmstaedter M，Denk W.视网膜方向选择性电路中的布线特异性。自然界。2011;471(7337):183–188.pmid：21390125

查看文章PubMed/NCBI谷歌学术搜索

8.Helmstaedter M，Briggman KL，Turaga SC，Jain V，Seung HS，Denk W.小鼠视网膜内丛状层的连接组重建。自然界。2013;500(7461):168–174.pmid：23925239

查看文章PubMed/NCBI谷歌学术搜索

9.Kim JS， Greene MJ， Zlateski A， Lee K， Richardson M， Turaga SC， et al.时空布线特异性支持视网膜中的方向选择性。自然界。2014;509(7500):331–336.pmid：24805243

查看文章PubMed/NCBI谷歌学术搜索

10.米申科 Y， 胡 T， 斯派克 J， 门登霍尔 J， 哈里斯 KM， 奇克洛夫斯基 DB.从连接组学角度对海马神经枕进行超微结构分析。神经元。2010;67(6):1009–1020.pmid：20869597

查看文章PubMed/NCBI谷歌学术搜索

11.Kasthuri N， Hayworth KJ， Berger DR， Schalek RL， Conchello JA， Knowles-Barley S， et al.新皮层体积的饱和重建。细胞。2015;162(3):648–661.密码：26232230

查看文章PubMed/NCBI谷歌学术搜索

12.Lee WCA， Bonin V， Reed M， Graham BJ， Hood G， Glattfelder K， et al.视觉皮层中兴奋网络的解剖学和功能。自然界。2016;532(7599):370–374.密码：27018655

查看文章PubMed/NCBI谷歌学术搜索

13.Motta A， Berning M， Boergens KM， Staffler B， Beining M， Loomba S， et al.躯体感觉皮层第 4 层的密集连接组重建。科学。2019;P. eaay3134.密码：31649140

查看文章PubMed/NCBI谷歌学术搜索

14.Dorkenwald S， Turner NL， Macrina T， Lee K， Lu R， Wu J， et al.皮质锥体神经元之间突触的二元和模拟变异。生物Rxiv。2019;.

查看文章谷歌学术搜索

15.Macrina T， Lee K， Lu R， Turner NL， Wu J， Popovych S， et al.千万亿次级神经回路重建：自动化方法。生物Rxiv。2021.

查看文章谷歌学术搜索

16.财团M，亚历山大·裴J，巴蒂斯特M，博多尔AL，布里坦D，布坎南J等。跨越小鼠视觉皮层多个区域的功能性连接组学。生物Rxiv。2021.

查看文章谷歌学术搜索

17.Motta A，Schurr M，Staffler B，Helmstaedter M.纳米级连接组学中的大数据，以及对训练标签的贪婪。神经生物学的当前观点。2019;55:180–187.密码：31055238

查看文章PubMed/NCBI谷歌学术搜索

18.Litwin-Kumar A，Turaga SC.使用电子显微镜接线图约束计算模型。神经生物学的当前观点。2019;58:94–100.密码：31470252

查看文章PubMed/NCBI谷歌学术搜索

19.布鲁内尔·皮质连接是否针对存储信息进行了优化？自然神经科学。2016;19(5):749–755.密码：27065365

查看文章PubMed/NCBI谷歌学术搜索

20.具有紧急集体计算能力的神经网络和物理系统。美国国家科学院院刊， 1982;79（8）：2554–2558.pmid：6953413

查看文章PubMed/NCBI谷歌学术搜索

21.措迪克斯MV，费格尔曼MV。低活动水平神经网络中的增强存储容量。欧洲物理学报 1988;6（2）：101–105.

查看文章谷歌学术搜索

22.阿米特DJ。Hebbian范式重新整合：局部混响作为内部表示。行为与脑科学。1995;18(4):617–626.

查看文章谷歌学术搜索

23.Amit DJ，布鲁内尔N.大脑皮层延迟期间的全球自发活动和局部结构化活动的模型。大脑皮层（纽约，纽约：1991年）。1997;7(3):237–252.pmid：9143444

查看文章PubMed/NCBI谷歌学术搜索

24.Pereira U，Brunel N. 网络中的吸引子动力学，从体内数据推断出学习规则。神经元。2018;99(1):227–238.密码：29909997

查看文章PubMed/NCBI谷歌学术搜索

25.Dayan P， Abbott L. 理论神经科学.麻省理工学院出版社，剑桥;2001.

26.Mastrogiuseppe F，Ostojic S.在低秩递归神经网络中链接连接，动力学和计算。神经元。2018;99(3):609–623.密码：30057201

查看文章PubMed/NCBI谷歌学术搜索

27.舒斯勒 F， 马斯特罗朱塞佩 F， 杜布勒伊 A， 奥斯托伊奇 S， 巴拉克 O.RNN学习过程中随机性和结构之间的相互作用。 神经信息处理系统的进展。2020;33:13352–13362.

查看文章谷歌学术搜索

28.苏西洛D，雅培LF。从混沌神经网络生成连贯的活动模式。神经元。2009;63(4):544–557.pmid：19709635

查看文章PubMed/NCBI谷歌学术搜索

29.Logiaco L，Abbott L，Escola S.在柔性运动测序模型中对皮质动力学的丘脑控制。细胞报告。2021;35(9):109090.pmid：34077721

查看文章PubMed/NCBI谷歌学术搜索

30.赫布做。行为的组织：一种神经心理学方法。约翰·威利父子;1949.

31.Amit DJ， Gutfreund H， Sompolinsky H. 神经网络接近饱和的统计力学。物理学年鉴。1987;173(1):30–67.

查看文章谷歌学术搜索

32.格里恩伯格 C， 米尔斯坦 AD， 比特纳 KC， 罗姆尼 S， 玛吉 JC.抑制异质调谐激发增强了CA1位细胞的空间编码。纳特神经科学。2017;20:417–426.密码：28114296

查看文章PubMed/NCBI谷歌学术搜索

33.Lim S， McKee JL， Woloszyn L， Amit Y， Freedman DJ， Sheinberg DL， et al.从皮质神经元放电率的分布推断学习规则。自然神经科学。2015;18(12):1804.密码：26523643

查看文章PubMed/NCBI谷歌学术搜索

34.Mongillo G， Rumpel S， Loewenstein Y. 抑制连通性定义了兴奋性可塑性的领域。自然神经科学。2018;21(10):1463–1470.密码：30224809

查看文章PubMed/NCBI谷歌学术搜索

35.Sompolinsky H. 具有非线性突触和静态噪声的神经网络。物理评论 A. 1986;34（3）：2571.

查看文章谷歌学术搜索

36.费拉尔·大型维格纳矩阵的秩一变形的最大特征值。数学物理通讯。2007;272(1):185–228.

查看文章谷歌学术搜索

37.波特斯M，布肖太平绅士。随机矩阵理论的第一门课程：面向物理学家、工程师和数据科学家。剑桥大学出版社;2020.

38.贝奈奇-乔治·大型随机矩阵的有限低秩扰动的特征值和特征向量。数学进展。2011;227(1):494–521.

查看文章谷歌学术搜索

39.Amit DJ， Gutfreund H， Sompolinsky H. 在神经网络的自旋玻璃模型中存储无限数量的模式。物理学修订版 1985;55（14）：1530–1533.密码：10031847

查看文章PubMed/NCBI谷歌学术搜索

40.Amit DJ， Gutfreund H， Sompolinsky H. 神经网络的旋转玻璃模型.物理学修订版 A. 1985;32（2）：1007–1018.

查看文章谷歌学术搜索

41.Nishimori H. 自旋玻璃和信息处理的统计物理。牛津：牛津大学出版社第1版;2001.

42.鲁棒主成分分析：通过凸优化精确恢复损坏的低秩矩阵。在：Bengio Y，Schuurmans D，Lafferty JD，Williams CKI，Culotta A，编辑。神经信息处理系统进展 22.柯伦联合公司;2009.第2080–2088页。

43.Zou H， Hastie T， Tibshirani R. 稀疏主成分分析.计算与图形统计杂志。2006;15(2):265–286.

查看文章谷歌学术搜索

44.Deshpande Y， Montanari A. 信息理论上最优稀疏PCA.在： 2014 IEEE 国际交响理论.IEEE;2014.第2197–2201页。

查看文章谷歌学术搜索

45.Lesieur T， Krzakala F， Zdeborová L. 稀疏PCA中的相变。在：IEEE信息论国际研讨会—论文集;2015.第1635–1639页。

46.Matsushita R， Tanaka T. 通过近似消息传递进行低秩矩阵重建和聚类。在：神经信息处理系统的进展;2013.第917–925页。

查看文章谷歌学术搜索

47.Fortunato S. 图中的社区检测。物理报告。2010;486(3-5):75–174.

查看文章谷歌学术搜索

48.Decelle A， Krzakala F， Moore C， Zdeborová L. 稀疏网络中模块检测中的推理和相变。物理评论信。2011;107(6):065701.密码：21902340

查看文章PubMed/NCBI谷歌学术搜索

49.麦凯 DJ。信息论、推理和学习算法。剑桥大学出版社;2003.

50.Donoho DL，Maleki A，Montanari A.用于压缩传感的消息传递算法。美国国家科学院院刊.2009;106(45):18914–18919.pmid：19858495

查看文章PubMed/NCBI谷歌学术搜索

51.Pearl J. 信仰网络中的融合、传播和构建。人工智能。1986;29(3):241–288.

查看文章谷歌学术搜索

52.Lesieur T， Krzakala F， Zdeborová L. 约束低秩矩阵估计：相变、近似消息传递和应用。统计机械理论实验2017;2017（7）：073403.

查看文章谷歌学术搜索

53.Fletcher AK， Rangan S. Raterative reconstruction of Rank-One Matrices in Noise.Inf Inference A J IMA.2012;.

查看文章谷歌学术搜索

54.Matsushita R， Tanaka T. 通过近似消息传递进行低秩矩阵重建和聚类。在：伯吉斯CJ，Bottou L，Welling M，Ghahramani Z，Weinberger KQ，编辑。神经信息处理系统的进展。第26卷。柯伦联合公司;2013.第1–8页。可用： https://proceedings.neurips.cc/paper/2013/file/5b69b9cb83065d403869739ae7f0995e-Paper.pdf.

55.博尔特豪森·谢灵顿-柯克帕特里克模型TAP方程解的迭代构造。通信数学物理 2014;325（1）：333–366.

查看文章谷歌学术搜索

56.梅扎德 M， 帕里西 G， 维拉索罗 马.SK 模型：没有副本的副本解决方案。欧洲物理学报 1986;1（2）：77–82.

查看文章谷歌学术搜索

57.梅扎德 M， 帕里西 G， 维拉索罗 马.自旋玻璃理论及其他：复制方法及其应用简介。第9卷。世界科学出版公司;1987.

58.Zdeborová L，Krzakala F.推理的统计物理学：阈值和算法。高级物理学 2016;65（5）：453–552.

查看文章谷歌学术搜索

59.Lesieur T， Krzakala F， Zdeborová L. 概率低秩矩阵估计的MMSE：关于输出通道的普遍性。在：2015年第53年。阿勒特。会议公社。控制。计算。IEEE;2015.第680–687页。

查看文章谷歌学术搜索

60.封面TM，托马斯·信息论的要素。约翰·威利父子;2006.

61.Gammaitoni L， H?nggi P， Jung P， Marchesoni F. 随机共振.现代物理学评论。1998;70(1):223.

查看文章谷歌学术搜索

62.克尔扎卡拉 F， 摩尔 C， 莫塞尔 E， 尼曼 J， 斯利 A， 兹德博罗娃 L， 等.聚类稀疏网络中的频谱兑换。美国国家科学院院刊.2013;110(52):20935–20940.密码：24277835

查看文章PubMed/NCBI谷歌学术搜索

63.布卢门菲尔德·用于分析时间结构多维测量的算法。计算神经科学前沿。2010;3:28.密码：20179787

查看文章PubMed/NCBI谷歌学术搜索

64.班代拉AS，佩里A，韦恩AS。关于计算与统计差距的说明：使用统计物理学进行预测。arXiv预印本arXiv：180311132。2018;.

65.索迪克斯MV.非对称稀释网络中的关联记忆，活动水平低。欧洲物理学报 1988;7（3）：203–208.

查看文章谷歌学术搜索

66.李JS，布里古格里奥JJ，科恩JD，罗姆尼S，李AK。空间海马代码的统计结构作为时间、上下文和值的函数。细胞。2020;183:620–635.密码：33035454

查看文章PubMed/NCBI谷歌学术搜索

67.Waydo S， Kraskov A， Quian Quiroga R， Fried I， Koch C. 人类内侧颞叶中的稀疏表示。J 神经科学。2006;26:10232–10234.密码：17021178

查看文章PubMed/NCBI谷歌学术搜索

68.Barber D. Bayesian Reasoning and Machine Learning。剑桥大学出版社;2012.

69.Manoel A， Krzakala F， Tramel EW， Zdeborova L. 流贝叶斯推理：理论极限和小批量近似消息传递。在：2017年55周年。阿勒特。会议公社。控制。计算。IEEE;2017.第1048–1055页。

查看文章谷歌学术搜索

70.登普斯特 AP， 莱尔德 NM， 鲁宾 DB.通过 EM 算法获得不完整数据的最大可能性。皇家统计学会杂志：B系列（方法学）。1977;39(1):1–22.

查看文章谷歌学术搜索

71.Krzakala F， Mézard M， Sausset F， Sun Y， Zdeborová L. 压缩传感中的概率重建：算法、相图和阈值实现矩阵。统计力学杂志：理论与实验。2012;2012（08）:P 08009.

查看文章谷歌学术搜索

72.Montanari A， Ruan F， Yan J. 适应矩阵去噪中的未知噪声分布.arXiv预印本arXiv：181002954。2018;.

73.Antenucci F， Franz S， Urbani P， Zdeborová L. 推理问题中困难阶段的玻璃性质。物理评论 X. 2019;9（1）：011020.

查看文章谷歌学术搜索

74.Antenucci F， Krzakala F， Urbani P， Zdeborová L. 用于统计推断的近似调查传播。统计力学杂志：理论与实验。2019;2019(2):023401.

查看文章谷歌学术搜索

75.Lucibello C， Saglietti L， Lu Y. 用于高维估计的广义近似调查传播。在：乔杜里K，萨拉胡迪诺夫R，编辑。第 36 届机器学习国际会议论文集。《机器学习研究论文集》第97卷。PMLR;2019.第4173–4182页。可用： https://proceedings.mlr.press/v97/lucibello19a.html.

76.马拉特SG， 张志. 与时频词典匹配的追求.IEEE Transactions on signal processing.1993;41(12):3397–3415.

查看文章谷歌学术搜索

77.Elad M， Aharon M. 通过学习词典上的稀疏和冗余表示进行图像去噪。IEEE Transactions on Image Processing.2006;15(12):3736–3745.pmid：17153947

查看文章PubMed/NCBI谷歌学术搜索

78.Mairal J，Bach F，Ponce J，Sapiro G.矩阵分解和稀疏编码的在线学习。机器学习研究杂志。2010;11(1).

查看文章谷歌学术搜索

79.Barbier J，Macris N.字典学习的统计限制：随机矩阵理论和谱复制方法。arXiv预印本arXiv：210906610。2021;.

80.Maillard A， Krzakala F， Mézard M， Zdeborová L. 广秩矩阵分解和去噪中平均场方程的扰动构造。arXiv预印本arXiv：211008775。2021;.

81.Horn RA，Johnson CR.矩阵分析。剑桥大学出版社;2013.

82.Matsuzaki M，Ellis-Davies GC，Nemoto T，Miyashita Y，Iino M，Kasai H.树突棘几何形状对于海马CA1锥体神经元中的AMPA受体表达至关重要。自然神经科学。2001;4(11):1086–1092.密码：11687814

查看文章PubMed/NCBI谷歌学术搜索

83.Noguchi J， Nagaoka A， Watanabe S， Ellis-Davies GC， Kitamura K， Kano M， et al.谷氨酸的体内双光子解笼揭示了成年小鼠新皮层中树突棘的结构-功能关系。生理学杂志。2011;589(10):2447–2457.邮编：21486811

查看文章PubMed/NCBI谷歌学术搜索

84.霍勒 S， 科斯汀格 G， 马丁 KA， 舒克内西特 GF， 斯特拉特福 KJ.新皮质突触的结构和功能。自然界。2021;591(7848):111–116.密码：33442056

查看文章PubMed/NCBI谷歌学术搜索

85.Markram H，Lubke J，Frotscher M，Roth A，Sakmann B.发育中的大鼠新皮层中厚簇状锥体神经元之间突触连接的生理学和解剖学。J 生理学（伦敦）。1997;500:409–440.pmid：9147328

查看文章PubMed/NCBI谷歌学术搜索

86.宋 S， Sjostrom PJ， Reigl M， Nelson S， Chklovskii DB.局部皮质回路中突触连接的高度非随机特征。公共科学图书馆生物学. 2005;3：e68.密码：15737062

查看文章PubMed/NCBI谷歌学术搜索

87.Wang Y， Markram H， Goodman PH， Berger TK， Ma J， Goldman-Rakic PS. 内侧前额叶皮层锥体网络中的异质性.纳特神经科学。2006;9:534–542.密码：16547512

查看文章PubMed/NCBI谷歌学术搜索

88.Guzman SJ， Schlogl A， Frotscher M， Jonas P. 海马CA3网络中模式完成的突触机制。科学。2016;353:1117–1123.密码：27609885

查看文章PubMed/NCBI谷歌学术搜索

89.勒福特 S， 汤姆 C， 弗洛伊德萨里亚 JC， 彼得森 CC.小鼠原代躯体感觉皮层中C2桶柱的兴奋性神经元网络。神经元。2009;61:301–316.密码：19186171

查看文章PubMed/NCBI谷歌学术搜索

90.Mishra RK， Kim S， Guzman SJ， Jonas P. CA3-CA3突触的对称尖峰时序依赖性可塑性优化了自动关联网络中的存储和召回。纳特公社。2016;7:11552.pmid：27174042

查看文章PubMed/NCBI谷歌学术搜索

91.Graupner M， Wallisch P， Ostojic S. 与放电速率相比，自然放电模式意味着突触可塑性对尖峰时间的敏感性较低。J 神经科学。2016;36:11238–11258.密码：27807166

查看文章PubMed/NCBI谷歌学术搜索

92.稻垣HK，Fontolan L，Romani S，Svoboda K.离散吸引子动力学是额叶皮层持续活动的基础。自然界。2019;566:212–217.pmid：30728503

查看文章PubMed/NCBI谷歌学术搜索

93.Fuster JM，Alexander G. 神经元活动与短期记忆有关。科学。1971;173:652–654.密码：4998337

查看文章PubMed/NCBI谷歌学术搜索

94.宫下Y， 张海.灵长类动物颞叶皮层中图形短期记忆的神经元相关性。自然界。1988;331:68–70.密码：3340148

查看文章PubMed/NCBI谷歌学术搜索

95.船桥S，布鲁斯CJ，戈德曼-拉基奇PS.猴背外侧前额叶皮层中视觉空间的助记符编码。J 神经生理学。1989;61:331–349.pmid：2918358

查看文章PubMed/NCBI谷歌学术搜索

96.Romo R， Brody CD， Hernández A， Lemus L. 前额叶皮层中参数化工作记忆的神经元相关性。自然界。1999;399:470–474.密码：10365959

查看文章PubMed/NCBI谷歌学术搜索

97.Kleinfeld D， Sompolinsky H. 用于生成时间模式的关联神经网络模型。理论和在中央模式生成器中的应用。生物物理学杂志 1988;54：1039–1051.密码：3233265

查看文章PubMed/NCBI谷歌学术搜索

98.菲特， 森 W， 王 CZ， 汉洛瑟 RH.棘峰时间依赖性可塑性和异突触竞争组织网络以产生长无尺度的神经活动序列。神经元。2010;65:563–576.密码：20188660

查看文章PubMed/NCBI谷歌学术搜索

99.Gillett M， Pereira U， Brunel N. 具有时间不对称Hebbian学习的网络中顺序活动的特征。美国国家科学院院刊，2020;117：29948–29958。pmid：33177232

查看文章PubMed/NCBI谷歌学术搜索

100.Fino E，Yuste R.新皮层中的密集抑制连接。神经元。2011;69:1188–1203.密码：21435562

查看文章PubMed/NCBI谷歌学术搜索

101.Rolotti SV， Ahmed MS， Szoboszlay M， Geiller T， Negrean A， Blockus H， et al.局部反馈抑制严格控制海马位置野的快速形成。神经元。2022;110:783–794.密码：34990571

查看文章PubMed/NCBI谷歌学术搜索

102.弗罗姆克RC。皮质兴奋性抑制平衡的可塑性。神经科学年鉴。2015;第195-219页。pmid：25897875

查看文章PubMed/NCBI谷歌学术搜索

103.梅扎德M，纳达尔JP，图卢兹G.工作记忆的可解模型。J 体质。1986;47:1457–.

查看文章谷歌学术搜索

104.帕里西·忘记的记忆。J Phys A： Math Gen. 1986;19：L617.

查看文章谷歌学术搜索

105.Amit DJ，Fusi S.具有材料突触的神经网络中的动态学习。神经计算。1994;6:957–982.

查看文章谷歌学术搜索

106.拉希里·复杂突触的记忆前沿。在：Burge CJC，Bottou L，Welling M，Ghahramani Z，Weinberger KQ，编辑。神经信息处理系统的进展。第26卷。柯伦联合公司;2013.第1034–1042页。

107.Loewenstein Y，Kuras A，Rumpel S.乘法动力学是体内新皮层中脊柱大小对数正态分布的出现的基础。J 神经科学。2011;31:9481–9488.密码：21715613

查看文章PubMed/NCBI谷歌学术搜索

108.Petersen CC，Malenka RC，Nicoll RA，Hopfield JJ. CA3-CA1突触的全或无增强。ProcNatlAcadSciUSA.1998;95:4732–4737.密码：9539807

查看文章PubMed/NCBI谷歌学术搜索

109.奥康纳，维滕贝格总经理，王世孝。分级双向突触可塑性由开关状酉事件组成。美国国家科学院院刊，2005;102：9679–9684。密码：15983385

查看文章PubMed/NCBI谷歌学术搜索

110.Holland PW， Laskey KB， Leinhardt S. 随机块模型：第一步。社交网络。1983;5(2):109–137.

查看文章谷歌学术搜索

111.Airoldi EM， Blei D， Fienberg S， Xing E. 混合成员随机块模型.在：Koller D，Schuurmans D，Bengio Y，Bottou L，编辑。神经信息处理系统的进展。第21卷。柯伦联合公司;2008.第1-8页。可用： https://proceedings.neurips.cc/paper/2008/file/8613985ec49eb8f757ae6439e879bb2a-Paper.pdf.

112.Decelle A， Krzakala F， Moore C， Zdeborová L. 稀疏网络中模块检测中的推理和相变。物理评论信。2011;107(6):065701.密码：21902340

查看文章PubMed/NCBI谷歌学术搜索

113.Lim S， McKee JL， Woloszyn L， Amit Y， Freedman DJ， Sheinberg DL， et al.从皮质神经元放电率的分布推断学习规则。纳特神经科学。2015;18:1804–1810.密码：26523643

查看文章PubMed/NCBI谷歌学术搜索

114.Thouless DJ，Anderson PW，Palmer RG。“旋转玻璃的可解模型”的解决方案。哲学杂志。1977;35(3):593–601.

查看文章谷歌学术搜索

115.