医学论文发表-大脑连接遇上水库计算-医学-妙笔期刊网｜论文发表

您的位置：首页 > 医学 > 医学论文发表-大脑连接遇上水库计算

《医学论文发表-大脑连接遇上水库计算》

主管单位：
主办单位：
国际刊号：
国内刊号：
期刊级别：
发行周期：
收录情况：
审稿时间：
投稿邮箱：

《医学论文发表-大脑连接遇上水库计算》期刊在线投稿系统

* 投稿刊物	医学论文发表-大脑连接遇上水库计算
* 作者姓名		(只写第一作者)
* 联系电话		（请填写正确的联系电话）
通讯地址		（请填写正确的通讯地址）
* 电子邮箱		（请提供正确的电子邮箱）
* 联系qq		（请提供常用的联系qq）
上传稿件
验证码

《医学论文发表-大脑连接遇上水库计算》期刊简介

医学论文发表-大脑连接遇上水库计算

法布里齐奥·达米切利，克劳斯·希尔格塔格，亚历山德罗斯·古拉斯

发布时间：2022 年 11 月 16 日

抽象

人工神经网络（ANN）的连接性与在生物神经网络（BNN）中观察到的连接性不同。实际大脑的布线可以帮助改进ANN的架构吗？我们能否从人工神经网络中了解哪些网络特征在解决任务时支持大脑中的计算？在连接的中观/宏观层面，ANN的架构经过精心设计，因此这些设计决策在最近的许多性能改进中至关重要。另一方面，BNN在所有尺度上都表现出复杂的紧急连接模式。在个体水平上，BNN的连通性源于大脑发育和可塑性过程，而在物种水平上，进化过程中的适应性重新配置也起着塑造连通性的主要作用。近年来，人们已经发现了大脑连接无处不在的特征，但它们在大脑执行具体计算能力中的作用仍然知之甚少。计算神经科学研究仅揭示了特定大脑连接特征对抽象动力学特性的影响，尽管真实大脑网络拓扑对机器学习或认知任务的影响几乎没有被探索过。在这里，我们提出了一项跨物种研究，该方法集成了真实的大脑连接组和Bio-Echo状态网络，我们用它来解决具体的记忆任务，使我们能够探索真实大脑连接模式对任务解决的潜在计算影响。我们发现不同物种和任务的结果是一致的，表明生物启发网络的性能与经典的回声状态网络一样，前提是允许最低水平的随机性和连接的多样性。我们还提出了一个框架bio2art，以映射和扩展可以集成到循环ANN中的真实连接体。这种方法还使我们能够展示区域间连接模式多样性的至关重要性，强调确定神经网络连通性的随机过程的重要性。

作者摘要

人工神经网络（ANN）和生物神经网络（BNN）表现出不同的连接模式。人工神经网络具有典型的精心手工制作的架构，这些架构在其性能中起着重要作用。另一方面，BNN的布线显示出由发育和神经元可塑性等过程产生的自组织涌现模式。

尽管大脑连接的普遍特性已被识别并与大脑的抽象动力学特性相关联，但真实大脑网络拓扑对具体机器学习任务的影响几乎没有被探索过。这项杂交、跨物种研究的目标是通过在具体的机器学习任务中探测真正的大脑连接组，朝着这个方向迈出一步。我们的方法集成了真实的大脑连接组和Bio-Echo状态网络，我们用它来解决具体的记忆任务。为了实现这一目标，我们还在这里提出了一个框架bio2art，以映射和扩展可以集成到递归ANN中的真实连接体。

我们发现不同物种和任务的结果是一致的，表明生物启发网络的性能与经典的回声状态网络一样，前提是允许最低水平的随机性和连接的多样性。研究结果强调了随机性在神经网络连接中的重要性，特别是关于区域间连接的异质性。

引文：达米切利 F，希尔格塔格 CC，古拉斯 A （2022）大脑连接满足储层计算。公共科学图书馆计算生物学18（11）： e1010639. https://doi.org/10.1371/journal.pcbi.1010639

编辑器：马库斯·凯撒，英国诺丁汉大学

收到：十一月 23， 2021;接受：2022年10月5日;发表：11月 16， 2022

数据可用性：所有通过ESN训练呈现的结果都是使用Python包回显获得的，公开可在此处获得：https://github.com/fabridamicelli/echoes。此外，缩放连接体的生成是使用Python包bio2art完成的，公开可在此处获得：https://github.com/AlGoulas/bio2art。

资金：FD由Deutscher Akademischer Austausch Dienst（DAAD）资助。AG由德国研究协会（DFG）（HI 1286/7-1）资助。CCH由德国研究协会（DFG）（SFB 936 / A1，Z3;TRR 169/A2;SPP 2041，HI 1286/6-1）和人脑项目（SGA2，SGA3）。资助者在研究设计、数据收集和分析、发表决定或手稿准备方面没有任何作用。

竞争利益：提交人声明不存在相互竞争的利益。

介绍

人工神经网络（ANN）的最新突破引发了人们对人工神经网络和生物神经网络（BNN）之间交叉点的新兴趣。这种兴趣遵循两个研究途径：提高ANN的性能和可解释性，以及了解真实大脑的计算方式[1]。

ANN最近的许多改进都依赖于新颖的网络架构，这些架构在任务性能中起着重要作用[2，3]。换句话说，这种连接模式允许更好地表示外部世界（即数据）和/或它们让网络更好地学习，例如，促进更快的收敛。此外，尽管ANN通常在中观/宏观级别具有固定的架构，但在较低级别的权重和层之间的连接，ANN可以作为训练的结果发展出复杂的连接模式[4]。然而，ANN采用的架构并非基于真实大脑网络拓扑的经验见解。例如，人工神经网络不遵循BNN的普遍组织原理，尽管连接体的测量密度取决于手头的实验空间分辨率，但BNN通常比人工神经网络稀疏[1，5]。鉴于生物神经网络（BNN）呈现复杂的非随机连接模式，假设这种“内置”结构可能是支持其计算能力的关键因素之一。因此，在最近的ANN研究中，对BNN拓扑的关注开始受到关注[6，7]。例如，与优化的最先进的架构相比，基于图生成模型（如Watts-Strogatz和Barabási-Albert模型）构建前馈网络已经产生了有竞争力的性能[8]。在互补的脉络中，前馈网络可能在训练过程中自发形成非随机拓扑，例如模块化结构[9]。除此之外，将进化算法与人工神经网络相结合表明，模块化拓扑可以提高性能并避免在学习新任务时忘记[10]。总之，目前的证据支持非随机拓扑可以导致所需性能ANN的观点。

然而，到目前为止，研究只关注网络拓扑模型，这些模型与实验连接组学绘制的BNN几乎没有直接对应关系（或只有抽象对应关系）。因此，迄今为止尚不清楚BNN的实际，经验识别的拓扑是否以及在多大程度上可以导致ANN的有益特性，例如更有效的训练（更少的epoch和/或样本）或更好的性能（例如，更高的测试精度）。

互补的观点来自连接组学和网络神经科学，由实验进展推动，将大脑连接映射到前所未有的细节水平[11]。在这种情况下，连接组是指一个个体大脑的所有映射连接，要么来自一个人，要么在采样的大脑中聚合，这取决于实验方法。然后利用图论工具来描述大脑连接并找到潜在的关联。例如，寻找特定图属性与认知任务性能之间的相关性[12]。沿着这些思路，真实大脑的一些典型图属性也可以具有有利的动态属性，例如支持信息分离和集成之间的平衡[13，14]。然而，这些抽象的动力属性与网络在具体任务上的表现之间的关系（如果有的话）仍然不清楚。

我们通过构建生物实例化的循环回声状态网络（ESN）来明确解决这一差距，从而成为BioESN。我们询问BioESN的拓扑是否以及在多大程度上影响其在具体内存任务上的性能。我们构建的BioESN体现了在包括人类在内的三种灵长类动物的大脑中经验发现的接线图。我们还提出了一个框架，bio2art[15]，用于映射和扩展真正的连接组，允许将它们集成到循环人工神经网络中。

这是探索生物和人工神经系统之间可能联系的必要步骤，不是通过抽象的网络模型，而是利用正在生成的大量经验数据，这些数据已经开始描绘生物神经网络复杂布线的详细图景。

结果

为了测试真实连接组拓扑结构对循环网络计算能力的潜在影响，我们设计了一种集成真实大脑连接的混合回波状态网络（ESN），从而设计了BioESN。经典的ESN有一个稀疏和随机连接的神经元内部库。储液器作为输入的内部非线性投影，生成丰富的特征，使得读出层可以更容易地线性分离模式。因此，ESN的性能与储层神经元生成的表示的丰富性有关，进而与储层神经元之间的连接模式有关。

我们在这里研究生物神经网络的非随机拓扑如何影响ESN的性能，方法是将真实的连接体集成为储层，并让BioESN解决具体任务（见图1）。这里需要注意的是，用于评估网络性能的任务并不是为了模拟真正的大脑来解决它们，而是研究底层网络属性对ESN领域中经典内存任务的潜在影响。重要的是，我们基于连接体的接线图（即谁连接到谁）构建BioESN储层，但使用经典ESN中通常使用的权重初始化（详见图2和方法）。

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图1.一般方法方案。

对于这三个物种中的每一个，我们通过整合真实的连接模式作为回声状态网络（ESN）的储层来生成生物回声状态网络（BioESN）。因此，与具有随机连接储层的经典ESN相比，BioESN具有基于来自经验连接体的连接体的连接组。我们还提出了一个将生物映射到人工网络的框架bio2art，它允许选择性地扩展经验连接组以增强模型容量。然后将生成的BioESN在认知任务上进行测试（有关任务的详细信息，请参阅方法）。

https://doi.org/10.1371/journal.pcbi.1010639.g001

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图2.Bio2art，扩大连接和替代品。

从经验连通性派生并用作BioESN中储层的网络连通性可以表示为邻接矩阵。该图显示了邻接矩阵的示例，这些矩阵表示猕猴经验大脑连接的放大版本（4x），然后作为储库集成到BioESN中。我们还构建了代理连接性，以便与保留真实连接模式的经验案例进行比较。每个代理项网络控制连接的不同方面，如图中的摘要表所示。该图描述了经验（猕猴）连通性和测试的不同派生连通性的示例。请注意节点索引，明确显示连接的升级。对测试的所有其他连接体重复此操作。请参阅使用bio2art映射和升级连接组，了解有关连接生成和代理的更多详细信息。

https://doi.org/10.1371/journal.pcbi.1010639.g002

我们在两个不同的记忆任务中测试了三种不同灵长类动物（人类，猕猴和狨猴）的连接体。

由于我们旨在测试经验连接体的连接模式是否会对BioESN的性能产生影响，因此我们生成了几种连接变体作为替代网络进行对比，其中每个代理保留（或不保留）特定的连接属性，如图2所示。

重要的是要记住，目标是测试全局接线图的效果，而不是一个/几个具体图形指标的具体贡献。条件Bio（rank）和Bio（no-rank）保留了经验二进制拓扑掩码（即谁连接到谁），从而构成了我们主要旨在测试的条件。这两个条件之间的区别在于Bio（排名）保留了权重的排名。这意味着，尽管权重来自随机分布，但网络中的链路被分配使得经验连接组中强度较高的链路也对应于BioESN中更强的权重。与此相反，这种链接的重新排列不是针对Bio（无排名）条件执行的，因此只保留了经验连接的二进制掩码，但不尊重链接的排名顺序。其他代理条件（随机（密度），随机（k），随机（完整））具有完全随机的接线图，它们的连接密度是条件变化的唯一因素。对于条件随机（密度），连接的密度与经验连接组的密度相同。对于随机（k）条件，形成储层的网络每个节点k= 10具有固定数量的链路，如经典ESN方法[16]。对于条件随机（完整），在链路方面没有限制，因此生成一个完全连接的网络，即密度等于 1（有关所有测试条件的摘要，请参阅图 2）。较大的储层本身有望比其他同等网络具有更好的性能[16]。因此，鉴于经验连接体的大小不同，结果在连接组之间没有可比性，而只是在一个连接体的连接条件下具有可比性。

内存容量任务

在这种经典范式中，网络通过唯一的输入神经元呈现随机数字序列。请注意，输入神经元位于储液器外部，这意味着储层的所有神经元都接收（加权）输入信号。每个输出神经元都经过独立训练，以学习输入的滞后版本，因此要测试的输出神经元数量与滞后神经元的数量一样多[17]。性能，即所谓的内存容量（MC），计算为所有输出的累积分数（即所有时间滞后，详见图3和方法）。

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图3.内存容量任务。

（A）（上）任务的示意图。输入信号（X）作为时间序列通过输入神经元馈送到网络中。每个输出神经元独立学习输入的滞后版本（Yτ）（下）根据数据的输入/输出结构对任务的替代表示。（二）任务的网络评估示例。显示每个测试物种（列）和连通性W条件（颜色编码）的遗忘曲线（灰线）。对于每个时滞（τ），绘制分数（平方皮尔逊相关系数，ρ2).内存容量（MC，请参阅图例）定义为所有τ值的性能总和，并表示绘制示例中的阴影区域。（三）被测三种不同物种的生物实例化回声状态网络（BioESN）的性能。对于每个模式长度，训练（4000个时间步）和测试（1000个时间步）的100个具有新实例化权重的不同网络。每个网络的测试性能由图中的点表示。

https://doi.org/10.1371/journal.pcbi.1010639.g003

我们的结果表明，除生物（等级）条件外，所有储层类型的性能相当（图3）。来自所有测试条件的网络能够学习该任务，至少对于最低难度（时间滞后τ= 5），但生物（等级）条件显示出明显更差的内存容量。这种模式对于所有测试的经验连接体（猕猴，狨猴和人类）都是一致的。

另一方面，我们没有发现所有其他测试条件下的性能差异。这表明，为了达到更好的性能，实际上需要一定程度的随机化，并且生物接线图可以实现与纯随机网络相同的性能，前提是允许足够的随机性水平，如在生物（无秩）条件下。

序列内存任务

在这个任务中，网络呈现两个输入，一个要记忆的随机数序列和一个提示输入，因此有两个输入神经元。与“内存容量”任务类似，输入神经元位于储液器外部，这意味着储层的所有神经元都接收（加权）输入信号。提示输入指示是固定（输出等于零）还是调用呈现的模式。当出现召回提示时，网络应该输出前面L步骤中的记忆序列，其中L是模式长度，这是一个调节任务难度的参数（详见方法）。该任务的一次试验包括一个固定期和一个召回期。为了避免分数膨胀，仅在召回步骤中评估性能，这比固定阶段更难执行。

与内存容量任务的结果一致，我们发现所有测试的ESN都能够学习该任务，至少在其更简单的变化（模式长度L = 5）中。同样，Bio（秩）条件是唯一具有显着不同性能的条件，显示出比其他条件更差的性能。生物（排名）网络具有不同的性能衰减曲线，只能记住比其他网络类型更短的序列（图4）。这些发现在测试的所有不同连接组中再次一致。

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图4.序列内存任务。

（A）（上）任务的一个试验的示意图。输入信号（X1）和召回信号（X2）作为时间序列通过两个输入神经元馈送到网络中。当发出召回信号时（X2= 1），输出神经元应该提供最后L步的记忆输入。（下）根据数据的输入/输出结构对任务的替代表示。（二）3 个不同难度级别的 5 项试验的实际和预测时间序列示例（模式长度，从上到下：L= 10/14/18）。右侧的散点图显示了预测输出与真实输出（如正文中所述）。示例中的BioESN是由具有Bio（无秩）变体的人类连接组构建的。（三）生物实例化回波状态网络（BioESN）对三种不同物种的不同任务难度（模式长度）的性能。将生物实例化的储层Bio（排名/无等级）与具有随机连接模式的替代物进行比较。对于每个模式长度，训练（800次试验）和测试（200次试验）具有新实例化权重的100个不同网络。曲线描述了跨网络的平均测试性能和标准偏差。

https://doi.org/10.1371/journal.pcbi.1010639.g004

bio2art：映射和放大连接体

回波状态网络的性能与储层大小密切相关，因为较大的储层可能会生成更丰富的特征库，并且具有更多可训练的参数，前提是适当的权重初始化。我们的下一个目标是研究模型的扩展行为，即性能如何随着储层规模的增加而变化。为此，我们应用了bio2art方法[15]，该方法使我们能够将真实连接体的连接映射到人工递归网络上，并通过任意比例因子放大神经元的数量，同时保留原始连接体的接线图（参见使用bio2art映射和升级连接体）。了解更多详情）。虽然由于实验方法不同，这种方法并不完全确定，但这种方法使我们更接近跨物种连接体的比较（见讨论）。同时，这使我们能够探索在不同权重映射（Bio（等级），Bio（无等级）等）中观察到的模式在多大程度上适用于更大的网络，以及它如何与由储层规模驱动的模型容量一起发挥作用。

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图5.性能随储层大小而扩展。

(A）用bio2art扩大经验连接体。缩放允许为每个区域指定一定数量的神经元（连接组中定义的大脑区域）。实质权重可以均匀地或异质地映射。均匀映射在区域间连接之间将总权重相等地划分。异构映射在区域间连接之间随机划分总权重。（B）所有研究的比例因子的单位面积神经元与总储层大小之间的关系。（C）具有放大连接组的 BioESN 在内存容量任务中的性能，适用于异构和均匀的面间连接模式（分别为上行和下行）。对于每个条件（大小、区域间连通性），训练 100 个具有新实例化权重的不同网络（4000 个时间步长）并进行测试（1000 个时间步长）。曲线描述了运行中的测试性能平均值和标准偏差。

https://doi.org/10.1371/journal.pcbi.1010639.g005

当使用bio2art升级连接体时，一个重要的参数是是否在放大区域之间产生均匀或异质的权重分布，如图5A所示。由于均匀变化，两个放大区域之间的所有连接都具有完全相同的权重。换句话说，在增加每个区域的神经元数量后，每两个区域之间的总原始权重在所有区域到区域连接之间平均分配。与此相反，异构变化允许放大区域之间的区域间连接不同。更具体地说，每两个升级区域之间的总原始权重被划分并在区域到区域连接之间随机分配。

我们评估了使用bio2art生成BioESN的各种比例因子（即每个区域的神经元），考虑了如上所述的同质和异质区域连接模式。我们发现了一种提高性能的明显模式，在观察相同大小的储层时，在所有连接体中都达到了大致相当的渐近值。有趣的是，Bio（秩）条件的持续较低性能可以通过足够大的储层来恢复。重要的是，这只是具有异构区域间连接模式的放大连接组的情况，而不是具有均匀模式的情况（见图5）。这表明，区域连通性中连接的随机性和多样性对网络的内存容量起着至关重要的作用。对于这一系列的实验，我们还在所有研究的连接体中发现了一致的结果。

讨论

我们解决了两个旨在弥合人工神经网络和生物神经网络之间差距的基本问题：实际的大脑连接能否指导设计更好的ANN架构？通过实验人工神经网络，我们能否更好地了解哪些网络功能支持大脑在特定任务中的性能？具体来说，我们研究了基于真实连接组构建的连接对人工神经网络性能的潜在影响。据我们所知，这是第一次此类跨物种研究，比较了三种灵长类动物的经验连接体的结果。

我们瞄准的差距来自人工和生物神经网络中两个未被充分探索的方面。首先，人工神经网络的连接模式（即架构）与实际的大脑连接非常不同。例如，回声状态网络使用稀疏的随机连接储层，这与大脑中经验发现的高度非随机连接不一致[5，12]。因此，尚不清楚更现实的架构将如何影响此类ANN的性能。其次，计算神经科学研究描述了结构和功能连接模式之间的关系[18，19]，并试图将大脑连接与行为差异联系起来[20，21]。然而，目前尚不清楚这些神经活动模式如何转化为大脑计算能力，即它们如何支持大脑网络在具体任务上的表现。我们开始评估特定任务上的真实全脑连接组，以确定这种接线模式的潜在作用，这与之前对馈电网络的研究类似[22]。

我们发现，只要允许一定程度的随机性，约束ESN与真实连接体的储层连通性会导致性能与经典用于ESN的随机条件一样好。

通常，我们观察到结构和功能的退化，其中不同的拓扑导致相同的性能，因此在此建模上下文中似乎不需要唯一的连接模式来支持最佳性能。

我们的结果在各个任务中相似。考虑到两个测试任务都是内存任务，这在某种程度上是合乎逻辑的，但一致性也说明了网络对不同调用机制的鲁棒性。

重要的是，我们所有的结果在三个被评估的物种中都是一致的。这支持了我们研究结果的普遍性，至少对于评估的任务而言。考虑到连接体是通过非常不同的实验方法获得的，这一观察结果尤其重要[11，23，24]。此外，我们对放大连接体的实验显示，当水库大小匹配时，不同物种的性能得分相似。然而，推断连通性的不同实验方法阻止了我们在连接体之间得出具体的比较结论，例如无论大小如何，任何测试的连接体的接线图是否本质上更适合该任务。

我们的代理网络还表明，一般来说，连接中允许的异质性和随机性越多，BioESNs获得的性能就越好。有趣的是，通过更大的储层来增强模型的计算能力，也可以观察到这种效应。使用bio2art框架，我们扩大了具有均匀或异质连接权重的异质区域分布的连接体，发现只有具有异构布线的较大储层才能克服底层连接固有的较低性能。这再次指出了随机接线图对ESN性能的重要性。在这一点上，我们并不完全清楚这种随机性的重要性，但我们可以推测大脑连接的模块化结构的作用。模块化储层可能肯定意味着其他更独立的神经元之间的相关性更高，这反过来可能会损害网络的表示能力，因为输入/s投影的潜在空间实际上具有较低的维度。我们的结果也与最近一项使用人类连接作为ESN储存库的研究一致，该研究表明，在不考虑布线成本的情况下，随机连接确实在几乎所有测试的超参数中实现了全球最大性能[25]。

值得注意的是，对我们结果的解释是基于整体表现最佳的超参数作为选择超参数星座的客观方法的标准，但未来的研究可以更进一步，探索连通性的潜在不同影响根据不同超参数星座促进的储层中的不同动力状态。随机性的功能重要性也与随机过程在大脑连接形成中起着重要作用的事实一致，无论是在微观还是中观/宏观尺度上，这都得到了实证[26]和计算建模研究的支持[27，28]。

虽然我们在这里测试了ANN在两个内存任务中的性能，但我们的方法具有通用性和可扩展性，因为它允许对自然界中发现的网络拓扑对人工系统的影响进行开放式检查。具体来说，以下贡献成立：首先，我们提供了一种创建ANNS的方法，该方法使用直接由BNN中的经验观察决定的网络拓扑。其次，从真正的连接体创建和升级BioESN本身就是一个非常不平凡的问题，在这里，我们提供了对每种策略后果的见解，尽管不是详尽无遗。第三，我们的方法允许基于来自不同生物物种（哺乳动物大脑网络）的经验数据构建具有网络拓扑的人工神经网络。

我们意识到我们研究的许多局限性以及未来工作的有趣研究途径。

我们在两个不同的记忆任务上评估了我们的BioESN模型，这些任务被框定为回归问题。尽管这些是ESN的经典任务[17]，但我们应该强调，对于其他类型的任务或设置，我们的结果可能确实有所不同。因此，例如，未来的工作可以包括分类任务以及更生态现实的任务，以便得出更普遍的结论。

此外，用于评估网络性能的任务与所研究物种的动物执行的认知任务并不一一对应。虽然我们知道，当更详细的连接数据可用时，这是一个有趣的研究途径，但我们选择了一个更简单但严格的框架，坚持接近ESN领域的经典方法，以避免进一步的假设，例如尚未映射的连通性研究物种的大脑。

成人大脑中的连接由于随机波动和活动驱动的可塑性（例如学习和记忆）而不断变化[29]。在我们的研究中，我们假设在任务期间储层内的连通性是恒定的。先前的研究表明，可塑性规则对ESNs有一些影响[30]，因此我们预计未来也会沿着这些思路进行有趣的工作。

由于我们的目标是测试连接体全球接线图的潜在影响，我们将整个连接体视为创建储层的独特网络。这与之前的一项研究不同，在之前的一项研究中，连接被划分为对应于单独训练的大脑系统的子网[25]。我们决定在这里避免这种方法所暗示的强烈假设，但我们认识到未来研究的潜力，例如，探索网络划分为不同的输入/输出子系统。同样，我们将分析限制在全球连通性模式上。未来的研究可以尝试系统地分析不同拓扑特征对性能的潜在影响，鉴于图度量彼此之间的非平凡统计依赖性，这是一个有趣但同时具有挑战性的研究途径[31]。

结论

生物和人工神经网络的连接在为网络提供基本的内置偏见方面起着至关重要的作用，这些偏见会影响它们的学习能力和表现。大脑连接源于涉及进化、个体发生和可塑性的新兴复杂现象，而人工神经网络则是故意手工制作的。我们提出的工作代表了网络神经科学和人工神经网络之间的新界面，正是在连接层面。我们贡献了一种融合真实大脑连接和人工网络的原创方法，为未来的混合研究铺平了道路，这是一条有前途的探索路径，导致人工网络的潜在更好性能和鲁棒性以及对大脑计算的理解。

材料和方法

回声状态网络（ESN）

回波状态网络（ESN）是一种循环神经网络（RNN），属于更广泛的储层计算模型家族，通常用于处理时间数据[32]。ESN模型由输入层、储层和输出层组成。输入层将输入信号馈送到具有固定权重的递归神经网络，即储层。储层的功能是通过储层的内部状态将输入信号非线性映射到更高维空间上。形式上，输入向量通过输入矩阵馈入储液器，其中Nr和Nx分别表示储库和输入神经元的数量。或者，输入可以在馈入网络之前按因子（输入缩放）进行缩放。储层中渗漏神经元的离散动力学由状态向量表示，并由以下方程控制：

(1)

(2)

其中，储层神经元之间的连接矩阵是偏置向量，f是非线性激活函数。

对于所有呈现的结果f=tanh，双曲切函数，它将r的值限定为区间 [?1， 1]。当α= 1时，没有泄漏，我们发现它表现更好，所以我们修复了所有呈现的结果。因此，方程1和2可以一起重写为：

(3)

输出读出向量获得如下：

(4)

其中g是输出激活函数，[.;.] 表示垂直向量串联，是读出权重矩阵。对于所有给出的结果，g要么是整流线性单元（ReLU）要么是恒等函数。训练模型意味着找到W 的权重外.使用线性回归求解W外 = Z Y，其中 Z 是Z= [x（t）;r（t）]，即所有时间步长的垂直串联输入和储层状态。++

我们初始化了以W 为单位的传入权重在具有介于 [?1， 1] 之间的随机均匀分布值。有关权重初始化以及储层稀疏性的进一步考虑，请参见使用bio2art 映射和升级连接体部分。

储库神经元的活动初始化为r（t） = 0。这会产生与输入无关的虚假活动的初始瞬态，因此对于学习与输出的关系毫无用处。在所有情况下，我们都放弃了 100 个时间步的初始瞬态，无论是用于训练还是测试。

所有ESN训练的结果都是使用公开可用的Python包回显获得的[33]。

ESN 超参数调优

ESN中通常影响最大的超参数是储层尺寸Nr、储层ρ光谱半径、输入比例因子ε和泄漏率α[16]。在我们的方案中，储层连通性W由实连接组确定，从而确定固定的Nr.因此，探索的超参数为：储层连通性矩阵的光谱半径ρ= {0.91， 0.93， ...， 0.99}，输入缩放ε= {10?9, 10?8, ..., 100}，泄漏速率α= {0.6， 0.8， 1} 和偏置b= {0， 1}。执行了数据的训练/验证/测试拆分。对于每个超参数星座，模型在训练集上进行训练，并根据我们选择的验证分数，为了比较不同条件，我们固定了一组常见的，不一定是最优的，但通常表现良好的超参数集：光谱半径ρ= 0.99，输入缩放ε= 10?5，泄漏率α= 1，偏置b= 1。因此，坚持整体表现最佳的超参数是一个客观标准，我们根据该标准决定修复超参数星座，以便得出结果的结论。由于输出值内存序列任务限制为大于 0，因此我们使用 ReLU 作为激活输出函数。鉴于内存容量任务的输出不存在这样的边界，我们只是使用 Identity 作为激活输出函数。

用于训练/验证的数据拆分如下：

序列召回任务：针对每个超参数/任务难度/储层生成星座进行 800 次训练试验和 200 次测试。

内存容量任务：每个超参数/任务难度/水库生成星座的训练时间为 4000 个时间步，测试时间为 1000 个（请参阅支持信息）。对于每个星座，我们使用新实例化的网络测试了 10 次独立运行。

在修复最佳超参数后，生成新实例化的网络并在任何模型尚未看到的测试集上进行评估。正文中呈现的结果是测试性能。

使用bio2art 映射和升级连接体

我们将连接体称为从单个大脑获得的所有连接的图谱[34]。我们使用了以下公开可用的数据集：猕猴[23]，狨猴[24]和人类[11]。

为了清楚起见，让我们将连接分为两个组件：拓扑和权重。拓扑是指接线图（即，谁连接到谁），而不考虑连接的强度（假设非二进制连接）。因此，如果我们根据其表示将连通性视为连通性矩阵，则拓扑在这里指的是二进制掩码，该掩码指示矩阵的哪些位置的值与零不同。权重描述了神经元之间这些连接的精确强度。这种区分不一定与文献中的常见用法完全一致，但有助于解释这里介绍的工作。由于我们的目标是评估真实大脑拓扑结构的作用，即上述接线图，我们提出了一种将真实连接体映射到ESN储库的方案，其拓扑对应于真实大脑，但权重来自[-1，1]之间的均匀分布，如经典ESN方法[32]。经典ESN储层具有来自对称概率分布（通常是均匀或高斯）的随机权重，并将它们随机放置在神经元之间，从而也从拓扑的角度生成随机图。另一种常见的做法是使用相对稀疏的网络，例如，常见的选择是连接p<0.1的成对概率或较低的固定平均度，例如k= 10）。因此，为了比较和测试拓扑对 ESN 性能的影响，我们将以下代理连接变化作为空模型（可视化比较见图 2）：

个人简介（排名）：保留经验拓扑，即接线图或“谁连接到谁”。权重的放置使得它们的秩顺序与经验相同，即经验连接组中的强权重将与生物（秩）条件下的较高正权重相对应，反之亦然。

个人简介（无排名）：保留经验拓扑，即接线图或“谁连接到谁”。权重是随机放置的，因此不会保留排名顺序。

随机（密度）：接线图是完全随机的，但只允许与经验连接组的连接密度相匹配的连接数量。密度定义为当前连接在所有可能连接中的部分。权重是随机放置的。

随机（k）：接线图是完全随机的，但每个神经元只允许固定数量的连接k。所有介绍的实验都使用k = 10。权重是随机放置的。

随机（满）：接线图是完全随机的，所有神经元都连接到所有其他神经元，即连接的密度为1。权重是随机放置的。

bio2art功能通过使用经验神经网络指示的拓扑和从经验数据推断来扩展人工神经网络来构建人工递归神经网络。

我们在这里探索了一系列网络大小缩放因子，介于 1 到 30 倍之间，步长为 1。Bio2Art还提供了控制区域内和区域之间连通性的可能性。目前没有关于每个大脑区域内神经元到神经元连接的经验综合数据。然而，现有经验数据表明，区域内连接强度约占区域间外在连接强度的80%[23]。因此，我们工作中固有的区域内连通性遵循了这一规则。应该注意的是，神经元可以在同一区域的神经元内形成的连接数由一个参数控制，该参数规定了神经元将形成的连接在可以形成的连接总数中的百分比。这里我们将这个参数设置为 1，也就是说，一个区域内神经元之间的所有连接都形成了。实现的确切细节可以在这里找到[15]，以及一个免费提供的Python工具箱来应用这里使用的工具。

任务

内存容量（MC）任务。

在这种记忆范式中，数字X（t）的随机输入序列通过输入神经元呈现给网络。网络应该独立学习输入的延迟版本，因此有几个输出[17]。每个输出Yτ通过τ时间步长预测输入X（t）的延迟版本，即 Yτ(t） =X（t?τ）。输入信号X的值是从均匀分布中随机抽取的，即X（t）～均匀（?0.5， 0.5）。这些网络用4000个时间步长进行了训练，并在随后的1000个时间步上进行了测试。每个输出都是独立训练的，性能，即所谓的内存容量（MC），计算为所有输出（即所有时间滞后）的累积分数（平方皮尔逊相关系数ρ），如下所示：

(5)

序列召回任务。

在此任务中，网络呈现两个输入，X1(t），X2(t），分别是要记忆的随机数序列和提示输入。提示输入指示是固定（输出等于零）还是调用。在召回信号之后，网络应该在召回信号之前的L步中输出记忆序列，其中模式长度L是调节任务难度的参数（见图6）。任务的一次试验包括一个固定期和随后的召回期。输入信号X 的值1(t）从均匀分布中随机抽取，即 X1(t）～均匀（0， 1）。性能用R 评估2仅在召回步骤中得分，因为固定阶段更容易使模型正确，并且会夸大性能。每个BioESN都经过800次试验的培训，并在200次试验中进行了测试。对于 {5， 6， 7， ...， 25} 中的每个模式长度 L，测试了 100 个具有新实例化权重的不同网络。

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图6.认知任务。

任务的示意图和用于评估BioESN性能的每个认知任务的输入/输出数据结构。左：内存容量（MC）任务，其中网络接收随机值流作为单个输入X，并具有多个独立输出Y（为简单起见，该示例仅显示两个。每个输出都由网络的独立输出神经元记忆，并且应该在特定的时间滞后τ调用输入。BioESN进行了4000个时间步长的训练，并在随后的1000个时间步长上进行了测试。右：序列召回任务的一次试验。网络接收输入X1，X2分别来自随机序列和召回信号通道。只有一个输出神经元，在召回信号通道之后指示它（即，X2= 1）应该重现在前面L步骤中收到的输入，即确定任务难度的模式长度参数（为简单起见，在方案中L= 2）。BioESN接受了800次试验的培训，并在200次试验中进行了测试。该分数的计算仅考虑召回阶段，以避免指标膨胀，因为固定期更容易正确执行。

https://doi.org/10.1371/journal.pcbi.1010639.g006

支持信息

内存容量任务。回显状态网络超参数网格搜索。均匀的地域间连接。猕猴连接体。

显示1/6：pcbi.1010639.s001.eps

跳到无花果共享导航

抱歉，我们无法预览此文件

1 / 6

下载

无花果分享

S1 图内存容量任务。回显状态网络超参数网格搜索。均匀的地域间连接。猕猴连接体。