免费医学论文发表-一种快速、无监督地发现高维神经尖峰模式的方法
抽象
神经编码和记忆形成取决于跨越高维神经融合的时间尖峰序列。这些尖峰序列的无监督发现和表征需要与尖峰模式进行适当的差异测量，然后可用于聚类和解码。在这里，我们提出了一种基于最优运输理论的新差异度量，称为SpikeShip，它基于神经元之间的所有相对尖峰时间关系比较多神经元尖峰模式。SpikeShip计算最佳传输成本，以使两种尖峰模式之间的所有相对尖峰计时关系（跨神经元）相同。我们表明，这种传输成本可以分解为一个时间刚性翻译项，它捕获了全局潜伏期的变化，以及神经元特异性传输流的向量，它反映了神经元间尖峰时间差异。SpikeShip可以有效地计算高维神经元集合，具有低（线性）计算成本，与尖峰计数具有相同的顺序，并且对高阶相关性敏感。此外，SpikeShip是无二进制的，可以处理任何形式的尖峰时间分布，不受发射速率波动的影响，可以检测低信噪比的模式，并且可以有效地与滑动窗口方法结合使用。我们比较了SpikeShip与其他措施（如SPIKE和Victor-Purpura距离）之间的优势和差异。我们将SpikeShip应用于自发活动和视觉编码期间的大规模神经像素记录。我们表明，通过SpikeShip检测到的高维尖峰序列能够可靠地区分不同的自然图像和不同的行为状态。这些尖峰序列携带了与传统发射速率代码的互补信息。SpikeShip通过快速和无监督地检测高维神经集合中的时间尖峰模式，为研究神经编码和记忆巩固开辟了新的途径。
作者摘要
神经元编码和记忆形成取决于跨越高维神经元集合的时间激活模式。借助像神经像素这样的新记录技术，现在可以同时测量>1000个神经元。这就提出了一个问题，即我们如何以无监督的方式检测这些高维系综中尖峰的时间序列。在这里，我们提出了一种基于最优传输理论来解决这个问题的新方法，称为SpikeShip。SpikeShip是一种在高维数据中无监督发现尖峰模式的快速方法，并提供了多神经元尖峰序列差异的原则性度量。SpikeShip可以有效地计算高维神经元集合，具有低（线性）计算成本，与尖峰计数具有相同的顺序，并且对高阶相关性敏感。我们将SpikeShip应用于高维神经数据，通过时间尖峰序列研究行为状态和视觉信息的编码。SpikeShip通过快速和无监督地检测高维神经集合中的时间尖峰模式，为研究神经编码和记忆巩固开辟了新的途径。
数字
Fig 4Fig 5Fig 6图1图2图3Fig 4Fig 5Fig 6图1图2图3
引文： 索托马约尔-戈麦斯 B、巴塔利亚 FP、文克 M （2023） SpikeShip：一种快速、无监督地发现高维神经尖峰模式的方法。公共科学图书馆计算生物学19（7）： e1011335. https://doi.org/10.1371/journal.pcbi.1011335
编辑 器： 莱尔·格雷厄姆， 巴黎笛卡尔大学，法国国家科学研究中心
收到： 2 年 2023 月 7 日;接受： 七月 2023， 31;发表： 2023月 <>， <>
版权所有： ? 2023 索托马约尔-戈麦斯等人。这是一篇根据知识共享署名许可条款分发的开放获取文章，该许可允许在任何媒体上不受限制地使用、分发和复制，前提是注明原作者和来源。
数据可用性： 所有相关数据都在手稿及其支持信息文件中。SpikeShip的源代码可以从GitHub存储库访问：https://github.com/bsotomayorg/SpikeShip。
资金： 该项目由BMBF（联邦联邦和研究部;https://www.bmbf.de/bmbf/de/home/home_node.html），计算生命科学，项目BINDA （031L0167），授予MV。资助者在研究设计、数据收集和分析、发表决定或手稿准备方面没有任何作用。
竞争利益： 提交人声明不存在相互竞争的利益。
介绍
大脑中的信息由非常高维的神经元“集合”编码，这些神经元用尖峰编码信息。神经元群可以根据感觉输入或内部变量产生特定的尖峰模式[1-8]。借助神经像素[9]等新的记录技术，可以同时记录数千个单个神经元[10-12]。这为揭示多神经元尖峰模式与感觉输入或运动输出之间的关系提供了新的机会，但也为神经元“码词”“字典”的无监督发现带来了独特的数学挑战。
信息编码的概念依赖于在 N 维空间中构造距离或相异性度量。例如，可以使用汉明距离测量二进制字符串之间的距离。在大脑中，两种多神经元尖峰模式之间的距离通常基于放电速率（尖峰/秒）的差异。例如，使用这种方法，已经表明高维神经系综以有意义的方式跨越与刺激或行为变量相关的低维流形[13，14]。然而，放电率并不能捕获由触发峰值的精确时间顺序所包含的潜在丰富信息，例如神经元 i 在时间 t 放电和神经元 j 在 t + τ 放电。例如，我们预计任何时变的感觉刺激或动作序列都可以由独特的多神经元时间模式进行编码。事实上，多神经元时间序列可以编码有关感觉刺激的信息，并且是生成鸟鸣等复杂运动模式所必需的[1-7，15，16]。时间序列也可能对记忆形成至关重要，因为神经可塑性规则对触发峰值的时间顺序高度敏感[17-21]。到目前为止，尖峰序列中包含的大部分信息似乎尚未被发现，因为时间相关性通常是基于相对较小的神经系综进行研究的，而成对尖峰时间关系的数量与 N 成对的峰值时间关系成比例2.
因此，一个主要的计算问题是根据神经元之间的相对尖峰时间来测量尖峰模式的差异性。开发这样的度量有几个挑战，包括1）依赖于分箱尖峰并需要模式精确匹配的技术（例如信息理论测量）有几个缺点：由于组合爆炸，它们需要相对大量的观测，缺乏对尖峰时间抖动的鲁棒性，并且由于分箱而降低时间分辨率。2）计算成本成为高维神经元集合的主要约束，理想情况下，测量应具有神经元数量和峰值线性的计算成本。
在这里，我们为多神经元尖峰模式开发了一种名为SpikeShip的新型相异性度量，其线性计算复杂度为，并且具有对高阶结构敏感的关键优势。SpikeShip可以解释为最佳传输成本，以使两个不同的多神经元尖峰模式之间的所有尖峰计时关系相同。也就是说，它解决了整个尖峰模式的最佳传输问题，并产生了神经元特异性流（根据相对尖峰时间控制相似性）以及全局流项（根据绝对时间控制相似性）的尖峰模式差异的独特分解。我们通过将SpikeShip测量应用于[12]和[22]小鼠的大规模高维神经集合来证明其功能，并证明时间尖峰序列可靠地区分自然刺激和不同的大脑状态。我们讨论了与以前的尖峰列车测量（如维克多-紫癜距离（VP）[23，24]，SPIKE [25]和速率无关的尖峰（RI-SPIKE）[26]）相比，该措施的特性。最后，我们表明，与传统的发射率代码相比，SpikeShip携带正交信息。
结果
我们的总体目标是开发一种多神经元尖峰模式之间的差异度量，该度量完全基于尖峰的时间顺序。假设我们已经测量了来自N个神经元的尖峰（“尖峰列车”），将n个尖峰的平均值分为长度为T的M个时期（以秒或样本为单位）。时代可以通过例如试验（例如刺激演示）或滑动窗口来定义。问题是找到具有以下属性的相异性度量：
测量值应取决于跨神经元放电的时间顺序，而不是峰值计数。我们注意到，这一点并不意味着峰值计数差异无关紧要，而是通常希望有一个可以严格根据时间序列解释的度量。
如果两个尖峰模式在跨神经元尖峰时序关系方面相同（即它们是彼此的时间转换版本），则差异度量应等于零。
该测量不需要分箱或平滑，并且基于尖峰的确切时间。
它应该以渐进的方式测量差异性，并避免在尖峰模式中搜索精确匹配的方法所发生的“组合爆炸”问题。组合爆炸意味着对于非常多的神经元，峰值模式精确匹配的概率变得非常小。
算法 1：两个纪元之间人口尖峰时间向量的尖峰距离计算。
输入：周期 k 和 m 的 N 个神经元的尖峰时间向量 (圣k：数组圣m：数组）
输出：一对总神经元特异性距离和全局偏移（f：双倍）
功能：尖峰船（stk， stm) :
启动 c、w、（数组）和（整数）;
for i ∈ {1， ...， N} do
如果 len（stk[i]）> 0 和 len（stm[i]）> 0 然后
商店成本（c我） 和重量 （W我） 从 EMD（stk[i]， stm[我]);
将 i 添加到;
增加镜头（c我)
结束
结束
G最小 = 加权中位数（c， w);
返回 f
结束
我们引入了满足这些约束的度量，称为 SpikeShip 度量（请参阅方法）。SpikeShip的想法是使用最优运输的数学框架来测量尖峰列车之间的差异，如图1和S1所示。和伪代码 1。我们将每个尖峰列车视为“质量”（即尖峰）的集合。来自每个活动神经元的所有尖峰共同贡献一个单位质量，即每个尖峰的质量归一化为总质量。这确保了方法的速率不变性。现在的问题是，在时间上运输质量以使两种模式在神经元之间的相对峰值时间方面相同的最佳方法是什么。换句话说：最优传输问题被表述为在epoch k中找到每个神经元中尖峰序列的（单位）质量移动的最小成本，使得所有神经元之间的互相关（即顺序放电）变得与另一个epoch m中的交叉相关相同。解决这个问题会产生一个差异度量，该度量严格基于神经元之间的相对时间定义，即不是基于峰值的绝对时间。
缩略图 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图1. 斯派克船的插图。
A） 具有尖峰时间 t 的两个纪元的示例k= （10， 10， 10， 10， 10， 10） 和 tm= （25， 40， 45， 55， 60， 70） （请注意，在本例中每个神经元只有一个尖峰）。B） 尖峰时间 t 之间的距离k和 tm.C） 向量包含尖峰时间 t 的差异k和 tm.D） 计算中位数： g最小= 40。E） g最小是最优全局偏移，使得 f我 = c我? 克最小.神经元特异性位移包含有关t之间距离结构的所有信息k和 tm.斯派克船等于 .
https://doi.org/10.1371/journal.pcbi.1011335.g001
直觉上，人们会怀疑，基于N个神经元之间的相对尖峰时间来测量尖峰训练模式的相似性，其计算复杂度至少为N级。2，这将使该方法对于较大的数据集不切实际。然而，我们令人惊讶地表明，有一个基本解决方案可以按 N 阶计算。
我们证明了全局最优运输问题可以通过两个步骤来解决：
我们首先计算最佳传输流，将纪元 k 中的尖峰模式转换为纪元 m 中的尖峰模式，使得这些模式在绝对时间方面是相同的。
现在，通过计算全局时态转换项并从所有单个尖峰偏移中减去该项，可以将传输成本降至最低。这产生了神经元特异性流，并允许我们计算使两种模式在相对峰值时间方面相同的总运输成本。
第 1 步：该算法首先在步骤1中分别计算每个神经元的推土机距离（参见方法，S1图），将质量从模式k中的每个尖峰移动到模式m中的尖峰。例如，如果神经元在模式k和m上有2个和6个尖峰，则相关的质量将分别为（1/2，1/2）和（1/6，?，1/6）。因此，EMD 以最低的运输成本将 2 个质量分配到 6 个集群中。这实际上意味着两个尖峰中的每一个都被分解成 3 个部分，然后移动。
为了使这一点更加直观并简化 SpikeShip 的分析表达式，我们注意到将每个尖峰分成 3 个部分与将每个尖峰复制 3 次相同（请注意，在实际的 EMD 算法中，不会执行此复制）。这相当于找到每个神经元的峰值计数的最小公共倍数，表示（参见方法），并复制每个峰值和时间。例如，尖峰计数为 ni，k= 2 和 n我，米= 6，则最小公倍数等于6，峰值分别复制3次和1次。现在每个尖峰的权重为 ，使得总质量为 1。
EMD 产生流量 c我，u（单位时间）的每个第 i 个神经元及其 u-th（复制）尖峰 （）。对于流量，我们指的是分配给峰值的时间偏移。移动的质量（与尖峰相关）为 w我，u，这样∑uw我，u= 1。
第 2 步：重要的是，从步骤1获得的EMD仅指示两个时期之间绝对尖峰时间的相似性，即基于尖峰相对于事件的对齐。然而，我们表示，我们的测量应该反映神经元之间尖峰的相对时间。我们表明，这可以使用步骤 1 中计算的 EMD 流量来实现，方法是减去全局刚性转换项。这独特地产生了在纪元k中转换多神经元尖峰模式的最小传输成本，使得神经元之间的相对尖峰计时关系变得与另一个模式m相同。在方法部分，我们陈述了我们的主要理论结果，即最佳传输流由下式给出
(1)
这里 g最小是所有原始流的加权中位数 c我，u伴有质量 W我，u.因此，我们可以用两个术语分解传输流：（1）两个时代之间的最佳全局偏移，在所有神经元中共享;（2）最佳的神经元特异性转运流。然后我们将 SpikeShip（参见方法）定义为
(2)
这是在纪元k和m中触发峰值的所有神经元的集合。权重，有效地为每个包含至少一个尖峰的神经元分配相等的权重，其中（复制的）尖峰数。
计算SpikeShip的算法具有计算复杂性，因为加权中位数具有复杂性（S2图和伪代码1）。这意味着SpikeShip在计算复杂度方面的表现比以前的SPOTDis（即）[27]等措施要好得多，因此计算大型神经元集合变得可行，我们将在下面进一步展示。
在计算了多神经元尖峰列车之间的差异度量后，我们可以使用嵌入和聚类技术以无监督的方式检测模式。我们方法的基本原理是，无监督聚类可以基于相异矩阵执行，而不是基于峰值训练数据本身。为了说明这一点，我们生成了 6 个由非齐次泊松过程的瞬时速率定义的输入模式，如 [27] 所示。基于具有恒定速率的均匀泊松过程（即均匀噪声）的随机发射产生噪声（见图2A）。我们使用SpikeShip距离计算了纪元对之间的成对距离，产生了一个相异矩阵（图2B）。数据中包含的模式可以使用流形学习算法（如t-SNE）进行可视化，使用SpikeShip相异性矩阵作为输入[28-30]（图2C）。此外，HDBSCAN [31]根据SpikeShip相异性矩阵自动检测集群。这些结果说明了SpikeShip如何揭示多神经元尖峰模式，并展示了其在模拟高维数据中的效率。
缩略图 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图2. 相异矩阵和聚类比较。
A）根据不同的非均匀泊松过程产生的六种多神经元尖峰模式，加上一种噪声模式（齐次泊松）。我们显示了总共N = 50个神经元中的前500个神经元。前 180 个 epoch 对应于均匀噪声（随机触发），接下来的 180 个 epoch 对应于基于非均匀泊松过程生成的模式（6 种不同的模式，每个模式有 30 个 epoch）。每个模式都用 T 模拟时代= 300 个样本，T脉冲= 30 个样本。脉冲外的发射速率为 λ外= 0.02 spks/样本和脉冲期间 λ在= 分别为 0.2 个 spk/样本。均匀噪声模式与非均匀模式具有相同的平均发射速率。B）使用SpikeShip相异性度量（左）按模式排序相异性矩阵，以及使用SpikeShip相异性矩阵（右）的二维t-SNE嵌入。
https://doi.org/10.1371/journal.pcbi.1011335.g002
SpikeShip的一个重要特性是它可以区分尖峰模式，即使它们是多模态的。为了证明这一点，我们使用具有模式噪声和均匀噪声的泊松模式的多个双峰激活（见S3A图）。此外，我们模拟了一种特殊情况，即神经元在纪元的某个片段中被“停用”（见S3B图）。我们观察到，在这两种情况下，SpikeShip都可以成功检测模式，并且每个簇都很好地分离，如它们的相异矩阵和2D t-SNE嵌入所示。最后，与同样基于最佳传输（SPOTDis）的SPOTDis测量相比，我们发现SpikeShip可以检测由较低信噪比定义的模式（见S4图）。
SpikeShip的特性及其与其他方法的比较
接下来，我们表明，除了上面讨论的属性之外，SpikeShip还具有几个功能，使其非常适合作为基于相对时序关系的尖峰列车模式的相异性度量，并将其与以前的尖峰列车指标区分开来：
（1）SpikeShip根据神经元之间的相对尖峰时间测量一对纪元之间尖峰模式的差异性。因此，SpikeShip可用于检测自发发生或未锁定在事件开始时的模式，例如使用滑动窗口方法。相比之下，VP和SPIKE等其他指标并非基于相对峰值时间。然而，VP和SPIKE可用于根据绝对尖峰时序比较不同时期的尖峰列车（图3B）。在这种情况下，通过直接比较不同时期的尖峰序列（一次一个神经元）来分别计算每个神经元的这些度量值。
缩略图 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图3. 例如尖峰列车的指标比较。
A） 以三个合成尖峰序列为例，对不同测量的尖峰时间和尖峰计数的敏感性（如[32]（图5D））。下图：计算成对尖峰列车的 Victor-Purpura 度量，改变移位成本 q（左），以及计算 SPIKE、RI-SPIKE 和 SpikeShip 的距离（右）（参见方法）。SpikeShip和RI-SPIKE的差异反映了峰值时间而不是峰值计数。相比之下，VP 反映了尖峰计数差异，这适用于整个 q 范围。B）不同措施对全球尖峰模式变化和相对尖峰时间变化的敏感性。上图：三种多神经元尖峰模式的示例。尖峰模式 B 和 C 相对于模式 A 移动。颜色对应于应用于一半（蓝色）和整个神经群体（绿色）的偏移/延迟。下图：模式（A，B）（蓝色）和模式（A，C）（绿色）之间的尖峰列车差异比较。
https://doi.org/10.1371/journal.pcbi.1011335.g003
为了证明SpikeShip可以在模式开始未知的情况下使用，我们进行了两种模拟。
首先，我们研究了一个模式的开始未知的案例，模式的持续时间也未知。在这种情况下，可以使用滑动方法根据轮廓分数优化窗口长度。我们发现，与SPOTDis和Victor-Purpura相比，SpikeShip可以有效地使用滑动窗口方法，如S5B图所示。
其次，我们考虑了一种场景，其中随机的全局变化叠加到不同的模式上（见S6A图）。在这里，我们添加了模拟，其中存在不同的模式，以及这些模式相对于纪元开始的全局变化。重要的是，全球变化并没有系统地与不同的模式相关。如S6B图所示，VP受到这些全球变化的影响，这反映了它测量绝对时间差异的事实。相比之下，SpikeShip仍然根据相对峰值时间检测原始模式。此外，SpikeShip产生全局流项，从而直接提供整个模式延迟的全局度量。
（2）SpikeShip对不同时期之间相对尖峰时序的差异具有线性依赖性（图3B）。相反，由于VP具有超参数（q），因此它可能对尖峰时序具有高度非线性依赖性。这是因为随着时序差异变大，VP完全由插入驱动，因此总成本不会增加（图3B）。
我们进一步观察到，另外两个测量，SPIKE和RI-SPIKE，也受到尖峰图案到窗口边缘的距离的影响（图3B）。
（3）根据设计，SpikeShip只对时序关系敏感，而不对发射速率敏感。原因是由于归一化而导致的所有尖峰列车都具有相同的质量。相比之下，VP还反映了尖峰数的差异，因为它还包括插入成本（见S7图）。事实上，VP只会在其超参数q非常小时或非常大时反映峰值计数的差异，并且仅对q的中间值表现出时间敏感性。虽然SPIKE可能具有一定的速率灵敏度，但RI-SPIKE设计为具有低速率灵敏度[26]。
为了说明这些差异，我们首先检查了前面在[32]中显示的一个例子，其中三种模式因发射速率（1和2）或时间（1和2与3）而异（图3A）。在此示例中，VP 距离主要受速率差异的影响，与 q 的选择无关。对于所有 q，VP 不会在模式 1 和模式 2 之间分配最低值，尽管这两种模式具有非常密切的时间关系。相比之下，SpikeShip、SPIKE 和 RI-SPIKE 确实在模式 1 和模式 2 之间分配了更低的成本（参见图 3A）。此外，我们注意到一些措施需要时间对齐。为了证明这一点，我们模拟了三种泊松模式 A、B 和 C，如图 3B 所示。在这里，模式 A 包含窗口长度特定区间的泊松尖峰。此外，我们生成了相同数量的模式，但在对一半的神经群体和整个神经群体（分别为模式B和C）应用线性偏移后，如图3B所示。我们发现SPIKE和RI-SPIKE受刺激开始位置的影响。此外，当移动尖峰的成本大于插入钉的成本时，VP 会分配最大距离。因此，这些措施需要明确定义要覆盖的刺激开始，因为窗口长度的定义会影响它们的距离。
其次，我们研究了不同的尖峰序列以及跨时期发射率的局部或全局缩放。如S7图所示，VP距离不能根据时间或速率结构唯一区分模式，主要受大范围q的发射速率差异的影响。相比之下，SpikeShip不受时代之间发射速率缩放的影响（见S8和S9图）。最后，SPIKE和RI-SPIKE的效果不如SpikeShip，因为它们在噪声尖峰序列之间分配了非常高的不相近性，因此整体聚类性能比SpikeShip差（见S10图）。
我们强调，SpikeShip的关键在于它有效地测量了跨神经元峰值时间关系的差异性，而不是绝对时间。然而，该算法的第一步是仅在纪元之间转移同一神经元的尖峰。然而，这只是一种计算技巧，用于根据神经元间的峰值时间关系得出成本，这是通过减去全局加权中位数获得的。在方法部分，我们表明这产生了一种测量方法，可以有效地测量神经元间峰值时间关系的差异性，而不是绝对时间。
艾伦脑研究所神经数据集的应用
接下来，我们将SpikeShip应用于几个高维神经数据集。以前的研究表明，视觉系统可以非常快速地处理自然图像并提取分类信息[33]。有人提出，这依赖于时间编码策略，即根据相对于刺激开始的峰值的时间序列对视觉信息进行编码[33]。
在这里，我们使用SpikeShip来确定六个视觉区域中的时间尖峰序列是否可以可靠地将自然图像彼此区分开来。为此，我们分析了32只小鼠的神经像素数据，同时它们被动地观看自然图像（来自艾伦脑科学研究所的数据集;见方法）。总共选择了20个自然场景，每个场景重复10次（即M = 200个epoch）。为了创建神经元的高维载体，我们将8只小鼠的所有记录神经元（N = 301，32）汇集在一起（见图4A）。请注意，我们在记录会话中汇集了数据，以证明我们的方法在计算上可扩展到非常大量的神经元。在S11图中，我们还提供了对单个会话的分析（即没有在小鼠之间汇集数据）。
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图4. 用于自然场景演示的尖峰序列的尖峰船分析（艾伦脑研究所）。
A） 两个纪元的光栅图，每个表示 N = 8， 301 个神经元。B） 按图像 ID 对 20 个自然场景演示的相异性矩阵进行排序，每个演示 10 个 （M = 200）。C） 每个演示文稿的二维 t-SNE 嵌入。
https://doi.org/10.1371/journal.pcbi.1011335.g004
成对的SpikeShip距离在图4B中显示为由每个自然场景的表示形式排序的相异矩阵。t-SNE嵌入揭示了基于SpikeShip的尖峰模式的清晰聚类，使得不同的自然图像可以可靠地相互区分（见图4C）。因此，自然图像产生了不同的时间尖峰序列，这些序列与刺激开始的时间锁定（以便可以从多个会话的组合数据中提取它们），以支持视觉系统可以使用时间编码策略的想法。总之，这些发现表明，SpikeShip可以从高维记录中揭示多神经元时间尖峰模式。
视觉刺激中SpikeShip与放电率的比较
我们想知道时间尖峰序列中的信息与传统发射速率代码携带的信息相比如何。我们的第一个问题是，这两个代码中的哪一个传达了更多信息。为了确定这一点，我们通过计算射速向量之间的欧氏距离来计算射速的距离矩阵。这些距离是在我们用于SpikeShip的同一时间窗口中计算的（图5A）。
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图5. 射击速率和尖峰飞船之间的成对距离比较。
A）艾伦脑研究所数据的相异矩阵（按自然场景排序）。颜色图已更改以显示距离的更多可变性。B） 使用发射率 （d ） 对 A） 所示的相异矩阵的可区分性指数法国）和SpikeShip（d党卫军).
https://doi.org/10.1371/journal.pcbi.1011335.g005
然后，我们根据图像内部和图像之间的距离计算自然图像之间的可区分性度量（参见方法，方程29）。我们发现，与所有自然场景的射速矢量相比，SpikeShip的自然图像之间的可区分性更高（图5B）。
接下来，我们想知道SpikeShip中的信息在多大程度上独立于射速信息。为此，我们计算了SpikeShip距离和发射速率相异矩阵之间的Spearman相关性，其中包含来自所有自然图像中所有时期的信息。我们发现，SpikeShip的相异矩阵和发射率在各个时期之间仅具有弱相关性（Spearman相关性等于0.1804）。因此，t-SNE可视化表明，集群的相对位置显示出两种方法之间的主要差异（S12图）。
总之，这些结果表明，SpikeShip和放电率包含不同且在很大程度上独立的自然刺激信息。此外，与发射速率相比，SpikeShip允许更好地分离不同的自然刺激。我们进一步观察到，与SpikeShip相比，SPIKE和RI-SPIKE在分离不同模式方面效果较差，并且与发射速率的相关性更强（S13图）。
最后，我们对单个会话进行了分析。对于跨单个会话的自然场景的聚类分析，SpikeShip优于与速率无关的SPIKE度量（RI-SPIKE），如S11图所示。然而，SpikeShip与放电率的聚类性能差异没有达到显着性，这可能是由于与较少数量的神经元相关的较低ARI分数导致的地板效应。
这些发现支持了视觉系统可以使用尖峰序列来编码有关自然场景的信息的观点，正如例如[33]所提出的那样。
应用于自发活动
接下来，我们将SpikeShip应用于来自多个大脑区域的高维神经记录，同时小鼠在不同的行为状态之间自发转换。以前的研究表明，行为状态对多个大脑区域的神经元放电率有重大影响[10，34]。最近的研究表明，与跑步速度和瞳孔直径（唤醒的衡量标准）相比，不同的面部运动成分优于对发射率的预测。因此，我们想知道不同的行为状态是否伴随着特定的尖峰序列并加以区分。
为了研究这一点，我们分析了[22]的数据集，其中包含来自三只小鼠>1000个神经元的多区域记录。与[10]类似，我们使用SVD（奇异值分解）根据面部运动分量区分不同的状态，并确定了低，中和高运动时期（图6A-6C）。我们随机选择了低、中和高运动状态的一百个时期，并计算了SpikeShip相异性矩阵（M = 200，见图6D）。
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图6. 自发活动期间多区域记录的分析。
A） 来自 [4] 数据的面部运动的前 22 个 SVD 维度。B） A） 中显示的 SVD 维度的绝对和减去这些维度的中位数（去噪）。C） 通过滑动窗口计算的归一化 SVD 运动，以平滑晶须的运动轨迹。我们使用HMM检测低、中和高运动状态（见方法）。D） N = 2， 296 个神经元不同时期的光栅图。E） 多峰序列分析。左：相异矩阵。中间：2D t-SNE 嵌入。右：2D 光谱嵌入（拉普拉斯特征图）。F） 来自 [10] 个实验的平均尖峰船距离。误差线表示尖峰船距离的标准偏差。G）每次实验的发射率和SpikeShip之间的Spearman相关性。
https://doi.org/10.1371/journal.pcbi.1011335.g006
在图6E中，我们显示了一只鼠标的相异矩阵（“Waksman”;N = 2，688，对于其他两只小鼠，请参见S14图）。前 100 个纪元表示低运动状态，其余 100 个时期是中运动和高运动时期。相异性矩阵表明，中运动和高运动期间的尖峰序列彼此相对相似，而在低运动时期，序列之间存在相对较高的变异性（见图6E和6F以及S15）。此外，t-SNE嵌入和光谱嵌入在中高速运动期间的尖峰序列都显示出一个单独的状态空间区域。
我们进一步想知道，与射速相比，SpikeShip是否包含正交信息，类似于我们对自然图像的观察。同样，我们计算了SpikeShip和发射速率差异矩阵之间的Spearman相关性。我们发现三只小鼠的放电率和SpikeShip差异矩阵之间的相关性相对较弱：N = （0，189，0）神经元分别为（024.0，064.1462，-2296.2688）（见图6G）。
总之，这些发现表明，不同的大脑状态在神经元之间产生了特定的时间相关性模式，与静止相比，活跃行为期间的尖峰序列相对均匀。
讨论
我们研究了基于神经元之间的相对尖峰-时序关系（即放电顺序）测量两种多神经元尖峰模式之间的差异问题。我们开发了一种名为SpikeShip的新措施。SpikeShip解决了最佳地传输单个神经元尖峰的问题，使得两个时期之间的尖峰计时关系的全局模式变得相同。直觉上，人们会认为这样的测度至少具有 的计算复杂度，但我们证明它可以用计算复杂度来计算;这比我们以前的工作有了重大改进[27]。我们表明，两种尖峰模式之间的差异可以分解为神经元特异性流和时间刚性翻译项。重要的是，SpikeShip不仅限于二阶相关性，而是基于尖峰序列中的高阶结构。
与以前的措施比较
我们注意到，还有其他各种方法来量化多神经元模式，与SpikeShip相比，这些方法允许不同的应用。最近的一些方法使用降维和通过非负矩阵分解或稀疏卷积编码识别潜在因子，例如[35-38]。尽管通过SpikeShip获得的相异矩阵原则上可用于识别潜在因子，但这仍有待在未来的工作中进行探索。另一种方法是频繁项目集挖掘，它寻找跨神经元尖峰模式的精确匹配（有关概述，请参阅[39]）。最后，有一些基于统计方法的经典技术可以检测某些滞后的神经元之间的成对相关性[39-41]。SpikeShip的想法不是检查神经数据是否包含显着的成对相关性。然而，其快速的计算时间可能使其可用于通过将观察到的尖峰模式与通过排列获得的代理分布（例如跨时期的神经元身份）进行比较来检测高阶相关性。
VP距离[23，42]和范罗森距离[43]的多神经元扩展之前已经提出。例如，在[44]的情况下，有一个超参数k可以量化交换尖峰标签的成本（即它属于哪个神经元）。在k = 0的情况下，多神经元度量相当于（1）将所有尖峰序列汇集到一个尖峰序列中，然后（2）计算VP距离。在这种情况下，与SpikeShip相比，没有考虑精确的神经元间时间关系。在 k ≥ 2 的情况下，多神经元距离相当于单独计算每个神经元的 VP 距离，然后求平均值。我们注意到，这正是我们在VP的情况下计算多神经元距离的方式。在k∈（0，2）的情况下，预计多神经元VP距离对神经元间定时关系和单神经元绝对定时都具有敏感性。鉴于多神经元VP的性质，与SpikeShip存在重大差异，并且这些措施具有本质上不同的应用。最重要的是，多神经元VP指标受到单个神经元的绝对时间和尖峰模式的全局变化的影响，而SpikeShip旨在衡量神经元间尖峰时间关系的差异性。与多神经元VP扩展相比，SpikeShip还具有一些计算优势：对于多神经元VP度量，给定两个超参数q和k，优化问题相当复杂。最后，多神经元算法的计算成本随神经群体大小呈指数级增长（即，其中n是平均峰值数，N是神经元数量。
与其他度量相比，SpikeShip具有几个不同的属性：1）值得注意的是，对于不同的计算问题，有不同的度量设计。SpikeShip被明确设计用于根据相对峰值时间关系来衡量模式之间的相似性。这使其与例如VP距离区分开来，VP距离根据绝对尖峰时间来衡量相似性。我们注意到，虽然 SpikeShip 旨在根据相对峰值时间测量相似性，但它也可用于根据峰值的绝对时间来衡量相似性。这样做的好处是可以单独提取全局翻译项，指示共享的延迟偏移和神经元间的时间差异。我们进一步表明，SpikeShip可以与滑动窗口方法结合使用。在这里，计算成本提供了很大的优势，因为可以根据例如轮廓分数来比较许多不同的窗口长度，正如我们在这里显示的那样。2）SpikeShip在设计上对全球或局部发射速率的缩放不敏感，而不是VP。我们还注意到，RI-SPIKE被设计为对射速的调整不敏感。然而，我们注意到，任何两个纪元之间的SpikeShip差异是基于那些神经元的尖峰序列，这些神经元至少触发了一个尖峰。因此，尽管SpikeShip的值不受放电率的偏差，但放电率会影响计算测量值的神经元，特别是当神经元具有非常低的（基线）放电率时。3）SpikeShip基于相对尖峰时序查找基于高阶时间结构的序列，计算成本为。相比之下，之前的 SPOTDis 度量 [27] 具有计算成本，并且严格基于二阶相关性。4）如图所示，SpikeShip具有很高的抗噪性，并且优于我们以前的方法SPOTDis。5）SpikeShip可用于检测多模态模式，例如，将其与基于发射延迟检测序列的方法区分开来。6） SpikeShip 是一种无箱度量，即它基于精确的峰值时间。7）SpikeShip不需要模式之间的精确匹配，而是基于反映相对尖峰时间差异幅度的公制距离（推土机距离）。相对于例如需要模式精确匹配的度量，这是一个重要的区别。然而，它也将其与例如VP区分开来，VP显示出对时序差异的非线性依赖性，以及SPIKE和RI-SPIKE，后者显示出对时序差异的非单调依赖性。
我们注意到 SpikeShip 具有 Nn 阶（神经元数乘以尖峰数）的有效计算时间，这与尖峰计数的计算成本相当。考虑到SpikeShip根据所有相对的峰值时间关系量化了差异性，这是非常了不起的。SpikeShip通过首先单独计算每个尖峰列车的推土机距离（EMD），并通过计算全局流量获得单个流量来实现此计算时间。我们注意到EMD也应用于互相关（在[27]中）和单个尖峰列车[45]。在[45]中，EMD一次量化一个神经元，即不考虑神经元间的峰值时间关系，因此尖峰模式的不相似性基于相对于刺激开始的绝对时间。至关重要的是，SpikeShip旨在根据所有记录神经元之间的尖峰时间关系（即神经元间尖峰时间关系）来量化尖峰模式（两个时代之间）的差异性。这意味着SpikeShip基于相对尖峰时间关系，这使得它相对于一个纪元的开始是不变的，并且允许量化未锁定在刺激开始的自发发生的序列。因此，SpikeShip允许各种各样的应用（包括时间锁定到刺激开始的序列），因此比单独计算每个神经元的EMD更通用。
最后，有趣的是，如果尖峰模式之间存在全局抖动，SpikeShip 算法原则上也可用于以无监督的方式对齐时间序列。原因是SpikeShip根据全局翻译项（非线性计算）和神经元特异性移位分解了任何两个试验之间的传输成本。因此，SpikeShip可用于实现类似于最近一项研究[46]的东西，被描述为“时间扭曲”。
应用于神经数据
我们将SpikeShip应用于小鼠实验的大型真实神经元数据集。我们发现SpikeShip可用于对来自N >8000个神经元的高维时间尖峰模式的不同自然图像进行无监督解码。我们注意到，对于主要分析，我们汇总了小鼠的数据，因此不包括神经元之间共享的逐个试验变异性，并且仅检查与刺激开始时间锁定的峰值时间模式。我们发现，Spikeship的聚类性能优于基于发射速率相异矩阵的聚类，并且尖峰时序信息仅与发射速率向量中的信息弱冗余。请注意，尽管我们测量了聚类性能与真实值，但我们并没有直接比较基于 SpikeShip 与速率距离的分类器。
这表明尖峰时序信息携带与放电速率相关的附加信息，正如[33]所假设的那样。有趣的是，SpikeShip技术不需要显式识别峰值延迟，并且能够从峰值模式中提取高阶相关性，并区分多模态模式[27]。此外，正如我们在这里展示的，计算非常高效。
在另一个应用中，我们分析了来自视觉皮层、脾后、感觉运动、额叶、纹状体、海马体、丘脑和中脑的大规模记录。我们证明了尖峰列车的时间结构区分了低运动和高运动时期，并再次提供了与发射速率代码的正交信息。在高运动时期，尖峰模式变得更加均匀，这与唤醒提高皮层信号传输的可靠性的观点一致[34]。
展望
展望未来，SpikeShip为研究高维神经系综中的时间序列开辟了新的途径。最近的技术发展现在允许使用电记录或双光子成像同时记录数千个神经元[9]。由于线性计算时间，这里开发的技术适用于这两种数据。将SpikeShip应用于此类数据可能会对时间序列在感觉编码和记忆巩固中的作用产生重要的见解。
材料和方法
斯派克船的衍生
在这里，我们推导出一个新的相异性度量，称为SpikeShip，它对一对时期具有计算复杂性。在 SpikeShip 中，我们使用峰值时间的绝对差异而不是二次差异的成本，这有两个主要原因：首先，使用绝对差分可以有效地计算具有计算复杂性（神经元数量时间峰值数）的 SpikeShip。其次，使用绝对距离而不是二次距离可以避免过重的大尖峰时间偏移（即，从 0 到 0.1 s 的偏移与从 1 到 1.1 的偏移的权重类似）。
在 SpikeShip 中，我们在给定的试验中为尖峰列车分配一个单位质量。对于纪元 k 中的每个神经元 j，其尖峰数为 nK，J> 0，我们用单位能量定义点过程
(3)
这定义了纪元 k 中每对神经元 （i， j） 的互相关函数
(4)
考虑两个纪元（k，m）。我们希望为每个神经元（以纪元 k 为单位）找到从 t 到 t′ 的质量传递，[M]j，t，t′，使得 si，j，k(τ） = si，j，m(τ） 表示所有 （i， j， τ）。这里的质量由尖峰组成，其总和为 1。然后，目标是找到一个流矩阵M，以最小化总移动器成本，即
(5)
其中 d（t，t′） = | t ? t′|.
请注意，与先前测量的SPOTDis [27]的关键区别如下：在SPOTDis中，我们有一个类似的目标，但我们通过EMD分别计算了每个神经元对（i，j）的相差性，在归一化互相关函数s上。i，j，k(τ） 和 si，j，m(τ）（即等同于一对互相关的最小移动器成本）。但是，这在计算上非常昂贵（订单 N2对于 N 个神经元），并且只考虑二阶相关性。使用SpikeShip，我们希望通过分别移动每个神经元的尖峰质量来解决一般的传输问题，这样i，j，k(τ） = si，j，m(τ） 表示所有 （i， j， τ）。根据定义，这相当于整个多神经元尖峰模式的相异性度量，而不是单独考虑所有成对相关性（如SPOTDis的情况）。然而，与SPOTDis类似，SpikeShip完全基于神经元之间的相对尖峰定时关系，而不是绝对尖峰定时。我们表明，令人惊讶的是，方程5中所述的传输目标可以用N阶神经元计算复杂度而不是N阶优雅地实现。2.
SpikeShip 表示每个纪元一个尖峰。
为了推导出 SpikeShip 度量，我们首先考虑简化的情况，其中每个第 i个神经元为所有 M 个时期触发一个尖峰。让我们成为纪元 m 中 N 个神经元中每个神经元的流动向量。换句话说，f1，公里是第m个纪元中第一个神经元发射的尖峰的位移。总搬家成本等于
(6)
问题陈述是找到一个流向量，使得在移动尖峰后，就尖峰时序关系的完整矩阵而言，生成的尖峰序列模式在 epoch k 和 epoch m 之间是相同的。我们希望找到以最小成本 F 满足此约束的流向量公里.
例：假设有两个 N = 6 个神经元的时期，具有尖峰时间和 .我们将证明，具有最小成本的流向量，使得尖峰模式具有相同的时间结构，等于（图1）。
更正式地说，让 t米，我是第 m 个纪元中第 i个神经元的尖峰时间。我们将（后）移动它们后的峰值时间表示为
(7)
?i，我们省略了变量 f 中的下标 k、mI，公里为简单起见。移动后所有跨神经元尖峰时序关系应相同的约束意味着
(8)
换句话说，在移动尖峰后，来自两个不同神经元（i，j）的两个尖峰之间的延迟在模式k和m之间应该是相同的。基于等式 7 进行替换，这可以表示为
(9)
让 c我是纪元 m 中每个神经元的尖峰时序偏移，使得尖峰序列模式变得相同，
(10)
请注意，对于 c 的这个定义我、等式
(11)
适用于所有 （i， j）。对于所有 i，我们可以表示 f我作为移位 C 的函数我，这样
(12)
我们希望解决
(13)
在等式 9 的约束下。
从方程 9、11 和 12 可以得出
(14)
因此方程g我 = gj适用于所有 （i， j）。因此，我们可以将等式 13 重写为
(15)
以找到最小化残差的 L1 范数的全局偏移。这个等式的解是
(16)
因此，我们的主要结果是，两种尖峰模式之间的原始偏移可以写为分解
(17)
对于所有I，即神经元特异性移位和全局时间刚性翻译项的最佳传输。因此，两种尖峰模式之间的最佳传输（例如刺激开始后）可以分解为神经元特异性移位和全局时间刚性翻译项的最佳传输。
多个峰值的全局偏移定义。
我们现在考虑的情况是，在每个纪元中，每个神经元都会触发可变数量的尖峰。我们将证明，可以基于加权中位数对 SpikeShip 进行类似的推导。设 ni，k和 n我，米是纪元 k 和 m 中第 i 个神经元的尖峰数。我们还将为每个尖峰分配一个权重，使得 Spikeship 计算中每个神经元的总权重相等。为此，我们首先找到每个神经元的尖峰计数的最小公共倍数，记作 。例如，如果 ni，k= 2 和 n我，米= 6，则最小公倍数等于 6。我们现在复制每个峰值和时间。现在，每个尖峰的权重为 .（请注意，在实际计算中，我们不会在实践中复制峰值，而是使用类似于 [27] 中详述的算法）。然后，根据最优运输成本（EMD），我们得到班次 c我，u对于第 i 个神经元的第 u 个尖峰，.请注意，我们已经表明，可以通过首先将质量从纪元m中最左的尖峰（即第一个尖峰）移动到纪元k中最左的尖峰[27]，然后继续进行第二个尖峰，依此类推来有效地计算尖峰序列的EMD。
我们使用与上述类似的推导。让 tm，i，u是神经元 i 在第 m 个纪元中 u ? th 复制尖峰的时间，对于所有 （i， m， u）， . 我们将（后）移动它们后的峰值时间表示为
(18)
?（i， u），我们省略了变量 f 中的下标 k， mi，km，u为简单起见。移动后所有跨神经元尖峰时序关系应相同的约束意味着
(19)
换句话说，在移动尖峰后，来自两个不同神经元（i，j）的两个尖峰之间的延迟在模式k和m之间应该是相同的。基于等式 18 进行替换，这可以表示为
(20)
还有一个额外的约束，即
(21)
换句话说，在同一神经元内移动后的所有成对关系都应该是相同的。
Let ci,u be the shift in spike timing for each neuron in epoch m, such that the spiking patterns in the window become identical,
(22)
请注意，对于 c 的这个定义我，u、等式
(23)
适用于所有人（i、j、u）。对于所有 i， u，我们可以表示 f我，u作为移位 C 的函数我，u，这样
(24)
定义。
我们希望解决
(25)
在方程 20、21 和 23 的约束下。
给定这两个约束，方程g我，u = gJ，U适用于所有人（i、j、u）。因此，我们可以将等式 25 重写为
(26)
以查找最小化残差的 L1 范数的全局平移项。这个方程的解是加权中位数g，现在平均移动成本， SpikeShip，等于
(27)
其中，在纪元 k 和 m 中都活跃的神经元集。因此，我们推导出的结果是，两种尖峰模式之间的原始偏移可以写为分解
(28)
对于所有（i，u），即神经元特异性移位和全局翻译项的最佳运输。因此，两种尖峰模式之间的最佳传输（例如刺激开始后）可以分解为神经元特异性移位和全局时间刚性翻译项的最佳传输。这种计算具有线性复杂性。我们基于[47，48]和Robustats [49] Python库的加权中位数的计算。在实践中，c 的计算我，u（每个神经元的最佳传输）可以有效地执行，不是通过将峰值复制到公共倍数整数（在上面的推导中使用），而是通过使用与[27]类似的算法。
与其他尖峰列车指标的比较
维克多-紫癜距离。
Victor-Purpura 度量 （VP） 通过定义与峰值之间的偏移成本相关的超参数 q 来组合速率和时间信息。因此，VP 提取较小 q 值的速率信息，收敛到两个尖峰序列的绝对差异，其中 n我和 njq = 0 时的峰值（即 VP（q = 0） = |n我? nj|).另一方面，对于高 q 值，VP 距离最大化时序编码的贡献，收敛到两个尖峰序列的总尖峰之和（即 VP（q → ∞） = n我 + nj)).我们使用大象（电生理学分析工具包）[50]来计算VP距离。
最后，我们注意到VP距离和EMD（推土机距离）之间存在某种关系，因为VP还包含一个传输项（在移动尖峰的意义上）。如果两个尖峰列车具有相同的 n 值，则 VP 等于 n/T ? EMD，从下方变为 q → 1/T。在这种情况下，VP将忽略插入成本，仅包含移位成本（因为最大移位成本等于Tq → 1）。我们添加了一些仿真，以证明在尖峰计数相等的情况下，VP和缩放（按N / T）EMD是相同的。但是，如果两个尖峰序列之间的尖峰计数不同，则 VP 和 EMD 将出现分歧。我们进一步注意到，SpikeShip的关键当然是考虑神经元间的时间关系，这是通过将总移动成本分解为全局流和神经元特定流成本来实现的。这意味着VP和SpikeShip仍然是根本不同的衡量标准。我们在 S16 图中说明了这一结果。
尖峰和RI-尖峰距离。
SPIKE和RI-SPIKE都根据绝对尖峰时序测量两个尖峰序列的相似性。RI-SPIKE的开发是为了避免在计算差异时出现速率偏差。为了对SPIKE和RI-SPIKE指标进行分析，我们使用了一个名为PySpike的python库进行峰值列车相似性分析[51]。
斑点是。
以前，我们已经开发了一种多神经元时间尖峰模式之间的差异度量，称为SPOTDis（峰值模式最佳传输差异性）[27]。SPOTDis 定义为将一个纪元 k 的所有成对互相关转换为另一个纪元 m 的成对互相关所需的最小能量（最佳传输）。这种最佳运输由 EMD 提供。SPOTDis 仅测量成对相关性，计算成本为 N 阶2.我们使用SPOTDis python模块[27]来执行分析。
在高维神经数据中的应用
艾伦脑研究所数据集。
我们通过AllenSDK使用了艾伦脑研究所的免费公开数据集（有关更多详细信息，请参阅 http://help.brain-map.org/display/observatory/Documentation）。神经像素硅探针[9]用于以精确的空间和时间分辨率记录神经元[12]。
我们在自然场景演示中选择了32只小鼠的细胞。选择电池时考虑了信噪比（SNR），使得SNR>0。从主视觉区域（VISp）、外侧视觉区域（VISl）、前外侧视觉区域（VISal）、后内侧视觉区域（VISpm）、前外侧视觉区域（VISrl）和前子宫视觉区域（VISam）中选择总共N = 8，301个细胞的神经活动。
SpikeShip计算图4C的一个相异性矩阵的计算时间平均为58.8秒（参见方法），因此表明N = 8，301个神经元的计算时间非常有效。相比之下，我们估计先前的SPOTDis测量[27]的计算时间约为175.71小时（1周7.7小时;基于每个神经元的n≈3.33个尖峰）。
自发活动。
对于自发活动数据集，我们使用了免费的、公开可用的数据集[22]。它包含来自三只小鼠的数据：“Krebs”（N = 1，462），“Robbins”（N = 2，296）和“Waksman”（N = 2，688）。探针位于不同的皮质区域（视觉、感觉运动、额叶和脾后）、海马、丘脑、纹状体和中脑[10]。本研究将奇异值分解（SVD）应用于鼠标面部电影连续帧间像素差异的记录。因此，每个实验都包含有关记录的尖峰时间、细胞和晶须运动的已处理 SVD 分量的信息。
对于我们的分析，我们对前四个SVD分量求和（图6A），然后减去维度的中位数（去噪，见图6B）。滑动窗口用于求和晶须在区间[t，t + 0.5]秒内的运动（图6C和6D）。我们使用隐马尔可夫模型（HMM）来自动检测低运动、中运动和高运动时期的状态。然后，我们根据SVD运动值为低运动状态和高运动状态选择了一百个epoch，并根据实验在不同数量的细胞上运行SpikeShip。我们使用了来自python库Scikit Learn v0.22.1的HMM，t-SNE和Spectrum Embedding的实现。
对于这些实验，SpikeShip花了25.5秒来创建差异矩阵。考虑到N ≈ 2， 500， n ≈ 5，基于图6D，SPOTDis的计算时间可以估计为34.06小时（1天10.06小时;SU ≈ 4， 808）。
计算两个发射速率向量之间的欧氏距离。
对于N个神经元的群体，我们计算了每个分析时期的放电率向量（），即每个神经元的峰值数除以窗口长度T。例如，对于两个具有尖峰 N 的神经元0= （0.0， 0.1， 0.5） 和 N1= （0.0， 0.2， 0.4， 1.0） 和 T = 1，发射速率矢量对应于 。
此外，我们对各个时期的发射率向量（z 分数）进行了归一化。例如，对于两个纪元 k 和 m，以及 和 的归一化发射率向量，各时期的发射速率的平均值和标准差分别对应于 和。然后，z 评分的发射速率向量为 和 。
最后，我们计算了两个归一化向量之间的欧几里得距离为 。
可辨别指数。
由于时间尖峰序列中的信息与传统触发率代码中的信息相比可能不同，因此我们希望量化不同视觉刺激内部和之间的可区分程度在差异矩阵diss（即自然图像内和自然图像之间）中的差异程度每个刺激id。
为此，我们计算了一个“可辨别性指数”（d），定义为刺激id内和刺激id之间的平均距离之差除以它们方差的平方和2的幂。
(29)
因此，此指数指示两组距离相距的标准差数。
支持信息
多个尖峰的 SpikeShip 插图。
显示 1/16： pcbi.1011335.s001.pdf
跳到无花果共享导航
1 / 16
下载
无花果分享
S1 图 多个尖峰的 SpikeShip 插图。
（上）两个活跃神经元 N 具有尖峰时间的两个纪元示例0和 N1（即 A公里= 2）：tk= （（10， 15）， （10）） 和 tm= （（35， 40， 45）， （35， 40））.每个纪元的尖峰计数 m 和 k 对应于 （|tN0， m|= 2， |tN1， m|= 1） 和 （|tN0，k|= 3， |tN1，k|= 2），分别。（中）尖峰时间的差异是通过对神经元之间和时期之间的质量进行归一化来计算的。这种尖峰时间差与质量（即重量）有关。然后，全局转移（即 g最小） 等于 20。（下）神经元特异性位移对应于 。因此。
https://doi.org/10.1371/journal.pcbi.1011335.s001
（英文）
S2 图 单峰和多尖峰模式的准确性和加速比较。
A） 10 个神经元的两个时期的单尖峰训练示例。模式以均匀序列的形式生成，每个时期每个神经元n = 1个尖峰。B）SpikeShip与SPOTDis（串行执行）的计算加速（对数尺度）用于增加神经元N的数量。当每个神经元有 1 个尖峰时，加速约为 N，当 n > 1 时加速增加（即多尖峰模式情况）。C） 三种单尖峰模式的示例：（?20， 0， 0， +20）、（0， 0， 0， 0） 和 （?15， ?15， +15， +15），从左到右。SpikeShip在模式1和模式2（F1,2= 10） 比 SPOTDis （D1,2= 12.5），考虑它们与模式 0 的距离。
https://doi.org/10.1371/journal.pcbi.1011335.s002
（英文）
S3 图 可以使用SpikeShip检测多模态激活和停用模式。
（A）多种双模激活模式和每种模式的实现示例（N = 50个神经元）。仿真参数为脉冲速率λ在= 0.35 spks/样本，基线速率 λ外= 0.05 spks/样本，纪元窗口长度 T时代= 300 个样本和脉冲长度 T脉冲= 20 个样本。下图显示了排序的相异矩阵和t-SNE，用于模式噪声（左）和齐次噪声（右）的仿真。（B）多种双峰激活模式和每种模式的实现示例（N = 50个神经元）。仿真参数为λ外= 0.02 spks/样品（即失活期），λ在= 0.3 个/样本，T时代= 300 和 T失 活= 150 个样本。下图显示了排序的相异矩阵和t-SNE，用于模式噪声（左）和齐次噪声（右）的仿真。
https://doi.org/10.1371/journal.pcbi.1011335.s003
（英文）
S4 图 SpikeShip的性能取决于SNR，但它的性能优于SPOTDis。
（A）使用ARI分数测量的SPOTDis（左）和SpikeShip（右）的2D t-SNE嵌入上的聚类性能。使用K均值算法进行聚类检测。脉冲周期内的点火速率是变化的，而脉冲外的点火速率是变化的：λ在和 λ外分别对应于脉搏率和基线率。因此，脉搏率/基线速率对应于信噪比（SNR）。此外，T脉冲对应于脉搏率和T期间的时间段时代到窗口长度。我们模拟了 5 种模式，每种模式重复 30 次，λ外= 0.05 spks/样本，λ在达到 0.15、0.2、0.25、0.35、0.45 或 0.5 spks/样品的值，T脉冲= 30 和 T时代= 1000 个样本。神经元的数量为25、50或100，均匀噪声为150个时期。我们显示了同一模拟的 10 次重复的平均值和标准偏差。相对于地面实况的性能随着 SNR 的增加而增加。当神经元数量较大时，需要较低的SNR才能实现相同的性能。（B）如（A），但现在改变脉冲持续时间。仿真参数为λ外= 0.05 spks/样本，λ在= 0.5、0.4、0.3、0.2、0.1 spks/样本和 T脉冲100、200、300、400 或 500 个样本，T时代= 1000 个样本;注意λ的乘积在.T脉冲保持不变。
https://doi.org/10.1371/journal.pcbi.1011335.s004
（英文）
S5 图 聚类性能对所选窗口长度和峰值模式开始的时间抖动的依赖性。
（A） 每个图案的长度为 300 个样本，并嵌入在从 -300 个样本到 +300 个样本的较大窗口中，左右图案周围有均匀的噪声。模式的起始点是 -150 个样本加上一些随机偏移 Δtw.对于每个纪元实现，Δt 的值w从由最大窗口偏移量确定的区间中以均匀概率随机选择（最大偏移量为 100 意味着 Δtw∈ [-100，100]）。我们选择一个范围从 ?T 的窗口w/2 至 +Tw/2长度为 T 的样品w.（B）2D t-SNE嵌入的聚类性能是相对于真实事实（ARI，与k-Means标签相比）和无监督性能度量Silhouette Score来测量的。聚类性能随着最大窗口偏移的增加而下降，这是由于在尖峰模式周围包含噪声尖峰。相对于SPOTDis，SpikeShip具有很小但一致的性能优势。此外，SpikeShip在聚类性能方面表现明显优于VP结果，正如预期的那样，聚类模式的全球变化严重扭曲了VP结果。ARI 和 Silhouette 分数对应于每个窗口长度组合在 10 次重复中获得的平均值 （Tw） 和最大窗口偏移 （Δtw).
https://doi.org/10.1371/journal.pcbi.1011335.s005
（英文）
S6 图 VP和SpikeShip在具有多种模式和全球变化的模拟中的比较。
我们模拟了 6 种模式，左右两侧的模式周围环绕着泊松噪声。模式的开始（i.e.， δtw） 在 0 到 0.8 之间随机分配，窗口长度为 Tw= 0.2s 的模式。这里使用的分析窗口是 1 秒，即整个周期。SpikeShip可以正确检测6种不同的模式，但SpikeShip也可以分解尖峰模式，使其不受全球变化的影响。VP距离在很大程度上取决于应用于尖峰的全局偏移。SpikeShip可以从尖峰序列中检索全局位移，并重建应用于尖峰序列的随机全局位移。
https://doi.org/10.1371/journal.pcbi.1011335.s006
（英文）
S7 图 VP 距离的性能受本地和全球缩放速率变化的影响。
A） 全球扩展。与 S8 图中相同的模拟。维克多-紫癜距离（VP）与不同的q值一起使用。当 q = 0 时，VP = |n我? nj|，带 n我和 nj分别是尖峰序列 i 和 j 的尖峰计数。纪元根据比率进行聚类。B） 局部缩放。与 S9 图中的模拟相同。VP距离与不同的q值一起使用。当 q → ∞时，VP = n我 + nj.除了高值的q旨在从尖峰序列中提取时间信息外，这些2D嵌入还表明，使用VP的速率和时序之间的贡献难以解释，并且对噪声非常敏感。
https://doi.org/10.1371/journal.pcbi.1011335.s007
（英文）
S8 图 SpikeShip的性能不受全局扩展率的影响。
两种不同的时间模式，具有不同的发射速率。每个时间模式可以发生在低 （λ在= 0.2 和 λ外= 0.02 spks/样品）， 培养基 （λ在= 0.4 和 λ外= 0.04 spks/样本）或高速率 （λ在= 0.7 和 λ外0.07 spks/样本）状态，恒定比率为 λ在/λ外.此外，噪声模式也可能出现在三种速率状态之一。脉冲持续时间为30个样本。底部显示了具有 SpikeShip 值的排序相异矩阵、具有真实簇标签的 t-SNE 嵌入和具有 HDBSCAN 簇标签的 t-SNE 嵌入。
https://doi.org/10.1371/journal.pcbi.1011335.s008
（英文）
S9 图 SpikeShip的性能不受本地缩放率的影响。
两种不同的时间模式，具有不同的发射速率。每种时间模式都可能发生在两种速率状态之一：在第一速率状态下，前 25 个神经元以低速率 （λ在= 0.3 和 λ外= 0.03 spks/样本），其他 25 个以高速率发射 （λ在= 0.7 和 λ外= 0.07 个 spks/样本）。在第二速率状态下，速率缩放是相反的。脉冲持续时间为30个样本。底部显示了具有 SpikeShip 值的排序相异矩阵、具有真实簇标签的 t-SNE 嵌入和具有 HDBSCAN 簇标签的 t-SNE 嵌入。
https://doi.org/10.1371/journal.pcbi.1011335.s009
（英文）
S10 图 SPIKE 和 RI-SPIKE 的性能受全局和本地扩展的影响。
A） 全球扩展。全局缩放序列的 SPIKE 和 RI-SPIKE 计算。顶部：按模式 ID 和比例因子排序的相异性矩阵。下图：纪元的二维t-SNE嵌入。B） 局部缩放。局部缩放序列的 SPIKE 和 RI-SPIKE 计算。A和B都是使用与S2图相同的模拟计算的。顶部：按模式 ID 和比例因子排序的相异性矩阵。下图：纪元的二维t-SNE嵌入。前 8 个纪元对应于噪声。
https://doi.org/10.1371/journal.pcbi.1011335.s010
（英文）
S11 图 比较自然场景演示期间单个会话的峰值列车指标。
A） 按纪元和指标的聚类性能进行成对比较（一个会话）。顶部：按自然场景 ID 排序的相异性矩阵。 底部：2D t-SNE 嵌入。聚类性能是通过调整后排名指数 （ARI） 计算的。我们使用高斯混合（GM）为每个集群分配标签。B） 聚类性能的分布（ARI通用 汽车） 跨会话。对于 VP 距离，计算每个会话的平均峰值时间数 （n）。n和N在所有会话中的平均值和标准差为（μn= 2.1， σn= 0.26） 和 （μN= 570.4， σN= 190.6），分别。ARI的中值通用 汽车对于发射速率，RI-SPIKE和SpikeShip分别为0.1848，0.075和0.1865。我们跨时代进行了韦尔奇t检验。从比较 SpikeShip 和所有其他指标中获得的 p 值为：（发射率，SpikeShip）= 6.71 × 10?2， （RI-SPIKE， SpikeShip） = 5.49 × 10?9.
https://doi.org/10.1371/journal.pcbi.1011335.s011
（英文）
S12 图 来自SpikeShip的集群与自然场景的发射率嵌入之间的比较。
A） 来自 SpikeShip 和 Fired Rate 的相异矩阵的 2D t-SNE 嵌入。两个嵌入之间自然场景聚类的分配是不同的。自然场景由其ID表示。 B）每个星团的质心之间的缩放欧几里得成对距离，包括SpikeShip（左）和发射速率（中），以及它们的差异（右）。
https://doi.org/10.1371/journal.pcbi.1011335.s012
（英文）
S13 图 使用SPIKE和RI-SPIKE分析视觉刺激演示期间的大规模神经记录。
上图：按自然场景 ID 排序的相异性矩阵。 中图：来自自然场景 ID 着色的相异性矩阵的 2D t-SNE 嵌入。 下图：通过 SPIKE、RI-SPIKE、发射率和 Spikeship 计算的相异性矩阵之间的 ARI 分数和 Spearman 相关性的聚类性能。SPIKE和RI-SPIKE的集群性能低于使用传统发射速率和SpikeShip的集群性能。SPIKE和RI-SPIKE高度相关，而射速和SpikeShip高度不相关。
https://doi.org/10.1371/journal.pcbi.1011335.s013
（英文）
S14 图 3只小鼠的自发活性分析。
三只小鼠（行）的多尖峰序列分析。左：相异矩阵。中间：2D t-SNE 嵌入。右：2D 光谱嵌入（拉普拉斯特征图）。
https://doi.org/10.1371/journal.pcbi.1011335.s014
（英文）
S15 图 纪元的可变性允许区分低运动和中高速运动时期。
t-SNE 和光谱嵌入 （SE） 的每个纪元到质心之间的 L2 距离的归一化分布。我们在低运动和中高速运动时期之间进行了韦尔奇t检验（两组之间的方差小于5×10?4).因此，如果 p 值< 0.005，（**） 如果 p 值< 0.05，如果 p 值< 0.5（即，反对总体均值相等的原假设的证据），则为 （***）。
https://doi.org/10.1371/journal.pcbi.1011335.s015
（英文）
S16 图 具有相同尖峰计数的尖峰列车的VP和EMD距离之间的关系。
具有相同数量的尖峰（即 n = 20）的尖峰列车的模拟。上图：VP和EMD之间的距离比较。尖峰列车被定义为m= （0， ...， 0） 和 tk = (T， ...， T），其中 T 是窗口长度。左：VP（q = 1/n） 达到最大值，直到 T = 2 n = 40。在该阈值之后，VP（q = 1/n）分配插入成本而不是偏移。右：（T/n） VP（q = 1/T） 等于 EMD。下图：VP 和 EMD 在 100 次模拟中的平均距离比较。t 的尖峰时间m和 tk（具有相同的尖峰计数）从均匀分布U（0，T）随机生成。
https://doi.org/10.1371/journal.pcbi.1011335.s016
（英文）
引用
1.Havenith MN， Yu S， Biederlack J， Chen NH， Singer W， Nikolic D. 同步使神经元按顺序放电，刺激属性决定谁领先。J 神经科学。2011;31(23):8570–84.pmid：21653861
查看文章PubMed/NCBI谷歌学术搜索
2.Vinck M， Lima B， Womelsdorf T， Oostenveld R， Singer W， Neuenschwander S， et al.清醒猴视觉皮层中的伽马相移。神经科学杂志。2010;30(4):1250–1257.密码：20107053
查看文章PubMed/NCBI谷歌学术搜索
3.卢扎克 A， 巴托 P， 哈里斯 KD.自发事件概述了新皮质人群中可能的感觉反应领域。神经元。2009;62(3):413–25.密码：19447096
查看文章PubMed/NCBI谷歌学术搜索
4.Lu T， Liang L， Wang X. 清醒灵长类动物听觉皮层中时变信号的时间和速率表示.纳特神经科学。2001;4(11):1131–8.密码：11593234
查看文章PubMed/NCBI谷歌学术搜索
5.Pastalkova E，Itskov V，Amarasingham A，Buzsaki G.大鼠海马体中内部生成的细胞组装序列。科学。2008;321(5894):1322–7.密码：18772431
查看文章PubMed/NCBI谷歌学术搜索
6.Ikegaya Y， Aaron G， Cossart R， Aronov D， Lampl I， Ferster D， et al.合成链和皮质歌曲：皮质活动的时间模块。科学。2004;304(5670):559–564.pmid：15105494
查看文章PubMed/NCBI谷歌学术搜索
7.Wehr M， Laurent G. Odour 编码由振荡神经组件中发射的时间序列进行编码。自然界。1996;384(6605):162–6.pmid：8906790
查看文章PubMed/NCBI谷歌学术搜索
8.承海， 李德.多种感知方式。科学。2000;290(5500):2268–2269.pmid：11188725
查看文章PubMed/NCBI谷歌学术搜索
9.Jun JJ， Steinmetz NA， Siegle JH， Denman DJ， Bauza M， Barbarits B， et al.完全集成的硅探针，用于高密度记录神经活动。自然界。2017;551(7679):232–236.密码：29120427
查看文章PubMed/NCBI谷歌学术搜索
10.斯特林格 C， 帕奇塔留 M， 斯坦梅茨 N， 雷迪 CB， 卡兰迪尼 M， 哈里斯 KD.自发行为推动多维的、全脑的活动。科学。2019;364 (6437).pmid：31000656
查看文章PubMed/NCBI谷歌学术搜索
11.Stringer C， Michaelos M， Tsyboulski D， Lindo SE， Pachitariu M. 视觉皮层中的高精度编码。细胞。2021;184(10):2767–2778.密码：33857423
查看文章PubMed/NCBI谷歌学术搜索
12.Siegle JH， Jia X， Durand S， Gale S， Bennett C， Graddis N， et al.对小鼠视觉系统中尖峰的调查揭示了功能层次结构。自然界。2021;592(7852):86–92.密码：33473216
查看文章PubMed/NCBI谷歌学术搜索
13.张玲， 曹岳.灵长类动物大脑中面部识别的代码。细胞。2017;169(6):1013–1028.密码：28575666
查看文章PubMed/NCBI谷歌学术搜索
14.Churchland MM， Cunningham JP， Kaufman MT， Foster JD， Nuyujukian P， Ryu SI， et al.到达过程中的神经种群动态。自然界。2012;487(7405):51–56.pmid：22722855
查看文章PubMed/NCBI谷歌学术搜索
15.Dragoi G，Buzsaki G.海马细胞组件对位置序列的时间编码。神经元。2006;50(1):145–57.pmid：16600862
查看文章PubMed/NCBI谷歌学术搜索
16.Mainen ZF， Sejnowski TJ.新皮质神经元尖峰时间的可靠性。科学。1995;268(5216):1503–1506.pmid：7770778
查看文章PubMed/NCBI谷歌学术搜索
17.Markram H，Lubke J，Frotscher M，Sakmann B.突触后APs和EPSP的巧合来调节突触功效。科学。1997;275(5297):213–5.密码：8985014
查看文章PubMed/NCBI谷歌学术搜索
18.神经回路的尖峰时序依赖性可塑性。神经元。2004;44(1):23–30.密码：15450157
查看文章PubMed/NCBI谷歌学术搜索
19.雅培LF，百隆KI。长期增强对序列学习和预测的功能意义。大脑皮层。1996;6(3):406–16.密码：8670667
查看文章PubMed/NCBI谷歌学术搜索
20.Buonomano DV，Maass W.状态依赖计算：皮层网络中的时空处理。国家修订版神经科学。2009;10(2):113–25.密码：19145235
查看文章PubMed/NCBI谷歌学术搜索
21.辛格W，拉扎尔·大脑皮层是否利用高维非线性动力学进行信息处理？计算神经科学前沿。2016;10:99.密码：27713697
查看文章PubMed/NCBI谷歌学术搜索
22.斯坦梅茨 N， 帕奇塔留 M， 斯金格 C， 卡兰迪尼 M， 哈里斯 K. 自发行为期间的八探针神经像素记录;2019. 可用： https://janelia.figshare.com/articles/dataset/Eight-probe_Neuropixels_recordings_during_spontaneous_behaviors/7739750/.
23.维克多·JD，紫癜KP。视觉皮层中时间编码的性质和精度：度量空间分析。神经生理学杂志。1996;76(2):1310–1326.密码：8871238
查看文章PubMed/NCBI谷歌学术搜索
24.维克多·JD，紫癜KP。尖峰列车的度量空间分析：理论、算法和应用.网络：神经系统中的计算。1997;8(2):127–164.
查看文章谷歌学术搜索
25.Kreuz T， Chicharro D， Houghton C， Andrzejak RG， Mormann F. 监测尖峰列车同步。神经生理学杂志。2013;109(5):1457–1472.密码：23221419
查看文章PubMed/NCBI谷歌学术搜索
26.萨图沃里 E， 穆兰斯基 M， 博扎尼奇 N， 马尔维斯特奥 I， 泽尔登鲁斯特 F， 伦克 K， 等.具有多个时间尺度的数据的峰值列车同步度量。神经科学方法杂志。2017;287:25–38.密码：28583477
查看文章PubMed/NCBI谷歌学术搜索
27.Grossberger L，Battaglia FP，Vinck M.使用新颖的相异性度量的高维神经元集合中时间模式的无监督聚类。公共科学图书馆计算生物学。2018;14（7）：e1006283.密码：29979681
查看文章PubMed/NCBI谷歌学术搜索
28.Van der Maaten L， Hinton G. 使用t-SNE可视化数据。机器学习研究杂志。2008;9(11).
查看文章谷歌学术搜索
29.Van Der Maaten L. 使用基于树的算法加速 t-SNE。机器学习研究杂志。2014;15(1):3221–3245.
查看文章谷歌学术搜索
30.Hinton G. 随机邻居嵌入。神经信息处理系统的进步。2003;15:857–864.
查看文章谷歌学术搜索
31.McInnes L，Healy J，Astels S. hdbscan：基于分层密度的聚类。开源软件杂志。2017;2(11).
查看文章谷歌学术搜索
32.萨图沃里 E， 克鲁兹 T.哪种尖峰列车距离最适合区分速率和时间编码？神经科学方法杂志。2018;299:22–33.密码：29462713
查看文章PubMed/NCBI谷歌学术搜索
33.Thorpe S， Delorme A， Van Rullen R. 基于Spike的快速处理策略。神经网络。2001;14(6-7):715–725.密码：11665765
查看文章PubMed/NCBI谷歌学术搜索
34.McGinley MJ， Vinck M， Reimer J， Batista-Brito R， Zagha E， Cadwell CR， et al. 清醒状态：快速变化调节神经和行为反应。神经元。2015;87(6):1143–61.密码：26402600
查看文章PubMed/NCBI谷歌学术搜索
35.Mackevicius EL， Bahle AH， Williams AH， Gu S， Denisenko NI， Goldman MS， et al.在高维数据集中无监督地发现时间序列，并应用于神经科学。生活。2019;8：e38471.密码：30719973
查看文章PubMed/NCBI谷歌学术搜索
36.Williams A， Degleris A， Wang Y， Linderman. 用于高维神经尖峰序列检测的点过程模型。神经信息处理系统的进步。2020;33:14350–14361.pmid：35002191
查看文章PubMed/NCBI谷歌学术搜索
37.基于分层狄利克雷点过程的在线神经序列检测.神经信息处理系统的进展。2022;35:6654–6665.
查看文章谷歌学术搜索
38.Peter S， Kirschbaum E， Two M， Campbell L， Harvey B， Heins C， et al.用于神经元组装检测的稀疏卷积编码。神经信息处理系统的进展。2017;30.
查看文章谷歌学术搜索
39.Quaglio P， Rostami V， Torre E， Grün S. 识别大规模平行尖峰列车中尖峰模式的方法。生物控制论。2018;112:57–80.密码：29651582
查看文章PubMed/NCBI谷歌学术搜索
40.Russo E，Durstewitz D.具有任意滞后星座的多个时间尺度上的细胞组件。生活。2017;6：e19428.密码：28074777
查看文章PubMed/NCBI谷歌学术搜索
41.Pipa G，Wheeler DW，Singer W，Nikoli? D. NeuroXidence：可靠有效地分析关节尖峰事件的过量或不足。计算神经科学杂志。2008;25:64–88.密码：18219568
查看文章PubMed/NCBI谷歌学术搜索
42.维克多·JD，紫癜KP。视觉皮层中时间编码的性质和精度：度量空间分析。J 神经生理学。1996;76(2):1310–26.密码：8871238
查看文章PubMed/NCBI谷歌学术搜索
43.范罗森 MC.新颖的尖峰距离。神经计算。2001;13(4):751–763.pmid：11255567
查看文章PubMed/NCBI谷歌学术搜索
44.Aronov D. 用于多个单个神经元同时响应的度量空间分析的快速算法。神经科学方法杂志。2003;124(2):175–179.pmid：12706847
查看文章PubMed/NCBI谷歌学术搜索
45.西恩·根据推土机的距离变化而对射速具有鲁棒性的尖峰列车距离。计算神经科学前沿。2019;13:82.pmid：31920607
查看文章PubMed/NCBI谷歌学术搜索
46.威廉姆斯 AH， 普尔 B， 马赫斯瓦拉纳坦 N， 达瓦勒 AK， 费舍尔 T， 威尔逊 CD， 等.通过稳健且可解释的时间扭曲发现大规模神经记录中的精确时间模式。神经元。2020;105(2):246–259.pmid：31786013
查看文章PubMed/NCBI谷歌学术搜索
47.Cormen TH， Leiserson CE， Rivest RL， Stein C. 算法简介.麻省理工学院出版社;2009.
48.布莱奇C，奥弗顿ML。加权中位数问题的线性时间算法。纽约大学库朗数学科学研究所;1983.
49.博沃·罗布斯塔茨;2020. https://github.com/FilippoBovo/robustats.
50.Denker M， Yegenoglu A， Grün S. 使用大象框架在HBP合作实验室上启用HPC的协作工作流程。在： 神经信息学 2018;2018.第19页。可用： https://abstracts.g-node.org/conference/NI2018/abstracts#/uuid/023bec4e-0c35-4563-81ce-2c6fac282abd.
51.Mulansky M， Kreuz T. PySpike—一个用于分析spike列车同步的Python库。软件X。2016;5:183–189.
查看文章谷歌学术搜索