提高不变和配置神经表征的神经影像解码测试的有效性

法比安·索托 ，桑杰·纳拉西沃德亚尔

发布时间：23 年 2023 月 <> 日

抽象

感觉神经科学中的许多研究问题涉及确定刺激属性的神经表示是不变的还是特定于特定刺激上下文的（例如，对象表示是否不变于翻译？人脸特征的表示是否特定于其他人脸特征的上下文？在这两个极端之间，表示也可以是上下文容限或上下文相关的。大多数神经影像学研究都使用了操作测试，其中目标属性是从针对相反属性的原假设的显著测试中推断出来的。例如，流行的交叉分类检验得出结论，当特异性的原假设被拒绝时，表示是不变的或容忍的。最近发展的一项神经计算理论提出了关于此类测试的两个见解。首先，针对上下文特异性零的测试，以及上下文不变性的替代方案，由于神经影像学研究中潜在的神经表征转化为间接测量的方式，容易出现误报。其次，针对不变性和特异性的零点联合执行测试可以使人们对基础表示得出更精确和有效的结论，特别是当使用来自分类器决策变量的细粒度信息而不是仅使用准确性（即，使用解码可分离性测试）测试不变性零时。在这里，我们提供了支持这两种理论见解的经验和计算证据。在我们的实证研究中，我们使用初级视觉皮层中的方向和空间位置编码作为案例研究，因为以前的研究已经确定这些属性是以上下文敏感的方式编码的。使用fMRI解码，我们表明交叉分类测试产生不变性的假阳性结论，但是通过联合执行针对不变性零的测试可以得出更有效的结论。两次模拟的结果进一步支持了这两个结论。我们的结论是，通过联合测试这两种假设，并使用神经计算理论来指导结果的解释，可以得出关于神经表征不变性或特异性的更有效的推论。

作者摘要

感觉神经科学中的许多研究问题涉及确定刺激属性的表示是不变的还是特定于刺激上下文的变化（例如，平移不变对象表示;面部特征的配置表示）。在这两个极端之间，表示也可以是上下文容限或上下文相关的。大多数神经影像学研究都使用操作测试来研究不变性，其中近年来使用最广泛的是交叉分类。我们提供了来自功能性MRI研究，模拟和理论结果的证据，支持有关此类测试的两个见解：（1）寻求为不变性提供证据（如交叉分类）的测试具有夸大的假阳性率，但（2）使用补充测试来寻找上下文特异性的证据会导致更有效的结论。

引文： Soto FA，Narasiwodeyar S （2023） 提高不变和配置神经表示的神经影像解码测试的有效性。公共科学图书馆计算生物学19（1）： e1010819. https://doi.org/10.1371/journal.pcbi.1010819

编辑 器： 艾玛克莱尔罗宾逊， 英国伦敦国王学院

收到： 13月 2022， 15;接受： 2022月 23， 2023;发表： <>月 <>， <>

版权所有： ? 2023 索托，纳拉西沃德亚尔。这是一篇根据知识共享署名许可条款分发的开放获取文章，该许可允许在任何媒体上不受限制地使用、分发和复制，前提是注明原作者和来源。

数据可用性： 本研究中报告的所有数据以及用于模拟的代码可在以下OSF页面中找到：https://osf.io/z2h9w/。

资金： 这项工作得到了美国国家科学基金会（https://www.nsf.gov/）对FAS的2020982号资助的支持。资助者在研究设计、数据收集和分析、发表决定或手稿准备方面没有任何作用。

竞争利益： 提交人声明不存在相互竞争的利益。

介绍

感觉和认知神经科学中的一个常见问题是，刺激属性的神经表征在多大程度上随着刺激其他方面的变化而变化，即呈现刺激的背景。如图 1A 所示，一种可能性是目标属性的神经表示对上下文的变化是不变的。在这种情况下，表示目标属性的神经活动根本不会随着上下文的变化而改变。另一种可能性是目标属性的神经表示是特定于上下文的。在这种情况下，表示目标属性的神经活动会随着上下文的变化而完全变化。描述上下文特异性的另一种方法是说目标属性及其上下文以配置方式表示;也就是说，作为与其组件分开的配置。如图1A所示，这两种完全不变性和特异性的情况应被视为连续统一体中的极端情况。在这个连续统一体中，更接近不变性的表征（连续体的左半部分）可以被描述为对上下文变化的“容忍”，而更接近特异性的表示（连续体的右半部分）可以被描述为对上下文变化“敏感”。

缩略图 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图1. 不变和配置大脑表征的测试。

答：神经编码的不同程度的变化是上下文变化的函数。随着上下文的变化，上下文不变表示根本不会改变，而特定于上下文的表示完全改变，在两个极端之间具有连续统一体。文献中的测试侧重于针对两个极端之一的证据。B：上下文不变性和特异性的测试。步骤 1 和 2 对于所有测试都是通用的。在步骤 3 中如何评估不变性/特异性的不同测试不同。该图描述了分类器决策变量的分布以及每个测试关注的这些分布区域（灰色）。C：表示从神经活动空间转换为体素测量空间。上下文不变表示（顶部）不能变换以降低其不变性并增加其特异性，而上下文特定表示（底部）可以变换以增加其不变性并降低其特异性。D：突出显示空间平滑与细粒度编码方案之间的差异的示例，以及在体素分析中产生误报的两种方案的特定组合。每列表示一个包含神经元（小圆圈）的体素，每个体素对目标属性的两个值（红色和黄色）之一具有选择性。对于上下文维度的两个级别（空间平滑编码），活动的多体素模式是相同的，但是完全不同的神经元群对每个级别进行编码（细粒度编码）。此图包括公共领域剪贴画，所有其他部分均为原始部分：https://commons.wikimedia.org/wiki/File:Gaussian_distribution.svg https://www.wpclipart.com/signs_symbol/arrows/BW_arrows/arrow_BW_thick_left.png.html。

https://doi.org/10.1371/journal.pcbi.1010819.g001

大多数人类神经影像学研究都使用操作测试研究了不变性和特异性，这些测试提供了反对图1A中两个极端所代表的零假设的证据。然而，大多数神经科学家更感兴趣的是确定一个表征在多大程度上更接近连续统一体中的一个极端，被归类为上下文容忍或上下文敏感。

例如，该领域使用最广泛的测试可能是交叉分类（或交叉解码;[1-3];我们也称此测试分类准确性泛化：[4]），如图1B所示。交叉分类的第一步是训练分类器根据跨体素观察到的fMRI活动模式解码特定的刺激特征，例如呈现的面部是男性还是女性。第二步是用fMRI活动的新模式测试经过训练的分类器，这次是通过呈现相同的刺激获得的，但在不相关的属性中发生了变化，例如头部方向。使用我们的命名法，在这个例子中，目标刺激属性是面部性别，上下文是面部方向。如果测试数据的准确性高于偶然性，那么研究人员通常会得出结论，在获得fMRI活动的区域内，目标特征的神经表示对上下文变化具有一定程度的耐受性（通常称为不变性）。

交叉分类测试已被用于为跨视点 [5]、对象类别和跨空间位置的视点 [6] 、跨形状的对象类别（反之亦然;[7]，跨模态的运动动作[8]，跨发音方式的言语发音特征[9]，跨刺激模态的对象类别[10]或面孔身份[11]，跨刺激模态的单词语义类别[12]，跨分类任务的学习类别标签[13]，以及跨语言的语义词表示[14]等（有关综述，请参阅[3]）。

交叉分类是对零假设的检验，即解码准确性从一个上下文到另一个上下文没有泛化，在目标属性的特定于上下文的编码下将满足这一条件。如图 1 所示，反对上下文特异性极端的证据意味着表示可以落在连续统一体中的任何地方，除了右极端。不变性和容差只是其中的一部分可能性，因为表示也可能是上下文相关的。

提供反对不变性原假设证据的检验的一个例子是分类准确性不变性检验[4]。如图 1B 所示，该测试涉及与交叉分类相同的步骤，但在测试阶段，分类器呈现在训练和测试上下文（即图 1 中的上下文 2 和 1）获得的数据。零假设是解码精度在上下文中是等效的（参见图 3B 中的步骤 2.1）。当准确性从训练上下文到测试上下文显著下降时，可以得出结论，解码属性的基础表示对于上下文不是不变的。我们知道之前至少有一项研究使用该测试的版本来研究人脸信息的编码[6]。

同样，反对上下文不变性极端的证据意味着表示可以落在图1A所示的连续统一体中的其他任何地方。上下文特异性只是其中一种可能性，因为表示也可能是上下文相关或上下文容忍的。

当前实践中的一个重要问题是，研究人员似乎认为不变性和特异性可以相互对比，而忽略了这两个极端之间存在连续统一体，并且大多数情况可能位于该连续统一体中的某个地方。因此，更合理的方法是确定是否存在足够的证据来拒绝一个极端而不是另一个极端，这提供了证据，证明表征位于连续统的左半部分（不变性/公差）或右半部分（特异性/敏感性）。

在之前的一篇理论论文[4]中，我们探讨了神经表征的上下文耐受性或特异性可以在多大程度上使用各种神经影像学分析来测量，重点是解码测试，如交叉分类和分类准确性不变性。由于神经影像学仅涉及神经活动的间接测量，因此不能用于获得神经表征在图1A所示连续统一体中的位置的精确指标。通常，神经表示从神经空间转换为测量空间（例如，体素活动）的过程将以使得这种精确指标无法实现的方式扭曲表示。然而，像刚才描述的神经影像解码测试的结果确实允许对潜在的神经表征做出一些推断。除了阐明不同测试测量的内容（即交叉分类提供了反对上下文特异性的证据，而不是不变性的证据）之外，这项理论工作还提供了两个对神经影像学研究产生影响的重要见解。

第一个理论见解，在我们以前的工作中没有明确描述或支持，但这项工作强烈建议，是针对不变性和特异性的零进行联合测试可以使人们得出关于潜在表征的更精确和有效的结论。当进行这两种类型的测试时，可以使用表 1 得出有关底层神经代码属性的有效结论。例如，人们可以使用交叉分类检验来获得反对上下文特异性的证据，但通常使用该检验的研究人员有兴趣得出有利于不变性或容忍性的结论（例如，[3，5]）。为此，来自不变性测试的信息将非常有用。如果针对不变性的测试不显著，则可以为容差表示提供更有力的理由。由于样本量和测量噪声在此检验和显著交叉分类检验中是等效的，因此最好的解释是，基础表示可能比不变性更接近特异性，是容忍/不变的而不是敏感的。另一方面，如果测试提供了反对不变性的证据，那么基础表示可以在图1A所示的连续统一体中的任何位置，除了在两个极端，并且在基础表示中做出公差的结论还为时过早，因为它们也可能是上下文相关的。由于针对不变性的检验在文献中很少使用，因此当前研究的一个目标是提供此类检验有效性的证据，并且我们声称将它们与针对特异性的检验一起执行应该导致关于潜在表征的更有效的结论。

缩略图 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

表 1. 查找表总结了应如何解释针对特异性和不变性的联合测试。

https://doi.org/10.1371/journal.pcbi.1010819.t001

第二个理论见解是，关于不变性和上下文特异性检验的有效性存在重要的不对称性。如果潜在的神经表征确实是不变的，那么从神经影像学解码测试中将永远不会找到显示不变性证据的信号。在这种情况下，任何缺乏不变性的发现都将由测量噪声引起，并且这种发现的概率将等于统计检验的假阳性（I型）错误率，通常α = .05。另一方面，如果基础表示确实是特定于上下文的，则仍然可以在体素级别找到显示反对上下文敏感性的证据的信号。在这种情况下，这样的信号会增加误报的可能性，这将高于α。

原因在于测量模型的贡献，该模型总结了表示如何从神经表示空间转换为测量变量空间。图1C描述了一个示意图示例，其中在一个上下文中目标刺激的表示（例如，具有正面方向的面）显示为红色圆圈，而在第二个上下文中的表示（例如，具有横向方向的面）显示为绿色十字。在上面的示例中，原始神经表示是完全上下文不变的，这意味着任一上下文中刺激的表示都位于神经空间中的完全相同点。无论测量模型引起什么变换，这种表示在测量空间中都将保持不变，因为变换将对两个相同的表示（即图 1C 中的重叠十字和圆）产生相同的影响。在下面的示例中，原始表示是完全特定于上下文的，这意味着刺激表示根据上下文占据完全不同的空间区域。在这种情况下，有一些转换可以减少跨上下文中刺激表示的差异，使表示不那么特定于上下文。总之，从神经空间到测量空间（即测量模型）的转换不能使完全不变的表示看起来好像对上下文敏感，但它可以使完全特定于上下文的表示看起来好像它容忍上下文的变化。

在我们之前的工作[4]中，我们通过数学证明表明，这种不对称性是神经活动间接测量中关于不变性和特异性的推断所固有的。虽然这些结果是一般性的（即，它们不对编码和测量的细节做出假设），但它们也非常抽象，不允许人们精确地描述神经影像学研究中问题的潜在普遍性。为此，必须更明确地说明假定起作用的特定编码和测量模型。在这里，我们朝着这个方向迈出了一步，专注于计算认知神经科学中广泛使用的编码和测量模型，这些模型被认为在早期视觉编码的神经影像学研究中发挥作用。

最简单的例子是，目标属性的变化导致活动空间分布的平滑变化，其规模与体素大小相似，而上下文的变化在亚体素水平上产生活动的细粒度空间分布的变化[15]。以图1D所示为例。每列代表一个包含大量神经元的不同体素，由小圆圈表示，对某些目标刺激属性具有选择性。在这个简化的示例中，神经元可以显示对目标属性的两个值之一的偏好，由红色和黄色表示。神经元在特定上下文中可能处于非活动状态，由灰色表示。不同的体素具有不同比例的两种类型的神经元，因此尽管每个体素产生的活动的空间池化，但每个刺激属性在体素之间产生了独特的活动模式。这是一种空间平滑的编码方案。

另一方面，请注意，在体素内，广泛不同的活动空间分布如何在体素级别产生相同的全局活动值。例如，在上下文 1（顶部）和上下文 1（底部）中，体素 2 获得相同的聚合活动，尽管活动的细粒度分布差异很大。所有其他体素也是如此。因此，在每个体素中，人们可以看到区分上下文的细粒度编码方案。

更重要的是，在图1D中，在第一个上下文中编码目标维度的神经元（神经元的不均匀列）与在第二个上下文中编码目标维度的神经元（甚至是神经元列）完全不同。但是，特定于上下文维度的每个值的神经元的空间分布在空间上是均匀的，无论上下文如何，体素中每种神经元的数量大致相同。

跨体素对目标维度进行空间平滑编码的结果，以及特定于上下文维度的每个值的神经元的细粒度空间分布，结果产生了目标维度的神经编码是特定于上下文的，但在体素活动级别上显示为完全不变的情况。

大脑中这种类型的编码的一个很好的例子是V1中的空间位置和方向编码。在V1中，空间位置的编码在空间上是平滑的，视网膜图的比例与神经成像中通常用于的体素大小相似，而方向的编码在空间上更加细粒度（见[16，17]）。这个例子表明，图1D举例说明的编码方案可以在大脑中找到。

由于图1C中描述的测量模型的影响，对于旨在寻找容差/不变表示证据的研究人员来说，联合执行和解释不变性和特异性测试的需求甚至更大。如果在上下文特异性测试（例如交叉分类）中由于测量模型中的问题而发现误报，则不变性测试（例如，分类准确性不变性）也不太可能显着。交叉分类检验的假阳性（即>α）的固有倾向可以通过解释其结果以及针对不变性零的测试结果来部分控制。

在这里，我们通过来自fMRI解码研究的经验证据和来自模拟工作的计算证据，表明上述两个理论见解对神经影像学研究具有重要影响。在实证研究中，我们从V1中记录的fMRI活动模式中解码方向和空间位置，在这种情况下，底层神经代码的特性是已知的。交叉分类检验为错误结论提供了强有力的证据，即在V1中，空间位置编码对方向变化是容忍/不变的，以及方向对空间位置变化是容忍/不变的错误结论的一些证据。我们发现，使用理论上派生的不变性测试可以得出关于底层代码的更有效的结论。两次模拟的结果进一步支持了所有这些结论。我们的结果强调了在试图从神经影像解码研究中推断神经表征时，使用不变性测试与上下文特异性测试（例如交叉分类）的有效性和价值。

结果

实验结果

我们研究的目的是验证上述神经计算理论[4]提供的两个见解。为此，我们将不变性和特异性的解码测试应用于V1中的方向和空间位置研究。先前的研究已经确定这些属性不是以不变的方式编码的，但是，如前所述，如果单独应用特异性测试（例如交叉分类），则V1中方向和空间位置图的空间尺度可能会导致不变性的错误结论。

参与者在执行涉及屏幕中央呈现的刺激的任务时，在图2中呈现刺激。同时采集功能性MRI数据，单独的运行为支持向量机（SM）分类器的训练和测试提供数据。训练运行由仅在右上角和左下角的空间位置呈现的刺激组成（在图2中通过红色和蓝色框突出显示）。测试运行包括所有十六种刺激组合。我们训练了一个线性SVM分类器来解码目标维度（例如，空间位置），同时保持上下文维度（例如，光栅方向）不变。然后，我们使用在上下文维度的训练值（例如，0°方向）以及上下文维度的新值（例如，45°，90°和135°方向）获得的数据来测试分类器。分类器提供了决策变量和准确性估计，用于执行特异性测试（交叉分类）和下面介绍的两个不变性测试（分类准确性不变性、解码可分离性）（有关更多详细信息，请参阅材料和方法）。

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图2. 刺激。

刺激物由定向光栅（维度1）组成，呈现在窗口空间位置（维度2）。每项试验都由定向光栅和空间位置的单一组合组成。训练运行由仅在右上角和左下角空间位置呈现的刺激组成（通过红色和蓝色框突出显示）。测试运行包括所有十六种刺激组合。

https://doi.org/10.1371/journal.pcbi.1010819.g002

交叉分类测试会产生误报。

我们使用交叉分类检验进行了一组分析，以验证我们的理论预测，即这种方法应该产生假阳性不变性的结果。交叉分类测试是通过评估经过训练以在上下文维度的一个级别对目标维度进行分类的线性解码器是否可以在上下文维度的非训练级别上执行相同的分类来进行的。交叉分类检验的阳性结果通常被视为感兴趣区域中存在不变表示的证据[2，3]。

我们使用交叉分类测试进行了两次单独的分析，其中我们切换了目标和上下文维度的身份。在第一次分析中，空间位置被视为要解码的目标维度，而方向仍被视为上下文维度。为了获得空间位置的解码刺激值，我们使用V1体素活动的去卷积单试验估计值作为SVM线性解码器的输入。我们训练解码器根据空间位置标签（右上角与左下角，参见图2中的盒装刺激）对试验进行分类，并使用留一跑出交叉验证保持光栅方向水平（上下文维度;例如，0°），并使用独立数据集在所有光栅方向级别（0°，45°，90°和135°）上对其进行测试。为了测试交叉分类不变性，我们对测试数据集的准确性估计值进行了二项式测试，并使用Holm-Sidak方法进行了多次比较校正（有关更多详细信息，请参阅fMRI解码测试）。如果准确度分数明显高于偶然性，则交叉分类检验得出结论，空间位置总是从 V1 中的方向编码，这一结论已知为假。

对于每个参与者，我们重复分析四次，一次针对分类器训练数据中固定的每个光栅方向水平。我们预测，在使用空间位置作为要解码的相关维度的情况下，交叉分类测试将产生一致的误报。由于空间位置在 V1 中以空间平滑的方式编码，因此我们预计分类器在所有方向级别上都具有出色的性能。换句话说，我们预计分类器的准确率分数在上下文维度的不同级别上保持高于偶然性。

图3显示了这种解码过程对所有五个主题的精度估计。SVM 线性解码器在所有 5 个受试者的测试集中实现了极高的分类准确性。正如预测的那样，该测试错误地找到了所有参与者和所有测试中空间位置与方向不变的证据（所有p < .001;有关详细信息，请参阅S1文本中的表A）。这个结果并不令人惊讶，因为考虑到 V1 中的编码属性，人们会直观地期望它。然而，重要的一点是，在交叉分类测试的大多数应用中，研究人员对所研究领域的编码知之甚少，当底层代码不显示这种属性时，他们很容易得出支持不变性的结论。

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图3. 分类精度结果与用于解码空间位置的测试数据。

每一行代表对单个主题的完整分析。列表示在训练期间固定的上下文维度（方向）的不同级别，虚线表示机会表现。组描述性统计量（平均值和标准误差）显示在底行中。还显示了显著交叉分类和分类准确性不变性（成对比较，无显著性）检验的结果。

https://doi.org/10.1371/journal.pcbi.1010819.g003

我们进行了第二次分析，其中方向是要解码的目标维度，而空间位置是上下文维度。我们训练解码器根据光栅方向（0°、45°、90° 和 135°，参见图 2 中的盒装刺激）对试验进行分类，并使用留一跑出交叉验证保持空间窗口的位置不变（上下文维度;例如，图 2 中的右上角），并使用跨所有空间位置级别的独立数据集对其进行测试（右上， 图 2 中的右下角、左下角和左上角）。所有其他程序与第一次分析相同。图4显示了定向分析的解码精度结果。SVM 分类器能够成功解码所有受试者原始训练位置的方向信息，但对于受试者 1 和 4，这仅限于单个训练窗口（左下角），这至少部分是由于数据质量的个体差异（请注意，图 4 中受试者 3 的解码精度最低).与空间位置分类相比，分类器的准确度分数在未经训练的测试窗口中显著下降。

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图4. 分类精度结果与用于方向解码的测试数据。

每一行代表对单个主题的完整分析。列表示在训练期间固定的上下文维度（空间位置）的不同级别，虚线表示机会表现。组描述性统计量（平均值和标准误差）显示在底行中。还显示了显著交叉分类和分类准确性不变性（成对比较）检验的结果。

https://doi.org/10.1371/journal.pcbi.1010819.g004

训练窗口的分类器精度为交叉分类精度提供了性能上限（参见 [2， 3]）。也就是说，我们对训练窗口（训练窗口 1 的子 #4 和子 #1;参见图 4）具有不显著准确性的分析不感兴趣，因为在这些情况下，我们不希望有显著的交叉分类准确性。在训练窗口显示显著准确性的八项分析中，有两项产生了显著的交叉分类结果，这将导致不变性的结论无效。该数字高于这些测试的 5% 预期假阳性率，但二项式检验在 p = .051 时没有达到显著性，可能是由于仅涉及 <> 次分析的检验功效低。

针对特异性和不变性进行联合测试可得出有效结论。

上一节的结果表明，针对上下文特异性的原假设进行交叉分类检验可能导致关于表示不变性的错误结论。接下来，我们旨在证明添加不变性测试[4]可以解决这些问题，并得出关于底层代码的更有效的结论。在这里，我们在数据集上应用了其中两个测试：分类精度不变性测试和解码可分离性测试。与交叉分类检验相比，这两种理论驱动的检验都试图检测不变性的失败，而不是提供不变性的证据。

分类精度不变性检验将不变性定义为在所有上下文中正确分类的概率完全相同的情况。由于不变性是原假设，因此检验对分类器在上下文维度的不同级别上性能的任何下降都很敏感。我们通过对线性解码器的精度估计值应用综合卡方检验来实现分类精度不变性检验（即，测试所有比例是否相同或其中一些比例不同）。然后，我们在训练级别的准确性与上下文维度的每个非训练级别之间进行了成对比较。

与前两个测试不同，解码可分离性检验不使用分类精度估计值。相反，它直接依赖于单个刺激的解码概率分布的某些属性。也就是说，像这里使用的线性分类器通过计算决策变量 z 来执行新数据点的分类，该决策变量表示数据点与分隔两个类的分类器的超平面的距离。当决策变量大于某个标准值（通常为零）时，输出是一个类，而当决策变量小于标准时，输出是另一个类。解码可分离性检验不是比较简单的精度估计值，而是比较此类决策变量或解码分布的完整分布。

该测试遵循与前面介绍的分类精度不变性测试相同的步骤和基本原理，但我们没有计算精度并测试它们的差异，而是从经过训练的分类器中获取决策变量，并使用这些变量使用核密度估计来估计解码分布（见图 1B）。对于上下文维度上不同的每对刺激（例如，当解码变量为空间位置时，0°和45°光栅方向），我们使用离散化的L1指标计算解码分布之间的距离，该指标对应于图3B步骤3.1中的阴影区域。然后，我们对解码维度的值（例如，当解码变量为空间位置时的两个空间窗口）对许多这样的 L1 指标求和，从而产生统计量（参见方程 3）。简而言之，虽然单个 L1 指标类似于单个解码标签的分类器的准确性，但统计量类似于所有标签的整体解码准确性。唯一的区别是测量解码分布之间的距离，而不是精度。我们进行了排列检验，以确定在不变性原假设下，观察到的统计量是否高于偶然预期;该测试的阳性结果为给定比较的神经不变性提供了证据。此外，我们必须注意，从理论上讲，解码可分离性测试应该比解码精度不变性测试提供更多关于此类违规的信息（并且对此类违规行为更敏感）（见[4]）。

和以前一样，我们首先应用不变性检验来解码空间位置分类的结果。分类精度不变性的结果如图3所示，解码可分离性测试的结果如图5所示。从两个测试中获得的具体值在S1文本的表B和C中报告。分类精度不变性检验（图3）没有发现任何受试者反对不变性的证据。然而，根据理论预测，解码可分离性检验（图3）对数据中存在的不变性的证据更加敏感。该测试发现在许多情况下，基于准确性的测试要么发现误报（即交叉分类），要么未能检测到不变性失败（即分类精度不变性;见图3）。总体而言，我们发现解码可分离性测试在所有五名参与者的数据中检测到不变性失败（17 项分析中有 20 项）。

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图5. 以空间位置为目标维度解码可分离性测试结果。

每一行代表对单个主题的完整分析。列表示训练期间上下文维度（方向）的不同级别。y 轴显示统计数据，条形表示 90% 的自举置信区间。虚线和灰色区域表示两个分布之间不存在差异时统计量的期望值和 90% 自举置信区间。组描述性统计量（平均值和标准误差）显示在底行中。

https://doi.org/10.1371/journal.pcbi.1010819.g005

从这些结果可以看出，解码可分离性检验对底层神经代码中已知存在的不变性故障很敏感，即使解码精度似乎表明完全不变性（见图3）。这些结果是对直接从理论[4]发展而来的解码可分离性检验的实证验证。此外，这些结果显示了针对不变性的测试的价值，除了针对特异性的测试之外，还可以得出有关潜在神经表征的不变性或特异性的有效结论。执行这两项测试并遵循表 1 中的指南，对于 V1 中的空间位置编码是不变的还是特定于方向，结果尚无定论。这个保守的结论远远好于通过单独执行交叉分类检验得出的无效结论;也就是说，V1 中空间位置的编码对方向是不变的。

接下来，我们将不变性检验应用于取向分类的解码结果。分类精度不变性检验的结果如图4所示，解码可分离性检验的结果如图6所示。从两个测试中获得的具体值在S1文本的表B和C中报告。分类精度不变性检验（图4）在该分析中对不变性失效更为敏感。在分类器成功解码训练窗口中机会水平以上的方向的每种情况下，都检测到不变性失败。有趣的是，在分类器没有成功解码高于机会的方向的情况下，也检测到不变性失败。这是违反直觉的，但从理论角度来看是意料之中的（见[4]），这表明解码器不必准确执行或以任何方式达到最佳状态即可检测不变性故障。与我们的预期相反，在此分析中，解码可分离性检验检测不变性故障的频率低于分类精度不变性检验（见图6）。解码可分离性测试检测了五分之四参与者（十分之八的分析）的数据中不变性失败。

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图6. 以方向为目标维度解码可分离性测试结果。

每一行代表对单个主题的完整分析。列表示训练期间上下文维度（空间位置）的不同级别。x 轴中的值表示测试期间上下文维度（空间位置）的级别（TR：右上角;BR：右下角;TL：左上角;BL：左下角）。y 轴显示统计数据，条形表示 90% 的自举置信区间。虚线和灰色区域表示两个分布之间不存在差异时统计量的期望值和 90% 自举置信区间。组描述性统计量（平均值和标准误差）显示在底行中。

https://doi.org/10.1371/journal.pcbi.1010819.g006

与分类精度不变性测试相比，解码可分离性测试似乎对在解码器性能达到上限水平的情况下检测不变性故障更敏感（图5）。然而，当分类精度远低于上限水平时，例如在方向解码中，测试似乎不如分类精度不变性敏感，这可能是由于所涉及的排列测试的统计功效较低。

与空间位置解码的情况一样，在第二次分析中，我们也看到了针对不变性进行测试的价值。虽然交叉分类检验的结果表明受试者#2和#3中的不变表示（见图4），但在不变性检验的上下文中解释时，这些结果是不确定的。

仿真和理论结果

上一节中描述的实证结果清楚地支持以下假设：旨在为不变性提供证据的测试（例如交叉分类）容易出现误报，并且针对不变性和特异性的零联合执行测试可以使人们得出关于基本表示的更精确和有效的结论。

然而，实验工作存在一些问题，促使我们通过模拟工作进一步评估我们的假设。特别是，实验工作不允许完全控制潜在的神经表征。在我们的研究中，我们假设空间位置的编码特定于方向，反之亦然，但 V1 中这些变量的真正编码不太可能完全特定于上下文。例如，有证据表明V1中的少数神经元对定向是不变的[18]。这意味着空间位置的编码最好被描述为上下文相关，但挑剔的读者可能会将其解释为宽容的证据。模拟工作提供了对所研究表示的完全控制，可以使其完全特定于上下文，而对上下文变化没有任何程度的容忍度。相关的问题是：在这种情况下，交叉分类是否会导致假阳性不变性的结论？如果是：针对不变性的检验能否得出更有效的结论？

实验结果的另一个问题是它们可能难以概括。挑剔的读者可能会争辩说，像交叉分类这样的上下文特异性测试问题仅限于特殊情况，而不是理论所建议的一般性问题。同样，模拟和理论工作允许人们提供更通用的结果。

仿真 1：测量模型特征导致的假阳性不变性。

一些研究人员可能会争辩说，他们使用交叉分类测试来检测任何级别的上下文容忍度或上下文敏感性。事实上，一些研究人员将两者混为一谈，并将上下文敏感性归类为一种宽容或部分不变性。

从理论上讲，由于测量模型产生的转换，即使是完全特定于上下文的代码也可能在神经影像解码研究中产生不变性的错误结论（见图1C）。为了为这种一般性主张提供证据，我们转向模拟和理论工作（有关模拟中使用的模型和程序的详细信息，请参阅材料和方法部分中的模拟）。我们研究了一个完全上下文特异性的案例，其中不能声称神经表征中存在任何程度的耐受性。

为了创建这样的模型，我们首先定义了两组编码模型，对应于上下文维度的两个级别。在上下文1中，目标维度通过具有均匀特征（即均匀间隔的位置，相同的最大活动，相同的宽度）的神经通道进行编码，如图7A顶部所示。在上下文2中，目标维度通过具有完全随机特征的神经通道进行编码，如图7A底部所示。然后，我们通过优化测量模型的权重来产生假阳性不变性，使得体素活动值在上下文维度的两个级别上相似（图7A）。最后，我们从两个模型中采样数据，并将它们用作线性SVM分类器的输入。与前面的经验分析一样，解码器在第一级模型的数据上进行训练，并在第一级和第二级模型的独立数据上进行测试（图7B）。整个过程在每次模拟运行中重复 200 次，我们展示了模拟的平均结果。我们进行了 1 次模拟运行，逐渐增加每个体素中的测量噪声（标准偏差从 20 到 1，步长为 <>）。

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图 7. 模拟说明和结果 1.

答：仿真中使用的编码模型 1.B：每次重复模拟时采取的步骤 1.详见正文。C：来自上下文维度两个级别的模型生成的数据的分类器准确性分数。y 轴表示准确度分数，x 轴表示测量噪声水平（以标准偏差为单位），虚线表示机会性能。D：每种类型的阳性测试的比例。y 轴表示阳性的比例，x 轴表示测量噪声，虚线表示可接受的 5% 错误发现率。图E-F显示了表1中每种类型结论的比例（红色为特异性/灵敏度，蓝色为不变性/耐受性，绿色为无结论），通过联合测试特异性和不变性得出。在这两种情况下，交叉分类检验都用于特异性。E：使用分类精度不变性检验与不变性得出的结论。F：使用针对不变性的解码可分离性检验得出的结论。此图包括公共领域剪贴画，所有其他部分均为原始部分：https://freesvg.org/binary-file-vector-graphics。

https://doi.org/10.1371/journal.pcbi.1010819.g007

图7C显示了该仿真的解码精度结果。最重要的值由蓝色曲线表示，蓝色曲线表示分类器在上下文维度的非训练级别中的性能。只要准确度高于机会（由虚线表示），交叉分类检验就会得出不存在不变性（即假阳性不变性）的情况下不变性的结论。在所有噪声水平下，交叉分类准确度得分远高于偶然性，即使测量噪声急剧增加也是如此。图7D中的紫线显示了交叉分类测试的误报比例，在产生高于机会解码的所有噪声水平上，假阳性率始终保持在标称α = .05（由虚线表示）之上。只有当解码准确率下降到偶然水平（在经验设置中不应用测试的情况）时，交叉分类测试才会停止产生误报。

这些结果表明，即使底层编码分布本身显示绝对没有容忍度，选择合适的测量模型也足以在交叉分类测试中诱导误报。下一个问题是，对不变性零使用额外的检验是否可以得出更有效的结论。

图 7D 中的浅蓝色线显示了分类精度不变性检验正确拒绝不变性零的测试比例。该测试对测量噪声非常敏感，仅在最小的测量噪声水平下具有良好的功率（约80%）。图7D显示了表1中每种结论（特异度/灵敏度为蓝绿色，不变性/公差为红色，无结论为黑色）通过分别使用交叉分类和分类精度不变性检验得出的比例。这种策略确实在低噪声或高噪声水平下得出更有效的结论，但在中间水平上，该策略失败并产生高比例的容忍度结论。请注意，这些中间水平的噪声产生的解码精度约为 40%-60%，这是四种替代分类任务的实际值。在中等噪声水平上公差结论增加的原因与测试对噪声的敏感性不同有关。如图7D所示，分类精度不变性检验正确检测不变性证据的能力随着噪声的增加而迅速下降，而交叉分类检验错误检测针对特异性的证据的能力下降得更慢。因此，在中等噪声水平下，交叉分类检验仍然以高速率提供针对灵敏度的虚假证据，而噪声敏感度更高的分类精度不变性检验提供针对不变性的证据的能力迅速下降。但是，请注意，这可能与我们的模拟的特定设置有关，其中发现测量模型增加了在测量的活动模式水平上出现错误不变性的可能性。

图7C中的绿线显示了正确拒绝解码可分离性检验不变性零的测试比例。第一个值得注意的结果是解码可分离性测试对违反不变性的高灵敏度。在所有级别的噪声下，测试在几乎所有仿真运行中都检测到此类违规行为。请注意，即使解码精度下降到偶然，测试也很敏感。测试的所有这些特征都来自用于开发它的理论[4]。预期灵敏度高于基于准确性的测试，因为测试使用来自解码器决策变量完整分布的信息。面对测量噪声时，预计具有鲁棒性，因为尽管噪声减少了分布之间的高频差异，但它在较低频率下保持了差异（参见[4]）。我们必须注意，这种模拟可能高估了测试的灵敏度，因为我们的实验结果表明，测试经常错过真实数据中的重要性。

图7F显示了表1中每种结论（蔚蓝的特异性/灵敏度，红色的不变性/公差，黑色的无结论）的比例，分别使用交叉分类和解码可分离性检验，针对特异性和不变性进行联合测试。在这种情况下，永远不会得出无效的容忍结论。与直觉相反，随着噪声的增加，灵敏度的有效结论比不确定的结果增加。原因是交叉分类比解码可分离性对噪声更敏感。

总体而言，该模拟的结果为我们的假设提供了进一步的证据，表明当底层神经代码中绝对不存在容忍度时，交叉分类会导致错误的容忍度结论，并且添加针对不变性的测试会导致更有效的结论。结果表明，正如理论所期望的那样，解码可分离性应优于分类精度不变性，以测试不变性[4]。

评估假阳性不变性问题的普遍性。

挑剔的读者可能会争辩说，在第一次模拟中导致假阳性不变性的条件，即明确选择在上下文维度的各个级别上产生相似体素活动模式的测量权重，在实际的功能磁共振成像实验中不太可能发生。真正的测量过程没有经过训练，无法使活动值在不同级别的不相关维度上相似。第一次模拟中发现的假阳性不变性问题有多普遍？在这里，我们表明，与直觉相反，这个问题非常普遍。

在我们的模拟中使用的标准编码模型中，神经通道c对刺激的平均响应s我，在上下文 j 中表示，由调谐函数 f 给出JC(s我）（参见材料和方法中的模型小节）我们可以收集 N 的平均响应c群体响应向量中的通道。在任何实验中都呈现目标维度的许多刺激值，索引为 i = 1， 2， ...， Ns.在不损失一般性的情况下，我们可以专注于具有两个由j = 1，2索引的刺激上下文的实验，就像在我们的模拟中一样。以体素 k 为单位测量的活动到刺激 s我在第一个上下文中等于 f1(s我)Twk1，在第二个上下文中等于 f2(s我)Twk2.测量向量 wk1和 wk2当它们产生相同的平均活动值时，在体素 k 中产生不变性：其中 f（s

+我） 是串联平均总体响应的行向量，w 是串联权重的列向量。+

如果我们收集向量 f（s+我） 响应矩阵中的实验刺激：我们得到一组齐次方程，可以求解 w

k+≠ 0：

(1)

测量模型在 wk+≠ 0 是所有体素 k 的此方程的解。查看此等式的另一种方法是 wk+对应于矩阵 F 的零空间。零秩定理告诉我们，这个零空间或零度的维数等于 F 中的列数（即模型中通道的总数）减去它的秩。零性为我们提供了有关测量模型 w 的子空间大小的信息++k+产生假阳性不变性。当方程 1 的唯一解决方案是平凡的解决方案 wKC = 0，F的空度为零。在这种情况下，编码模型和实验设计中的约束（以F总结）使得没有可以产生假阳性不变性的测量模型。这是我们唯一不必担心假阳性不变性的情况，但它一直是研究人员在文献中应用交叉分类测试的默认假设。另请注意，此分析仅涉及严格的不变性，而不涉及公差;即使测量模型无法产生假阳性不变性，仍有可能出现误报容差。++

我们现在处于一个很好的位置，可以评估我们第一次模拟提出的编码场景中假阳性不变性的普遍性。我们创建了编码模型，就像模拟1所示（见图7A），每次都有不同数量的刺激和神经通道。神经通道的数量以5为步长从30到5不等，刺激的数量以2为步长从20到2不等。对于神经通道和刺激的每个组合，我们创建了200个不同的编码模型，并计算了平均总体反应矩阵F的零度。如前所述，零表示会产生假正不变性的测量模型子空间的维数。为了便于比较，图8显示了零度除以测量模型的维数或比例零度。这表示测量空间中会产生假阳性不变性的比例（以维度表示）。我们发现在 200 个采样模型中，结果没有变异性，因此图 8 显示了在每种情况下发现的比例零度的唯一值。+

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图8. 模拟 1 中研究的上下文特异性极端情况下的假阳性不变性问题的普遍性。

比例零表示测量空间中会产生假阳性不变性的所有维度的比例，因此表示假阳性不变性问题的大小。在200个随机采样的编码模型中，对于神经通道数和刺激数的给定组合，报告的值始终相同。

https://doi.org/10.1371/journal.pcbi.1010819.g008

从图 8 中可以很容易地看出，我们第一次模拟中提出的场景并不罕见。相反，对于十个通道和四个刺激，正如我们在该模拟中使用的那样，零比例为0.8，这意味着绝大多数可能的测量模型将导致假阳性不变性。这个结果对于我们模拟选择的参数并不特殊，比例零度通常相当高。例外是高刺激和低通道数的组合，这在文献报道的实验中很少见。大多数使用交叉分类来研究不变性的神经影像学研究都呈现了2-4个刺激，在这种情况下，空率的比例至少为0.6，在大多数情况下高于0.8。

我们必须提醒读者，我们在这里研究的是上下文特异性的极端情况，假设没有测量噪声，以及假阳性不变性而不是容差的极端情况。由于这些原因，我们可以将我们的结果视为假阳性不变性问题大小的下限。涉及上下文敏感性、高测量噪声或公差评估而不是严格不变性的更现实场景都可能使问题恶化，超出我们结果中显示的范围。

我们在图8中看到了两个明显的趋势。首先，比例为零——因此，假阳性不变性问题——随着研究中包含的刺激数量线性下降。实验人员可以通过增加目标维度的刺激水平数量来降低假阳性不变性的风险。其次，比例空因随着神经通道数量的增加而以负加速的方式增加。神经通道的数量代表了我们对数据背后有多少独特的神经调谐函数的假设，或者换句话说，编码神经群体对刺激维度的覆盖程度。在实际场景中，该值将远高于图 8 中显示的任何值。然而，标准编码模型在计算神经成像中的应用很常见，这些模型假设有6-15个通道（例如，[19-22]）。

模拟 2：跨上下文的相似调整神经亚群导致的假阳性不变性。

挑剔的读者可能会再次反对刚刚提出的结果，这表明尽管在大多数已发表的研究中，导致假阳性不变性的可能测量模型的空间很大，但这些模型中的大多数永远不会在自然界中观察到。在所有可能的测量模型中，只有一小部分可能在神经影像学研究中真正发挥作用，并且这些模型可以包含在假阳性不变性不是问题的模型空间中。虽然这是一个非常乐观的立场，我们认为科学家采取它是不明智的，但我们希望通过研究一个现实的编码场景来加强我们的结论，很可能在大脑中实现。

有许多已知的案例，其中对特定刺激特征敏感的神经元在空间上聚集在亚毫米尺度上。在这些情况下，虽然有关于刺激特征的空间分布信息，但在fMRI研究的典型分辨率下，这些信息不会立即可见。例如，对相同空间频率、颜色、眼部优势和方向敏感的V1神经元都聚集在亚毫米尺度上[23-26]。尽管高场fMRI的进步在某些情况下可以揭示这种亚毫米组织（例如，[27]），但信息也可以在没有任何聚类的情况下进行空间分布（例如，“盐和胡椒”代码;参见[28，29]），其规模不太可能在比目前可用的更高的场强下使用fMRI达到[30，31]。

在这种情况下，在体素中，我们希望找到相对均匀的选择性分布。我们使用体素级解码来检测要素是否以及如何编码的能力在很大程度上取决于混合中的微小随机变化;也就是说，在每个体素中存在的每种神经元的比例。事实上，体素之间混合的微小差异是一种机制，用于解码来自V1的方向信息 [32-36]，正如我们的实验研究所示。

这种信息的亚体素分布可能是许多功能磁共振成像解码研究成功的基础，当单独使用交叉分类测试（或其他特异性为零的测试）时，也很容易导致假阳性不变性。混合中的微小差异可能足以促进刺激特征的超机会解码，因为解码算法经过专门训练以检测目标特征的差异。另一方面，解码算法没有经过训练来检测上下文中的变化。混合中可能提供有关上下文特异性信息的任何微小差异都将丢失，并且解码算法很可能会在刺激上下文的变化中泛化性能。我们在自己的实验中找到了一个例子。在那里，空间位置的分类在光栅方向的变化中完美地概括，如图3所示，尽管体素包含有关方向差异的信息，这是由该维度的上述机会解码确定的（见图4）。

在本模拟中，我们想研究不同fMRI解码测试对混合携带上下文敏感性信息变化的敏感性。考虑到这一目标，我们创建了一个模型，其中目标维度以完全特定于上下文的方式进行编码，每当上下文维度处于级别 1 时，一个神经元亚群响应，而当上下文维度处于级别 2 时，不同的神经元子群响应。两个子群体都是使用标准的同质编码模型（见上文）建模的，但请注意，调谐函数的这种相似性并不等同于不变性，因为每个通道仅在上下文维度的一个级别上响应。换句话说，我们的模拟假设编码目标维度的群体在上下文维度的级别上是完全分离的，但它们以类似的方式编码目标维度（就像图1D中的神经元在上下文维度的级别上具有两种选择性类型一样）。和以前一样，我们在每次运行中报告了 200 次模拟的平均结果。在仿真过程中，测量噪声被设置为固定水平（s.d. = 5，在我们之前的仿真中，测量噪声产生的精度约为40%-50%，见图7C）。在每次仿真运行中，我们通过向测量模型的权重添加随机噪声来增加上下文维度两个级别的测量模型的差异，如图 9A 所示。权重噪声的标准差从0.05逐渐增加到0.5（即从平均重量值的0.5倍增加到5倍），步长为0.05。也就是说，在最终模型中，每种神经元类型（例如，在目标维度中选择性到值为0的神经元）的贡献在上下文维度的级别上有很大差异。

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图 9. 模拟说明和结果 2.

A：仿真编码模型 2.详见正文。面板 B-E 显示了仿真 2 的解码结果。B：来自上下文维度两个级别的模型生成的数据的分类器准确性分数。y 轴表示准确度分数，x 轴表示添加到二级模型的测量权重中的噪声量级，虚线表示机会性能。每种类型的阳性测试的比例。y 轴表示阳性的比例，x 轴表示测量噪声，虚线表示可接受的 5% 错误发现率。图C-D显示了表1中每种类型结论的比例（红色为特异性/灵敏度，蓝色为不变性/耐受性，绿色为无结论），通过联合测试特异性和不变性得出。在这两种情况下，交叉分类检验都用于特异性。D：使用分类精度不变性检验与不变性得出的结论。E：使用针对不变性的解码可分离性检验得出的结论。

https://doi.org/10.1371/journal.pcbi.1010819.g009

该仿真的结果如图9C–9E所示。图B显示了在原始训练上下文（红线）和更改上下文（即交叉分类性能;蓝线）中测试的分类器的准确性。可以看出，交叉分类检验对混合变化很敏感，因为准确性随着权重的增加而下降。然而，即使对于最大的重量变化，准确性仍然远高于偶然性。图9C显示了阳性测试的比例作为随机权重变化幅度的函数（以标准差为单位）。交叉分类测试始终显示假阳性率远高于标称的5%。即使权重噪声标准差是平均权重值的五倍，也存在高水平的假阳性不变性。这些结果表明，当两个完全独立的神经群体使用相似的代码来表示上下文维度水平上的目标维度时，假阳性不变性可能不仅与人们通常期望从fMRI研究中期望的混合的微小变化有关，而且可能发现混合的非常大的变化。

和以前一样，现在的问题是，假阳性不变性的问题是否可以通过添加针对不变性零的测试来改善。使用分类精度不变性，结果不是很有希望。图9C中的浅蓝色线显示了该检验拒绝不变性零的功效，该零点从接近零开始，权重变化非常小（或混合），即使在最大的权重变化下也相当低（约60%功效）。图9D显示了表1中每种结论（异性/灵敏度为蓝绿色，不变性/公差为红色，无结论为黑色）的比例，分别使用交叉分类和分类精度不变性检验得出。首先，分类精度不变性的加入确实提高了结论的有效性。将图9C中的紫色曲线与图9D中的红色曲线进行比较表明，后者随着重量大小的变化而急剧下降。另一方面，同时使用交叉分类和分类精度不变性仍会导致模拟的所有权重变化值的误报率超过 5%。

另一方面，使用解码可分离性，结果要好得多。图9C中的绿线显示，在所有权重变化水平上，该检验拒绝不变性零的功效接近100%。也就是说，该测试对上下文变化导致的混合中的微小变化也很敏感。如前所述，这种高功率是使用解码器决策变量的整个分布进行测试的结果，而不仅仅是二元分类决策。图9E显示了表1中每种结论（蓝绿色的特异性/灵敏度，红色的不变性/公差，黑色的无结论）的比例，分别使用交叉分类和解码可分离性检验，针对特异性和不变性进行联合测试。首先，检验具有比分类精度不变性更高的功效，以得出上下文敏感性的正确结论。更重要的是，在低混合值下，测试会导致不确定的结果，而不是不正确的不变性结论。

总体而言，该模拟证实了我们之前的结论和理论期望，即用针对不变性零的测试来补充交叉分类检验，可以提高有关基础代码的结论的有效性，并且解码可分离性优于该目标的分类准确性不变性。我们已经表明，在两个不同的种群以相似的方式编码目标维度的现实场景中就是这种情况，并且两个种群分离的事实只能从它们对体素活动的相对贡献的微小差异中推断出来。由于混合的差异如此之小（即图9A中的最小权重变化值），仅使用交叉分类几乎100%的时间就可以得出假阳性不变性的结论，增加分类精度不变性测试会稍微减少问题，并且添加解码可分离性测试可以消除它，至少在我们的模拟中是这样。在非常大的混合差异下，结果相似（即图9A中权重变化的最大值），其中单独使用交叉分类导致大约30%的时间得出假阳性不变性的结论，添加分类精度不变性测试略微减少了问题，并且增加了解码可分离性测试消除了它， 最有可能的结论是上下文相关编码的基本事实。然而，我们必须再次警告，解码可分离性测试的灵敏度预计在实验数据中会降低，就像我们自己的研究一样。在我们的模拟中，解码可分离性如此强大的主要原因是，他们假设了完全特定于上下文的代码的极端情况。

模拟3：关于获得不变性/特异性的有效连续测量的难度。

如引言中所述和图1A所示，神经表征可能沿着完全上下文不变性和特异性之间的连续统一体变化。鉴于此，读者可能会感到惊讶的是，我们主张对这个连续统的极端使用推理测试，而不是提出一个单一的连续不变性/特异性度量。我们认为，测量模型的影响使得很难获得有效和精确的测量，从提供潜在神经表征在连续统一体中确切位置的信息的意义上说。

为了说明这一点，我们在这里提出了一种新的不变性/特异性度量 - 不变系数或ι - 表明当直接在神经编码级别的表示上计算时，该度量可以提供关于不变性/特异性连续变化的信息，但是当使用从神经活动的间接测量获得的解码分布进行计算时，它保留该信息的工作相对较差。材料和方法部分（关于获得有效的连续不变性/特异性测量的难度的模拟）中详细介绍了测量值以及从多变量活动模式估计它的方法。它采用不同上下文中相同刺激的两个概率表示，并计算它们的重叠比例。该度量的另一种解释是两种表示的可区分性混淆程度的比率。要了解原因，请注意，将随机样本 X 分类为属于一个分布或另一个分布的最佳策略是选择 X 具有最高可能性的分布。图 10 中的蓝绿色虚线给出了最佳分类边界的示例（在多维空间中，此边界不需要是一条线）。考虑到这一点，并假设分布近似对称，请注意 ι 对应于错误分类概率（图 10 中的红色区域）的总和（跨两个分布）与正确分类概率之和（图 10 中的蓝色加红色区域）的比率。请注意，这里我们指的是上下文 1 或 2 中提出的随机向量或变量的分类，或者上下文解码而不是刺激解码，这是我们手稿其余部分和整个文献的重点。当 ι = 0 时，两个分布是完全可判别的，这是极端上下文特异性的情况。当 ι = 1 时，两个分布完全可混淆，这是上下文不变的情况。这些极端之间的值提供了上下文容差（或其反向上下文敏感性）的连续且可解释的度量。

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图 10. 模拟说明和结果 3.

答：两个分布之间的L1（蓝色）和（红色）距离图示。绿色虚线表示最佳分类边界（即，属于任一分布的可能性相等的值）。建议的不变系数表示两个分布之间的重叠比例（红色区域与红色和蓝色区域之和）。B：编码模型中实现的连续更改级别与 之间的相关性。C-D：构建两个版本的有效性（即它们与真实值的相关性）：一个版本通过解码刺激值（图C）计算，另一个版本通过解码上下文级别（图D）计算。

https://doi.org/10.1371/journal.pcbi.1010819.g010

我们可以估计神经编码级别的表示（由 表示）以及间接活动度量（由 表示）的解码级别的决策变量的度量。重要的是，可以从从多个解码器获得的值来计算。根据这项工作的其余部分和整个文献，我们计算了使用支持向量分类器的第一个版本，该分类器经过训练来解码目标维度中的上下文值。更符合我们对指数的理论解释，我们计算了使用支持向量分类器的第二个版本，该分类器经过训练来解码呈现刺激的上下文。我们认为，关注上下文的区分而不是刺激将产生更有效的衡量标准，从某种意义上说，反映了在编码水平上衡量的不变性/特异性的真实潜在水平。

我们执行了一个模拟，其中编码模型属性从完全不变性不断修改为完全特异性（有关方法的描述;请参阅“材料和方法”部分中的“模拟3：关于获得有效的连续不变性/特异性度量的难度”小节）。模拟重复200次，每次随机选择编码模型的不变性/特异性水平。我们的目标是回答以下问题：捕获编码模型中内置的不变性/特异性的连续变化有多好？这两个版本在编码级别上捕获从神经表征测量的不变性的真实变异性（即，它们的构造有效性是多少）的程度如何？

该仿真的结果如图10所示。图10B显示了在编码模型中实现的连续变化水平与在编码级别计算的不变系数之间的相关性。相关性相当高，为-0.767，p<.001，变量之间的关系似乎是线性的。因此，当在神经编码级别计算时，不变系数可以捕获编码模型中实现的不变性的连续变化。

图10C和10D显示了两个版本的解码不变系数和编码不变系数之间的相关性。根据我们的解释，基于刺激解码的度量没有构造有效性，与真实度量相关 -0.036，p>.1，而基于上下文解码的度量具有中等构造有效性，与真实度量 0.376，p<.001 相关。我们得出的结论是，计算这一特定度量的最佳方法是专注于对呈现刺激的上下文进行解码，这应该在确定有关目标维度的信息通过传统的刺激解码分析在大脑区域中可用之后完成。

话虽如此，即使是更好的版本也显然存在有效性问题，因为它只能捕获在底层神经表征中测量的不变性变异性的 14.17%。图10B显示，一个主要问题是它高估了不变性，范围在0.4到1.0之间，而真实值的范围在0.0到1.0之间。此外，在 的整个值范围内估计较高的不变性值 （>0.8）。这当然是测量模型强加的信息丢失的结果，特别是模型诱导已经讨论过的假不变性的能力。测量模型的特定特征可能会影响度量的构造有效性。我们的目标不是探索所有这些可能性，而是展示测量并说明测量模型如何限制我们精确测量不变性的能力。我们认为，有效性问题可能来自从神经活动的间接测量中计算的任何其他指数。

讨论

在这里，我们提供了经验和计算证据，支持在神经计算理论的帮助下获得的关于不变性解码测试的两个见解[4]。首先，由于潜在的神经表征转化为测量值的方式，旨在评估上下文特异性为零的证据以及上下文不变性的替代方案的测试可能容易出现误报。其次，针对不变性和特异性的零点联合执行测试，可以使人们对潜在表示得出更精确和有效的结论。

在实证研究中，我们从V1中记录的fMRI活动模式中解码了方向和空间位置，在这种情况下，底层神经代码的特性是已知的。交叉分类检验为错误结论提供了强有力的证据，即在V1中，空间位置编码对方向变化是容忍/不变的，以及一些证据支持方向对空间位置变化是容忍/不变的错误结论。我们发现，添加理论上派生的不变性测试会导致关于底层代码的更有效的结论。

两次模拟的结果加强了实证研究的结论，表明即使在完全特定于上下文的编码的极端情况下，它们也成立。在第一次模拟中，我们表明，当底层神经代码中绝对不存在容忍度时，交叉分类会导致容忍度的假阳性结论，并且添加针对不变性的测试会导致更有效的结论。我们还通过理论分析和进一步的模拟表明，这个问题可能是普遍存在的，而不是由精心挑选的概念证明引起的。在我们的第二次模拟中，我们表明在真实编码场景的模拟中发现了相同的结果。

根据我们的经验和计算结果，我们得出结论，交叉分类检验可能导致关于神经表征不变性的无效结论。应避免单独应用测试，并且应根据我们的结果重新评估以前使用该测试的研究。相反，我们建议在应用交叉分类检验时定期针对不变性零进行测试。即使研究人员不相信我们的研究和模拟中强调的问题的普遍性，运行这些额外测试的成本也极低。

请注意，我们故意依靠自己的数据和模拟来说明单独使用交叉分类检验可能会导致关于不变性的无效结论。这是因为我们的意图不是挑出过去使用交叉分类的特定研究，而是提醒该测试的用户和整个神经科学界，在针对上下文不变性的进一步测试或直接测量神经活动的证据之前，应谨慎对待其结果。我们认为，这里强调的交叉分类问题非常严重，研究人员应该根据新的分析和/或数据重新评估所有已发表的关于该测试的不变性声明。

正如理论所预期的那样，我们发现解码可分离性检验对分类精度不变性检验无法捕获的不变性违规很敏感。特别是，当解码精度接近上限或下限值时，只有解码可分离性测试才能通过依赖完整解码概率分布中可用的更细粒度信息而不是精度估计中可用的粗略信息来检测违反不变性的情况。这种优越性背后的原因很简单：解码可分离性测试使用来自解码器决策变量完整分布的信息，一旦该分布被二值化以进行分类，大部分信息就会丢失。Walther等人[37]也得出了类似的结论，他们发现连续神经差异测量的可靠性高于分类精度的可靠性，并得出结论，这是由于后者固有的信息丢失。我们相信，专注于完整的解码分布可以帮助我们从使用解码来测试信息是否在特定区域编码，转向使用解码来测试信息的编码方式。这种方法的其他例子将解码分布的不确定性与行为联系起来[38]，并将解码分布的变异性与行为反应相关联[39]。

我们还通过模拟表明，当从神经活动的间接测量值计算时，测量转换限制了我们获得有效的连续不变性/特异性指数的能力。即使在理想情况下计算（测量模型施加的微小变化和每个刺激的200个表示），解码不变系数也只能捕获在底层神经表示中测量的不变性变异性的14.17%。虽然我们没有探索所有的可能性，但我们的仿真结果帮助我们指出，从神经成像数据中精确测量不变性/特异性是一项艰巨的任务。

神经活动的替代措施和数据分析技术

因为我们的实证研究涉及功能磁共振成像，所以我们在这里的讨论主要是从神经成像技术的角度。然而，请注意，我们的理论和模拟结果适用于使用任何间接或聚合神经活动测量的研究，其中包括M / EEG，ECoG和LFP等。事实上，fMRI文献中常见并在我们的模拟中使用的线性化测量模型也常用于其他技术（例如，[40-42]）。当然，技术的聚合程度和空间特异性将改变任何特定技术的问题的严重性。然而，如前所述，信息可以在没有任何聚类的情况下在大脑中空间分布[28，29]，因此假阳性不变性的问题可能在一定程度上存在于神经活动的任何聚合间接测量中。

同样，我们的结论不太可能仅限于解码数据分析。其他方法，如正向和反向编码建模（有关评论，请参阅[43，44]）和表征相似性分析[45]可能会遇到类似的问题。原因是人为增加不变表示外观的可能性是从神经空间到测量空间的转换所固有的（见图1b）。也就是说，问题在于所测量的活动模式本身，而不是对这些活动模式执行的分析。任何旨在获得不变性证据的分析都可能基于对活动模式在上下文变化中的高度相似性的观察，并且测量模型可以人为地增加相似性。

话虽如此，已经开发了诸如倒置编码建模之类的分析方法，以提供由某些实验因素的变化引起的神经表示变化的证据，自然而然地适合检测上下文特异性的证据（即，针对不变性）。反转编码建模确实以这种方式应用（例如，[46]），这种应用可以被认为是类似于这里研究的针对不变性的解码测试，而不是更成问题的交叉分类测试。然而，倒置编码建模是一种参数化方法，因此当模型的假设不正确时（例如，调谐函数的选择错误;参见[47]），它可能无法产生有效的结论。另一方面，基于解码的测试是非参数的，在不对编码或测量做出任何假设的情况下产生有效的结论（见[4]）。

这里提倡的解码可分离性测试是基于距离测量的计算。具体地，从线性分类器获得的决策变量分布之间的绝对距离（即L1距离）。在表征相似性分析中已经使用和评估了大量其他距离测量[37，48]，目前尚不清楚这些测量在多大程度上可以提供与L1距离一样好或更好的不变性的证据。模拟研究的初步结果表明，距离测量的构造有效性差异很大;也就是说，它们在编码级别上反映神经表征之间真实潜在距离的能力[49]。L1 测度是构造有效性最高的测度之一，但根据该准则的其他良好测度是内积、马氏距离和欧几里得距离。在解码可分离性测试中，我们更喜欢L1距离，主要是因为我们之前已经证明，使用该距离可以让测试在神经编码水平上提供关于不变性潜在偏差的有效推论[4]。没有为其他措施提供类似的证据，这并不是说这些措施是不可能的。马氏距离特别令人感兴趣，因为它在以前的研究中已被证明具有卓越的可靠性[37]。此度量的缺点是，它仅根据分布的均值和方差来计算分布之间的距离，隐含地假设这些分布是多元正态分布。另一方面，基于L1的解码可分离性检验除了假设测量误差是加法的外，不需要对数据的分布做出任何假设，并且可以检测使用Mahalanobis无法检测到的高阶矩中的分布之间的差异（参见[4]中关于多元一般线性模型的讨论）。

给研究人员的建议

我们的结果一致表明，旨在为不变性（或者更确切地说，针对上下文特异性）提供证据的测试存在固有的缺点，这往往会产生误报。然而，不变表示的发现对许多神经科学家来说很有趣，它们可以为神经处理理论提供信息。我们建议这些研究人员既使用这里开发的双重测试策略，又对从任何间接或聚合的神经活动测量（fMRI，EEG，ECoG，LFP等）中获得的不变性结论非常谨慎，这些结论应作为暂定的，直到直接测量神经活动的证据可用。

对于旨在为上下文特异性（或者更确切地说，针对上下文不变性）提供证据的测试，情况并非如此：在这种情况下，测试更有可能产生有效的结论，并且不需要防止误报。但请注意，针对上下文不变性的正测试只能为底层表示不是不变的有效推断提供证据。表示仍然可以在图1a中描述的连续统一体中的其他任何地方。因此，双测试策略仍将提供有关基础表示的额外证据，而对相同数据运行一个额外测试的成本相当低。

总之，我们建议所有研究人员在尝试从神经活动的间接测量中推断不变性/特异性时，使用双测试策略，并使用表1解释测试结果。我们还建议使用解码可分离性测试来测试不变性零。从理论上讲，该测试可以捕获分类精度不变性测试无法获得的针对不变性的证据，在这里我们发现在一些真实世界的例子中确实如此（例如，解码空间位置从V1开始的方向变化）。

话虽如此，研究人员应该明白，解码可分离性测试的应用对于确保准确估计完整解码分布的大型数据集最有用。我们的实证结果是使用一种设计获得的，其中从每个参与者那里获得了一个大型数据集。我们建议研究人员使用相同的设计。过去用于研究不变性的大多数数据集都不符合该描述，而是具有少量的刺激呈现和/或没有明确分离的数据集用于训练和测试。我们预计研究人员将面临这种不理想的数据集，要么是因为他们想重新分析过去获得的数据，要么是因为预算考虑限制了可以包含在研究中的刺激演示的数量。为了处理这种次优数据集，研究人员可以使用分类精度不变性检验来对抗不变性零，这需要比解码可分离性检验更少的刺激呈现数量，因为它需要估计单个值（精度）而不是估计整个密度。此外，通过留一交叉验证来估计精度，可以更有效地使用数据集。

我们关于假阳性不变性问题的普遍性（图8）的结果表明，通过包含跨越所研究的刺激维度的大量刺激，可以大大减少这个问题。这是一个重要的理论见解，因为唯一刺激值的数量是研究人员控制的设计因素。我们建议研究人员在设计中使用尽可能多的独特刺激值。

局限性和今后的工作

在进行大量试验的研究中，正在研究的神经表征本身可能会发生变化。疲劳、适应和熟悉等因素都可能导致大脑表征的变化。因为我们的兴趣不在于神经表征的所有方面，而只在于上下文特异性/不变性，这里的关键问题是，长时间的实验是否会在刺激的神经表示中产生特定于一个上下文而不是其他上下文的变化。我们认为，在任何具有两个特征的研究中，这种情况都不太可能发生。首先，平衡设计，在整个实验的不同环境中，每个刺激都同样频繁地呈现。通过平衡的设计，疲劳、适应和熟悉等因素应该在不同环境中平等地影响刺激表示。通过将研究分成多个间隔较长的短会话（例如，一天或更长时间），也可以减少其中一些因素的影响。其次，当行为任务用于保持参与者对刺激的注意力时，该任务应与正在研究的刺激特征无关，以避免由于学习，选择性注意等而导致表征的潜在适应性变化。这里介绍的研究满足这两个标准，因此我们认为其长度不太可能使结果产生偏差。

我们实证研究的另一个潜在局限性与V1的分割有关，在我们的研究中，V50是使用一种算法[25]进行的，该算法侧重于皮质褶皱的分析，而不是功能定位器的结果。证据表明，该算法的精度相当于长达 25 分钟的函数映射。因此，我们可以执行超过1分钟的功能定位器，以提高V2分割的精度。我们没有看到这种方法的价值，因为相邻区域V1也是视网膜（V2和V1在其边界附近的感受野的空间位置和大小相似），并且编码方向与V2相似，这意味着我们对V1的预测将与V<>相似。

不变性研究可以从开发针对上下文特异性的测试中受益，以取代交叉分类测试，交叉分类测试由于其依赖于解码准确性而相对不敏感。这项新测试旨在评估零假设，即目标刺激属性的神经表示在两种不同的上下文中完全不同，显示出神经活动的非重叠分布。这种措施的制定和验证并非微不足道，我们必须将其留给未来的研究。我们至少知道，敏感度量依赖于与目标变量的解码分布不同的东西，因此它将遵循与先前工作中开发的解码可分离性测试不同的逻辑[4]。图 11 显示了为什么会这样。两个主轴表示两个不同体素的测量值，每个椭圆表示在两个不同上下文中呈现的目标刺激属性的体素活动模式的分布。可以看出，这两个分布在体素模式的多元空间中是完全不重叠的。但是，当两个分布投影到解码变量上时，它们显示非零重叠，由黄色矩形区域表示。请注意，更改解码变量的方向不一定会导致没有重叠。此外，简单地测量体素水平的重叠可以改善但不能解决问题，因为测量模型也可能人为地在分布中引入重叠（图1C）。

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图 11. 解码分布不能用于获得跨两个上下文的神经表示之间没有重叠的有效测试。

主轴表示体素级别的测量值，每个椭圆表示在两种不同上下文中呈现的目标刺激属性的神经活动分布（通过测量模型转换后）。这两个分布在多元体素模式级别上完全不重叠。但是，当将两个分布投影到解码变量上时，它们会显示由黄色区域表示的非零重叠。

https://doi.org/10.1371/journal.pcbi.1010819.g011

一个悬而未决的重要问题是，针对不变性零的测试是否容易产生误报，就像针对特异性零的测试一样。在这里采用的理论框架内，答案是否定的，因为从理论上讲，任何测量模型都不可能将不变表示转换为非不变活动模式（见图1C，上图）。然而，在功能磁共振成像研究中，必须通过反卷积或其他方式从BOLD反应估计活动模式（见材料和方法）。如果改变上下文会影响血流动力学反应功能（HRF），那么这反过来又会影响活动估计，即使潜在的神经表示是完全不变的，也会产生明显的上下文敏感性。已知影响HRF的因素包括刺激持续时间[51]、单独扫描[52]、试验间歇[53]、应激水平[54]和某些神经递质的水平[55-57]。探索HRF的哪些变化会影响不变性测试结果超出了这项工作的范围，但研究人员应该设计他们的研究，以便已知影响HRF的因素不会与上下文的变化共存。

除了解码不变性测试的具体案例之外，本研究还显示了过度依赖仅面临有效性的操作测试的危险，特别是在通过神经成像获得的间接测量来研究神经表征方面。我们的研究与文献中的其他最新报告[22，47]一起表明，当不考虑神经影像学固有的可识别性问题（例如，神经和测量因素之间）时，应用复杂的数据分析工具可能会导致错误的结论。我们相信，理论和模拟工作将在神经成像的未来发挥重要作用，既可以指出我们的方法可能遇到问题的领域，也可以向我们展示潜在的解决方案。

材料和方法

道德声明

这项研究得到了社会和行为机构审查委员会和佛罗里达国际大学成像科学指导委员会的批准，并被发现符合联邦全保证机构的要求。所有参与者在参与实验前都书面同意了实验程序。

参与者

来自佛罗里达国际大学的五名健康志愿者（19-27岁，三名女性）参加了实验;所有人都视力正常或矫正至正常。

刺激。

所有刺激都是使用Psychopy v.1.85.0生成的[58]。图像显示在放置在扫描仪孔后入口处的40英寸Nordic Neurolab LCD InroomView设备上。受试者通过连接到头部线圈的倾斜镜子观看屏幕。视觉刺激是全对比度方波光栅，空间频率为每度视角1.5个周期（类似于[59-61]），已知该频率强烈驱动V1响应[62]，通过楔形孔径窗口显示，该窗口的偏心率为1.5°至10°，极角为100°（图2).光圈窗口有四个可能的位置：右上角、右下角、左上角和左下角。每次试验，方波光栅的方向为四个角度之一：0°，45°，90°，135°。光栅的相位每250ms随机变化一次，以减少视网膜适应和残像。

任务和程序

为了确保用于在解码分析中训练分类器的数据（见下文）独立于用于测试分类器和计算性能测量的数据，在单独的采集运行中进行了训练试验和测试试验。训练和测试运行在所有方面都是相同的，除了一个方面：光圈窗口的位置仅限于训练运行的右上角和左下角，而测试运行包括所有四个位置（图2）。在刺激呈现期间，光栅的相位每250 ms随机移动一次。每次试验中随机选择每个光栅的方向，而窗口的空间位置以预定的方式依次变化。在训练运行中，光圈窗口在每次试验中在右上角和左下角之间切换。在测试运行中，光圈窗口按该顺序循环浏览右上角、左下角、右下角和左上角。对于训练和测试运行，空间位置（两个或四个级别）和方向（四个级别）的每个组合在单个采集会话中呈现 35 次。对于训练和测试试验类型，每个受试者都经历了 4 次相同的采集会话，总共产生了 135 次给定的方向和空间位置组合的演示（参见图 2 中的所有组合）。选择这个大的纵向样本量（每位受试者总共3，240项试验）是为了将我们的分析重点放在个体受试者水平的数据上（见下面的统计分析）。

在每次试验中，呈现一个单一光栅3s，然后是3s试验间隔。所有跑步都以 10 秒的固定期开始，并以 1 分钟的休息期结束。训练跑持续5分43秒，试跑持续10分13秒。由于实验者在数据采集过程中的错误，参与者1和2的部分训练试验丢失了。为了弥补训练试验数量的减少，我们从受试者2收集了额外的数据，导致每个刺激大约123个训练试验和112个测试试验。对于受试者 1，我们只是将一半的测试试验留作训练目的，另一半用于测试;上下文维度的未训练值的测试试验数量与所有其他参与者相同。

参与者的任务是观察屏幕中央的一个小黑环（类似于[59]）。黑色环有一个小间隙，在整个试验过程中随机切换位置。参与者被要求通过按下相应的按钮连续报告间隙的一侧（左侧或右侧）。该任务的目的是迫使参与者注视屏幕中心，并将注意力从刺激上移开。

功能成像

成像使用位于佛罗里达国际大学成像科学中心的西门子磁力 Prisma 3T 全身 MRI 系统进行。体积RF线圈（发射）和32通道接收阵列用于获取功能和解剖图像。每个受试者都参加了四次相同的MRI会议。在每次治疗期间，高分辨率 3D 解剖学 T1 加权体积 （MPRAGE;TR 2.4秒;TI 1.1s;TE 2.9 毫秒;翻转角度7°;体素大小 1×1×1 毫米;视场角 256 毫米;获得176个矢状切片），作为参考体积以对齐所有功能图像。在主要实验期间，使用T2 *加权EPI序列（TR 1.5 s;TE 30 毫秒;翻转角度52°;加速度因子为 4 的灵敏度编码）。我们收集了60个横向切片，分辨率为2.4×2.4×2.4 mm，FOV为219mm。每次运行中的前六个体积被丢弃，以使T1磁化达到稳态。

统计分析

所有数据分析，包括多体素解码和不变性测试，均对每个参与者的个人数据进行。在设计我们的实验时，我们倾向于收集每个参与者的大量数据（3，240次试验，约8小时的扫描），而不是大量的参与者。每个单独的分析都可以被视为单受试者实验的复制。根据模拟研究，使用我们的样本量（每个刺激值n = 135），我们的测试可以检测到6%功效下分类器性能的概率差异为85%，在>8%功效下分类器性能下降80%，并且内核密度估计误差最大程度地降低[63]。

感兴趣的区域。

V1 的边界通常使用功能本地化器过程找到。然而，先前的研究表明，可以从皮质褶皱准确估计这种边界，而无需功能定位器[50]。此外，有证据表明，使用Hinds等人[1]提出的算法定义V50边界的精度相当于10-25分钟的函数映射[64]。因此，我们将Freesurfer 50.6 [0]中实现的Hinds等人[65]算法应用于解剖学T1加权图像，以定义每个参与者中V1的边界并获得ROI掩码。然后将获得的V1掩模转换为二进制掩模，并使用FLIRT的线性配准转换为个人的功能扫描空间（使用第一次功能运行的平均体积作为目标）。

大胆的数据预处理。

数据使用用于FSL的nipype Python包装器进行处理和分析[66，67]。 功能数据的基本预处理包括颅骨剥离、切片时间校正和使用 MCFLIRT 的头部运动校正。然后将给定受试者的所有功能运行与同一主题的第一次功能运行的平均体积对齐。此步骤可确保每个主题的整个时间序列位于同一坐标空间中。然后将对齐的时间序列连接成单个时间序列文件以进行进一步处理。使用多项式阶数为3，窗口长度为81秒的Savitzky-Golay滤波器对每个主题的串联序列进行去趋势化[68]。

反 褶 积。

使用获得的 V1 掩码，从 V1 体素中提取时间序列以进行进一步分析。通过数据驱动的反卷积技术获得单项试验活动估计值，其中去卷积神经激活值和HRF模型一起估计[68]。与其他在体素之间保持 HRF 形状恒定的方法不同，此技术允许每个体素中 HRF 的形状不同，从而获得更准确的活动估计。该模型通过 hrf_estimation Python 包 v. 1.1 （https://pypi.org/project/hrf_estimation/） 实现。hrf_estimation包为 HRF 建模提供了 10 种不同的选项，其中 HRF 基函数和通用线性模型估计技术具有不同的选项。为了选择HRF和估计方法的最佳组合，我们使用来自单个参与者的训练运行的数据进行了交叉验证的解码分析（本预分析中未使用来自测试运行的数据）。首先，我们从所有可能的模型组合（估计方法和HRF）中生成了活动估计。然后，对于每个模型，我们训练并测试了一个 SVM 分类器，以解码训练集的一部分方向，并使用剩余数据测试分类器。我们选择了具有 1 基函数 HRF 模型的 Rank-3 通用线性模型，因为它产生了最高的测试准确性分数。

解码分析。

为了根据体素活动模式解码刺激类型，我们使用了Nu支持向量机（NuSVC）分类器，该分类器通过Python包scikit-learn v.0.19.1实现线性基函数。我们使用来自V69体素的去卷积活动模式作为分类器的输入，同时提供试验特定的刺激值（方向或空间位置）作为标签。

为了解码方向，我们使用了两个单独的分类器，对应于在实验训练运行期间呈现定向光栅的两个不同的空间位置（上下文维度）（见图2）。每个分类器都经过训练，仅使用呈现特定空间位置的试验来解码光栅方向（0°、45°、90° 和 135°）。但是，然后使用从所有四个空间位置的独立测试运行中收集的数据对分类器进行测试。这导致了训练位置以及其他三个空间位置的精度估计。例如，为了训练第一个分类器，我们收集了在右上角空间位置呈现的所有试验。规范化数据后，使用来自训练运行的数据使用留一用完交叉验证来训练分类器。交叉验证用于优化分类器的Nu参数，以获得训练集中的最高精度。然后使用所选的 Nu 参数在所有训练数据上训练一个新的分类器。然后使用来自测试运行的数据测试此分类器。

为了解码空间位置，我们使用了四个独立的分类器，对应于在实验训练运行期间呈现的四个光栅方向（上下文维度）级别。每个分类器都经过训练，仅使用呈现特定光栅方向的试验来解码空间位置（右上角与左下角，参见图2中的盒装刺激）。但是，然后使用从所有光栅方向级别的独立测试运行中收集的数据对分类器进行测试。这导致了训练光栅方向以及其他三个光栅方向的精度估计。与方向解码过程一样，我们将数据划分为独立的训练集和测试集，执行归一化，并通过留一跑交叉验证优化分类器的 Nu 参数。一个重要的区别是空间位置解码涉及两类分类问题，其中分类器必须区分刺激窗口的右上角和左下空间位置（训练试验期间仅呈现的两个位置，参见图 2 中的盒装刺激）。由于分类器没有经过训练来对右下角或左上角的空间位置进行分类，因此我们从本分析的测试数据集中删除了这些试验。这确保了模型拟合和测试程序在两次解码分析中保持一致。

功能磁共振成像解码测试。

我们对数据应用了三种解码测试：交叉分类测试、分类精度不变性测试和解码可分离性测试。应用于上述两个解码分析结果的所有测试：方向和空间位置的解码。在下面的描述中，目标维度是指解码的刺激值，上下文维度是指与解码无关的刺激值，这些刺激值只是从训练到测试发生了变化。

下面描述的所有测试都是在Python中实现的，扩展了SciPy v. 1.1.0（https://www.scipy.org/）和Statsmodels v. 0.9.0（https://www.statsmodels.org/）。绘图是使用 Matplotlib 库 v. 2.2.2 （https://matplotlib.org/） 创建的。

交叉分类测试。如上所述，我们通过训练线性 SVM 来实现交叉分类不变性测试（例如，[1-3]），以对目标维度的级别（光栅方向或空间位置）进行分类，同时保持上下文维度的水平不变。例如，为了解码方向，我们首先训练 SVM 分类器来预测给定空间位置的方向。然后，我们使用来自训练位置的独立测试集以及其他三个空间位置（即上下文维度的不同级别）的数据来测试分类器的准确性。我们使用二项式检验检验这些精度中的每一个是否高于 25% 正确率的机会水平，并使用 Holm-Sidak 方法校正了多重比较的结果 p 值。

分类精度不变性检验。此检验使用了与交叉分类检验相同的分类准确性估计值，但使用它们来检查从训练到测试上下文值的性能是否显著下降。我们首先对原假设进行了综合卡方检验，即准确性不依赖于上下文维度的水平。此外，我们使用成对 z 比例检验根据训练上下文值测试每个测试上下文值的准确性，并使用 Holm-Sidak 方法校正结果 p 值以进行多重比较。

解码可分离性测试。解码可分离性定义为刺激的解码分布在上下文维度的不同级别上不变化的情况。两个分布之间的距离通过 L1 范数测量：

(2)

其中 p1和 p2分别表示上下文维度级别 1 和 2 处解码值的分布。

对于相关维度和上下文维度值的每个组合，我们从经过训练的 SVM 线性分类器中获得了决策变量。这些决策变量用于使用核密度估计（KDE）估计解码分布。使用高斯核和自动带宽确定，如SciPy函数gaussian_kde中实现的那样。让我们表示一个刺激的 KDE，其值 i 在目标维度上，值 j 在上下文维度上，在点 z 处计算。每个值都以 -3 到 6 的 z 值进行评估，分 0.01 步，按 k 索引，确认涵盖观察到的决策变量值的范围。然后，根据以下等式，从获得的所有四个 KDE 中计算出表示与解码可分离性偏差的总和 L1 距离的估计值：

(3)

其中 j = 1 是上下文维度的训练级别。（G 代表全局）只是对等式 1 中定义的相关维度的每个值定义的 L2 距离（通过离散化连续决策变量 z 获得）进行估计，然后将它们相加。我们分别计算上下文维度的每个值，或 j ≠ 1。

我们使用排列检验来检验每个统计量是否明显大于偶然的预期。在这个测试中，上下文维度j的水平被随机重新分配给所有数据点，估计KDE，并根据方程3计算。这个过程重复了5次，以获得统计量的经验分布，从中使用[000]提出的程序计算出准确的p值。使用Holm-Sidak方法校正了生成的p值以进行多重比较。

模拟

下面描述的模拟是在Python 2.6中实现的，扩展了Numpy v. 1.16.2（https://numpy.org/）。模拟数据的解码分析完全按照上述解码分析和功能磁共振成像解码测试部分中对功能磁共振成像数据的说明执行，不同之处在于 SVM 的 Nu 参数设置为默认值 0.5，而不是基于交叉验证进行优化。

型。

在我们的模拟中，我们使用了标准人口编码模型和线性测量模型。两者都是计算神经影像学文献中的常见选择（有关综述，请参阅[43]），无论是在最近的模拟工作（例如，[22，47，71]）中，还是在基于模型的数据分析（例如，[19，21，38，72]）。 我们假设了一个值从-90到90的圆形尺寸，就像光栅方向一样，但我们的结论也适用于非圆形尺寸。

编码模型。我们使用标准编码模型来表示给定体素内神经元群的活动模式。我们的编码模型由几个独立的通道组成，代表具有相似刺激偏好的任意数量的神经元。每个通道都沿目标激励维度高度调谐到特定值，因此当我们远离首选值时，通道的响应会衰减。单个通道的调谐函数由高斯函数表示：

(4)

其中表示通道 C 的最大神经活动，均值 sc表示通道的首选激励，标准偏差 ωc表示调谐函数的宽度。调谐函数的高度沿激励维度（即fc(s）） 表示通道对该特定刺激的平均响应。

我们假设每个通道的响应rc是一个具有泊松分布的随机变量：

(5)

完整的编码模型由十个通道组成，其活动由方程 4 和 5 描述。除非下面另有说明，否则我们使用齐次人口模型，其中参数 sc均匀分布在尺寸的所有可能值（即从 -90 到 90 度）上，并且所有通道的其他参数固定为相同的值：， ωc= 15。

图12A显示了编码过程的示例。当将男性值为 75% 的人脸呈现给模型时，通道编码分布会生成响应向量。此向量中的每个元素对应于特定通道的响应。对值 75% 具有最强偏好的通道在此向量中显示最高的响应。由于已知神经群的响应是噪声的，因此将信道噪声添加到响应向量的每个元素中。最终输出是通道响应的噪声矢量，对于相同刺激的重复呈现，该矢量略有变化。

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图 12. 模拟中使用的模型。

答：人口编码模型，由一组通道组成，这些通道被调整到给定维度（例如，男性）的特定刺激值。当呈现在男性维度上具有特定值的刺激时，通道会根据其刺激偏好做出反应。然后，通道响应受到随机通道噪声的干扰。最终输出表示响应特定刺激的噪声发射速率矢量。B：线性测量模型。测量模型提供了神经编码通道和体素活动测量之间的链接。每个体素（由立方体表示）中的活动是神经通道响应的线性组合。此图包括公共领域剪贴画，所有其他部分都是原始的：https://creazilla.com/nodes/29498-white-dice-with-black-spots-clipart。

https://doi.org/10.1371/journal.pcbi.1010819.g012

测量模型由于神经影像学研究仅产生神经活动的间接测量值，因此需要一个测量模型将编码模型的神经响应与体素活动值联系起来。测量模型由以下等式描述：

(6)

其中 a 是体素活动值的行向量，r 是从编码模型（即从方程 5）采样的神经响应的行向量，W 是每列 w 的权重矩阵v表示不同体素 V 的线性测量模型，ε 是具有平均值 0 和协方差矩阵的随机正态行向量，σ在对角线中，在其他地方为零。σ的值在模拟 1 中变化，在模拟 5 中固定为 2（见下文）。

方程 6 表示每个体素中的活动是神经通道响应加上一些随机测量噪声的线性组合。如图12B所示，每个体素的模型由有限数量的编码通道组成，这些编码通道根据一组权重独立地贡献体素的聚合信号。权重值从0到1随机均匀采样，然后按列归一化，使权重在wv加起来会是一个。这样，权重可以解释为每个通道对体素活动的相对贡献。

我们总共模拟了 100 个体素。在每个模拟试验中，编码模型呈现给定的刺激，并产生神经响应r的随机向量，如上一节所述，然后将其用作测量模型的输入，以获得体素活动a的随机向量。

仿真 1：测量模型特征导致的假阳性不变性。

创建此模拟基础的模型，使得目标维度的编码（例如，方向）在上下文维度的两个级别（例如，空间位置）上完全不同。也就是说，为上下文维度的两个级别创建了两个单独的编码模型。第一个上下文模型由同质人口代码组成。第二个上下文模型由调谐参数完全随机的通道组成。对于每个通道，位置参数 sc从覆盖维度中所有值的均匀分布中随机采样，从 5 到 20 之间的值中随机采样，并且 ωc值介于 5 和 25 之间。随机第二上下文模型极不可能与第一上下文模型共享任何属性（比较图7B中的顶部和底部编码模型）。

第一个上下文模型的测量权重 W1，随机抽样。另一方面，第二个上下文模型的测量权重 W2，以便呈现给第二级模型的任何刺激生成的活动模式尽可能与呈现给第一级模型的活动模式相似。为此，我们提出了上下文 1 模型，其中包含每个通道 s 的首选刺激c20次，每次从100个体素采样数据。然后，我们一次使用相同的刺激呈现上下文 2 模型，并使用方程 4 记录编码模型的平均响应向量（即没有任何噪声的神经通道响应）。最后，对于每个体素，以 W 为单位的权重向量2通过Lasso回归获得，其中第一个上下文模型产生的体素活动模式用作从第二个上下文模型获得的平均神经活动预测的输出。使用在 sklearn 中实现的套索回归，我们可以将权重限制为正数。回归模型的正则化参数未优化，而是固定为值 0.01。

如图7B所示，每个仿真都从创建这样的模型开始（步骤1），然后从中采样数据（步骤2）。为了获得这些数据，我们向模型展示了四个刺激，值分别为-45°，0°，45°和90°，并从中采样了体素活动模式。每个刺激演示重复20次。我们以这种方式从上述构建的第一级和第二级模型中抽取数据。从第一级模型对数据进行两次采样，以获得训练和测试数据集，并且仅从第二级模型采样一次，以仅获得测试数据集。然后，我们对结果数据进行了交叉分类测试（图 3B 中的步骤 4 和 7），遵循与上述实验数据相同的过程，除了 SVM 的 Nu 参数固定为默认值 0.5。每个模拟重复200次。呈现的结果表示从测试数据集中获得的所有模拟的平均统计数据。

最后，我们总共重复了这组模拟20次，每次体素测量噪声σ水平的值不同，从1到20。

模拟 2：跨上下文的相似调整神经亚群导致的假阳性不变性。

我们创建了一个模型，其中目标维度以完全特定于上下文的方式进行编码，其中一个神经元亚群在上下文 1 中响应，另一个神经元亚群在上下文 2 中响应。砝码 wv对于上下文 1 是随机生成的，如上所述。为了创建上下文 2 的测量模型，我们首先获得了从均值零和标准差等于 σ 的正态分布中采样的随机值向量 ee.这个随机向量被添加到wv（步骤 2），然后通过校正使值变为正值并归一化为加起来为 3（步骤 <>）。

生成模型后，按照与仿真1相同的附加步骤进行仿真，图2B中编号为4至7。唯一的区别是测量模型中的σ = 5，而σe从0到0.5不等。在σ的最高值e，测量模型中权重变化的标准差是这些权重平均值的 500% （0.1）。

模拟3：关于获得不变性/特异性的有效连续测量的难度。

在方程 2 中，我们使用 L1 距离作为上下文敏感性的度量，并作为解码可分离性测试的基础：

(7)

其中 p1和 p2分别表示刺激在上下文维度的第 1 和第 2 层的概率表示。在当前上下文中，随机变量x表示编码所呈现刺激的变量或向量，它可以是编码模型级别的发射速率向量，间接活动值水平（例如体素活动模式）的测量向量，以及解码级别的决策变量。

L1 距离可以解释为图 10 中的蓝色区域。Martinez-Camblor等人[73]提出了两个分布之间的互补距离：

(8)

这是图 10A 中的红色区域。人们可以认为这两个指数是互补的。

我们使用两者和 L1 来定义不变系数 ι：

(9)

我们可以计算编码分布的 ι，ιe，对于测量通道水平的分布，ιm，对于解码分布，ιd.计算这些指数的一个问题是，其中一些需要在高维联合密度上进行积分。我们可以通过蒙特卡洛方法估计这样的积分，其中以下确定积分的估计：通过在 {a， b} 段内均匀绘制 N 个随机样本并计算：

对于a和b的适当选择（即，使得p的值1 (x） 和 p2 (x） 区间外接近于零），不变系数 ι 近似为：我们可以通过使用蒙特卡罗估计值和 L1 得到一个估计值：

(10)

在多维情况下，样本变为向量 x我和 p1 (x我） 和 p2 (x我） 是联合概率分布，但方程 10 仍然适用。

因为我们可以计算编码分布和解码分布的不变性指数，所以可以评估作为底层表示中不变性的度量的有效性，定义为两个索引在许多不同的编码和测量模型中的相关性。

考虑到这个目标，我们进行了模拟。编码模型仅由沿目标编码维度均匀分布的5个通道组成。这降低了潜在神经表征的维数，这使我们能够使用上述蒙特卡洛程序精确估计，而无需过多的样本量。在上下文 1 中使用了同构标准编码模型，就像前面的仿真中所述一样。为了连续改变编码模型中的不变性水平，上下文 2 中的模型与上下文 1 中的模型相同，但每个通道的首选刺激和宽度随机向上或向下移动了 η 值，并且分别η表示编码模型中随上下文变化的变化级别。两个上下文级别的测量模型都是使用与仿真 2 中描述的相同过程构建的，具有σe固定为 0.1 对应于平均权重值。

在模拟的每次迭代中，我们创建了刚才描述的编码和测量模型，在 0 到 6 之间随机选择η值，根据初步模拟生成介于 200 和 000 之间的值范围。为了估计，我们使用了前面描述的蒙特卡罗过程，样本量N = <>，<>。每个样本由神经活动值r的随机向量组成，用于评估p1 (r） 和 p2 (r） 使用等式 5 并假设独立通道（即 p1(r|s = 0） = ∏cp1(r|s = 0））。根据初步模拟，所选的样本数量确保了蒙特卡罗估计在许多η值中收敛到稳定的值。我们还从测量模型中对编码维度的四个值（包括 200）以及两个上下文中的每一个都对 0 个活动模式进行了采样。我们使用这些样本来估计 的两个版本。对于第一个版本，我们专注于刺激解码。我们使用一半的采样模式来训练支持向量分类器来解码上下文 1 中呈现的刺激（使用与之前模拟相同的过程），并向经过训练的分类器展示了 100 个测试模式，获得的刺激值为 0，在上下文 1 和 2 中呈现。从这两个测试集获得的分类器决策变量用于估计两个解码分布，使用核密度估计，如解码可分离性测试部分所述。然后使用两个解码分布来计算，使用密度的离散化，如描述的那样（参见方程解码可分离性测试。的第二个版本是通过专注于上下文解码获得的;也就是说，训练支持向量分类器来解码呈现刺激 0 的上下文。和以前一样，分类器使用一半的采样模式进行训练，然后呈现 100 个刺激值为 0 的测试模式，在上下文 1 和 2 中呈现。最后，通过核密度估计获得的解码分布进行计算。

我们重复了前面描述的过程 200 次迭代，每次都记录 η 的值，以及 的两个版本的 。我们使用结果值来计算 η、 和 之间的 Pearson 相关性。

Supporting information

Detailed results of the decoding tests applied in the empirical study.

Skip to figshare navigation

Sub #1Sub #2Sub #3Sub#4Sub#5AccuracyP-valueAccuracyP-valueAccuracyP-valueAccuracyP-valueAccuracyP-valueSpatial Position DecodingTraining Orientation 0-degTesting Orientation 0-deg95.59<.001100.00<.00195.19<.00181.04<.00195.19<.001Testing Orientation 45-deg99.26<.001100.00<.00193.36<.00182.53<.00194.09<.001Testing Orientation 90-deg97.76<.001100.00<.00195.93<.00181.18<.00193.70<.001Testing Orientation 135-deg95.52<.001100.00<.00193.68<.00184.87<.00196.28<.001Training Orientation 45-degTesting Orientation 45-deg100.00<.001100.00<.00195.94<.00176.21<.00194.09<.001Testing Orientation 0-deg96.32<.001100.00<.00194.81<.00175.46<.00196.29<.001Testing Orientation 90-deg97.76<.001100.00<.00196.29<.00181.92<.00193.70<.001Testing Orientation 135-deg96.27<.001100.00<.00194.05<.00176.38<.00195.91<.001Training Orientation 90-degTesting Orientation 90-deg98.51<.001100.00<.00194.07<.00180.07<.00194.07<.001Testing Orientation 45-deg99.26<.001100.00<.00194.46<.00179.18<.00195.57<.001Testing Orientation 135-deg94.78<.001100.00<.00193.68<.00180.44<.00196.28<.001Testing Orientation 0-deg95.59<.001100.00<.00196.96<.00179.55<.00195.19<.001Training Orientation 135-degTesting Orientation 135-deg96.27<.001100.00<.00194.42<.00183.76<.00196.28<.001Testing Orientation 0-deg95.59<.001100.00<.00196.29<.00183.27<.00195.56<.001Testing Orientation 90-deg97.76<.001100.00<.00195.93<.00184.13<.00195.56<.001Testing Orientation 45-deg99.26<.001100.00<.00195.20<.00180.29<.00194.46<.001Orientation DecodingTraining Window 20-degTesting Window 20-deg24.81.95940.89<.00138.70<.00128.62.26534.07<.001Testing Window 80-deg23.70.98816.00.99930.37.00823.79.69826.11.643测试窗口 260 度20.55.99927.11.41428.52.06830.48.09322.96.970测试窗口 200 度15.56.99918.89.99927.22.12725.65.67023.33.970训练窗口 200 度测试窗口 200 度35.19<.00154.44<.00135.74<.00132.71.01134.07<.001测试窗口 260 度27.22.33520.44.99928.52.09924.91.78625.92.544测试窗口 80 度22.22.99630.22.02126.11.29028.25.32624.81.556测试窗口 20 度18.52.99919.11.99927.41.20423.05.78927.96.177表A：交叉分类测试的详细结果。已使用 Holm-Sidak 方法针对多重比较校正了 P 值。1

子 #1子 #2子 #3子#4子#5统计P 值统计P 值统计P 值统计P 值统计P 值空间位置解码培训方向 0 度综合测试χ2（3）= 4.65.19--χ2（3）= 2.34.505χ2（3）= 1.76.623χ2（3）= 2.22.5290 度与 45 度z= -1.91.16--z= .91.739z= -.45.881z= .56.8360 度与 90 度z= .03.98--z= -.42.739z= -1.18.555z= .75.8360 度与 135 度z= -.99.54--z= .76.739z= -.04.967z= -.63.836培训方向 45 度综合测试χ2（3）= 5.30.15--χ2（3）= 1.91.590χ2（3）= 4.12.248χ2（3）= 2.85.41645 度与 0 度z= 2.26.07--z= .62.782z= 20.975z= -1.19.54645 度与 90 度z= 1.75.08--z= -.21.831z= -1.63.278z= .19.84945 度与 135 度z= 2.27.07--z= 1.01.677z= -.048.975z= -.97.555培训方向 90 度综合测试χ2（3）= 6.73.08--χ2（3）= 2.13.546χ2（3）= .16.984χ2（3）= 1.53.67590 度与 45 度z= -.59.55--z= -.19.976z= .26.992z= -.79.67790 度与 135 度z= 1.69.25--z= .19.976z= -.11.992z= -1.19.54690 度与 0 度z= 1.41.29--z= -1.21.539z= .15.992z= -.57.677培训方向 135 度综合测试χ2（3）= 4.04.26--χ2（3）= 1.28.734χ2（3）= 1.74.628χ2（3）= 1.05.789135 度与 0 度z= .28.78--z= -1.03.659z= .15.985z= .43.891135 度与 90 度z= -.72.72--z= -.81.659z= -.11.985z= .43.891135 度与 45 度z= 1.67.26--z= -.41.683z= 1.05.648z= 1.01.678方向解码训练窗口 20 度综合测试χ2（3）= 14.49.002χ2（3）= 87.89<.001χ2（3）= 20.12<.001χ2（3）= 3.65.302χ2（3）= 22.11<.00120 度与 80 度z= .35.727z= 8.28<.001z= 2.88.004z= 1.27.493z= 2.85.00420 度与 260 度z= 1.38.307z= 4.36<.001z= 3.54<.001z= -.47.684z= 4.04<.00120 度与 200 度z= 3.19.004z= 7.21<.001z= 4.01<.001z= .78.684z= 3.90<.001训练窗口 200 度综合测试χ2（3）= 30.83<.001χ2（3）= 168.77<.001χ2（3）= 14.49.002χ2（3）= 7.33.062χ2（3）= 13.65.003200 度与 260 度z= 2.33.019z= 10.54<.001z= 2.54.011z= 1.99.089z= 2.92.006200 度与 80 度z= 3.94<.001z= 7.35<.001z= 3.42.002z= 1.12.261z= 3.34.003200 度与 20 度z= 5.23<.001z= 10.99<.001z= 2.95.006z= 2.49.037z= 2.17.029表B：分类不变性检验的详细结果。符号“-”表示由于缺乏可变性而无法执行测试在结果中（所有精度均在 100% 的上限）。已使用 Holm-Sidak 方法针对多重比较校正了 P 值。2

子 #1子 #2子 #3子#4子#5L1Gj统计P 值L1Gj统计P 值L1Gj统计P 值L1Gj统计P 值L1Gj统计P 值空间位置解码培训方向 0 度0 度与 45 度43.25.01963.33<.00128.73.05431.56.02350.24<.0010 度与 90 度45.15.01945.55<.00127.37.06128.67.03450.44<.0010 度与 135 度43.41.01950.83<.00126.36.06120.09.19146.74<.001培训方向 45 度45 度与 0 度42.40.03727.38.09421.01.15620.51.16148.39<.00145 度与 90 度36.48.05249.15<.00133.19.01039.07<.00140.08<.00145 度与 135 度38.44.05253.43<.00129.71.03427.24.05637.13.001培训方向 90 度90 度与 45 度45.96.01722.69.21932.41.01430.42.03348.96<.00190 度与 135 度31.63.10337.83.00752.84<.00130.63.03354.35<.00190 度与 0 度39.77.03638.86.00830.16.01425.68.04047.40<.001培训方向 135 度135 度与 0 度50.46.00429.94.04026.47.03927.17.08254.94<.001135 度与 90 度37.26.05344.37<.00149.39<.00127.32.08249.43<.001135 度与 45 度38.60.05350.29<.00129.00.03918.93.24845.85<.001方向解码训练窗口 20 度20 度与 80 度104.51<.001101.05.00465.32.20874.28.71372.73.16320 度与 260 度76.81.30790.32.01690.96.00887.72.50449.88.68820 度与 200 度71.37.199187.63<.001109.78<.00163.73.71986.35.024训练窗口 200 度200 度与 260 度114.29.006281.98<.00179.34.031106.29.08278.88.068200 度与 80 度102.44.001208.15<.001105.77<.00192.98.12595.57.004200 度与 20 度91.25.006314.68<.00184.35.026106.27.08269.58.120表C：解码可分离性测试的详细结果。已使用 Holm-Sidak 方法针对多重比较校正了 P 值。3

下载

无花果分享

S1 文本。 实证研究中应用的解码测试的详细结果。

https://doi.org/10.1371/journal.pcbi.1010819.s001

（英文）

确认

我们感谢Jason Hays开发和教我们如何使用用于模拟的Python包（PEMGUIN）。S.D.G.

引用

1.阿莱费尔德C，海恩斯JD。通过交叉验证多元方差分析对功能磁共振成像进行基于探照灯的多体素模式分析。神经影像。2014;89:345–357.pmid：24296330

查看文章PubMed/NCBI谷歌学术搜索

2.安泽洛蒂 S， 卡拉马扎 A.识别人类人脸身份的神经机制。心理学前沿。2014;5:672.pmid：25018745

查看文章PubMed/NCBI谷歌学术搜索

3.多变量交叉分类：应用机器学习技术来表征神经表示中的抽象。人类神经科学前沿。2015;9:151.邮编：25859202

查看文章PubMed/NCBI谷歌学术搜索

4.索托足球俱乐部，武科维奇·勒，阿什比·将信号检测理论和编码模型联系起来，从神经影像数据中揭示独立的神经表征。公共科学图书馆计算生物学。2018;14（10）：e1006470.密码：30273337

查看文章PubMed/NCBI谷歌学术搜索

5.Anzellotti S，Fairhall SL，Caramazza A.解码容忍旋转的人脸身份表示。大脑皮质。2014;24(8):1988–1995.密码：23463339

查看文章PubMed/NCBI谷歌学术搜索

6.拉米雷斯FM，奇奇RM，阿莱费尔德C，海恩斯JD。人类梭形面部区域中人脸定向的神经代码。神经科学杂志。2014;34(36):12155–12167.pmid：25186759

查看文章PubMed/NCBI谷歌学术搜索

7.凯撒D，阿扎利尼DC，皮伦MV。通过MEG和fMRI解码揭示的与形状无关的对象类别响应。神经生理学杂志。2016;115(4):2246–2250.密码：26740535

查看文章PubMed/NCBI谷歌学术搜索

8.Etzel JA，Gazzola V，Keysers C.用fMRI数据的跨模态多元分类测试模拟理论。公共图书馆一号。2008;3（11）：e3690.pmid：18997869

查看文章PubMed/NCBI谷歌学术搜索

9.Archila-Melendez ME，Valente G，Correia JM，Rouhl RPW，Kranen-Mastenbroek V，Jansma BM.语音感知的感觉运动表示：在7T fMRI中选择性注意音节期间发音特征位置的交叉解码。电子神经。2018;5（2）：e0252–17.2018.密码：29610768

查看文章PubMed/NCBI谷歌学术搜索

10.Man K， Kaplan JT， Damasio A， Meyer K. 视觉和声音汇聚在一起，形成颞顶皮层中的模态不变表示。神经科学杂志。2012;32(47):16629–16636.pmid：23175818

查看文章PubMed/NCBI谷歌学术搜索

11.Anzellotti S，Caramazza A.用fMRI个性化个人身份的多模态表示。皮层。2017;89:85–97.密码：28242496

查看文章PubMed/NCBI谷歌学术搜索

12.Akama H，Murphy B，Na L，Shimizu Y，Poesio M.使用不同刺激模式解码fMRI会话中的语义：一项实用的MVPA研究。神经信息学前沿。2012;6:24.密码：22936912

查看文章PubMed/NCBI谷歌学术搜索

13.索托，瓦尔德施密特，海莉，阿什比。自动分类开发过程中的大脑活动：使用多体素模式分析的分类任务比较。神经影像。2013;71:284–897.pmid：23333700

查看文章PubMed/NCBI谷歌学术搜索

14.布赫韦茨 A， 辛卡列娃 SV， 梅森 RA， 米切尔 TM， 只是马.识别跨语言的双语语义神经表示。大脑和语言。2012;120(3):282–289.pmid：21978845

查看文章PubMed/NCBI谷歌学术搜索

15.嘉宾O，爱BC。脑成像的成功意味着神经代码。生活。2017;6：e21397.密码：28103186

查看文章PubMed/NCBI谷歌学术搜索

16.Issa NP， Rosenberg A， Husson TR. V1中功能映射的模型和测量。神经生理学杂志。2008;99(6):2745–2754.pmid：18400962

查看文章PubMed/NCBI谷歌学术搜索

17.吴杰， 巴拉斯， 赵平 L.初级视觉皮层（V1）的结构和功能调查。EURASIP J 应用信号过程。2007;2007(1):124–124.

查看文章谷歌学术搜索

18.Gur M，Kagan I，Snodderly DM.警觉猴V1中神经元的方向和方向选择性：功能关系和层流分布。大脑皮质。2005;15(8):1207–1221.密码：15616136

查看文章PubMed/NCBI谷歌学术搜索

19.布劳威尔GJ，希格DJ。从人类视觉皮层的反应中解码和重建颜色。神经科学杂志。2009;29(44):13992–14003.密码：19890009

查看文章PubMed/NCBI谷歌学术搜索

20.Ester EF，Sprague TC，Serences JT.人类枕顶皮层的分类偏差。神经科学杂志。2020;40(4):917–931.pmid：31862856

查看文章PubMed/NCBI谷歌学术搜索

21.Garcia JO，Srinivasan R，Serences JT.人类皮层中的近实时特征选择性调制。当前生物学。2013;23(6):515–522.密码：23477721

查看文章PubMed/NCBI谷歌学术搜索

22.刘T， 电缆D， 加德纳JL.人群反应的倒置编码模型将噪声和神经调谐宽度混为一谈。神经科学杂志。2018;38(2):398–408.密码：29167406

查看文章PubMed/NCBI谷歌学术搜索

23.Blasdel G，Campbell D.猴子视觉皮层的功能视网膜。神经科学杂志。2001;21(20):8286–8301.pmid：11588200

查看文章PubMed/NCBI谷歌学术搜索

24.弗里曼RD.皮质柱：多参数检查。大脑皮质。2003;13(1):70–72.pmid：12466217

查看文章PubMed/NCBI谷歌学术搜索

25.猕猴纹状皮层的颜色处理：与眼优势、细胞色素氧化酶和方向的关系。神经生理学杂志。2002;87(6):3126–3137.pmid：12037213

查看文章PubMed/NCBI谷歌学术搜索

26.瑙豪斯一世，尼尔森KJ，迪士尼AA，卡拉威EM。灵长类初级视觉皮层中方向和空间频率的正交微组织。自然神经科学。2012;15(12):1683–1690.密码：23143516

查看文章PubMed/NCBI谷歌学术搜索

27.Yacoub E，Harel N，U?urbil K.高场fMRI揭示了人类的定向柱。美国国家科学院院刊.2008;105(30):10607–10612.密码：18641121

查看文章PubMed/NCBI谷歌学术搜索

28.大基 K， 钟 S， 郑 YH， 卡拉 P， 里德 RC.具有细胞分辨率的功能成像揭示了视觉皮层中的精确微结构。自然界。2005;433(7026):597–603.pmid：15660108

查看文章PubMed/NCBI谷歌学术搜索

29.范胡瑟 SD， 海梅尔 JAF， 钟 S， 纳尔逊 SB， 托斯 LJ.高度视觉哺乳动物的视觉皮层中没有方向图的方向选择性。神经科学杂志。2005;25(1):19–28.密码：15634763

查看文章PubMed/NCBI谷歌学术搜索

30.杜因·超高场MRI和fMRI用于研究人脑的未来。神经影像。2012;62(2):1241–1248.密码：22063093

查看文章PubMed/NCBI谷歌学术搜索

31.Logothetis NK.我们能做什么，不能用功能磁共振成像做什么。自然界。2008;453(7197):869–878.pmid：18548064

查看文章PubMed/NCBI谷歌学术搜索

32.成像方向选择性：解码V1中的意识感知。自然神经科学。2005;8(5):541–542.密码：15856054

查看文章PubMed/NCBI谷歌学术搜索

33.Haynes JD，Rees G.预测人类初级视觉皮层活动中不可见刺激的方向。自然神经科学。2005;8(5):686–691.密码：15852013

查看文章PubMed/NCBI谷歌学术搜索

34.Kamitani Y， Tong F. 解码人脑的视觉和主观内容。自然神经科学。2005;8(5):679–685.密码：15852014

查看文章PubMed/NCBI谷歌学术搜索

35.Freeman J， Brouwer GJ， Heeger DJ， Merriam EP. 方向解码取决于地图，而不是列。神经科学杂志。2011;31(13):4792–4804.密码：21451017

查看文章PubMed/NCBI谷歌学术搜索

36.沃德尔SG，里奇JB，西摩K，卡尔森TA。与边缘相关的活动对于解释人类视觉皮层中的方向解码不是必需的。神经科学杂志。2017;37(5):1187–1196.密码：28003346

查看文章PubMed/NCBI谷歌学术搜索

37.Walther A， Nili H， Ejaz N， Alink A， Kriegeskorte N， Diedrichsen J. 多体素模式分析的相异性度量的可靠性。神经影像。2016;137:188–200.密码：26707889

查看文章PubMed/NCBI谷歌学术搜索

38.范卑尔根RS，马WJ，普拉特MS，Jehee JFM。从视觉皮层解码的感觉不确定性预测行为。自然神经科学。2015;18(12):1728–1730.密码：26502262

查看文章PubMed/NCBI谷歌学术搜索

39.里奇JB，卡尔森TA。神经解码和“内在”心理物理学：一种将思想、大脑和行为联系起来的距离到绑定的方法。神经科学前沿。2016;10.密码：27199652

查看文章PubMed/NCBI谷歌学术搜索

40.Mazzoni A， Lindén H， Cuntz H， Lansner A， Panzeri S， Einevoll GT. 从积分和火力网络模型计算局部场电位 （LFP）。公共科学图书馆计算生物学。2015;11（12）：e1004584.密码：26657024

查看文章PubMed/NCBI谷歌学术搜索

41.Baillet S， Mosher JC， Leahy RM. 电磁脑映射.IEEE 信号处理杂志。2001;18(6):14–30.

查看文章谷歌学术搜索

42.Wendel K， V?is?nen O， Malmivuo J， Gencer NG， Vanrumste B， Durka P， et al. EEG/MEG 源成像：方法、挑战和开放问题。计算智能和神经科学。2009;第656092页。密码：19639045

查看文章PubMed/NCBI谷歌学术搜索

43.索托法，阿什比·神经成像中的编码模型。在：Ashby FG，Colonius H，Dzhafarov EN，编辑。数学心理学的新手册。第 3 卷。剑桥大学出版社;2022.

44.范格文少校。感觉神经科学编码模型入门。数学心理学杂志。2017;76:172–183.

查看文章谷歌学术搜索

45.Kriegeskorte N，Mur M，Bandettini P.表征相似性分析-连接系统神经科学的分支。系统神经科学前沿。2008;2:4.pmid：19104670

查看文章PubMed/NCBI谷歌学术搜索

46.蔡奕， 富尔维奥， 于琪， 谢尔顿， 波斯特尔.位置-上下文绑定在非空间视觉工作记忆中的作用。埃赫诺。2020;7（6）：ENEURO.0430–20.2020.pmid：33257529

查看文章PubMed/NCBI谷歌学术搜索

47.Gardner JL， Liu T. 倒置编码模型重建任意模型响应，而不是刺激。电子神经。2019;6（2）：e0363–18.2019.

查看文章谷歌学术搜索

48.博巴迪拉-苏亚雷斯 S， 阿尔海姆 C， 梅赫罗特拉 A， 帕诺斯 A， 洛夫 BC.神经相似性的度量。计算大脑与行为。2020;3:369–383.pmid：33225218

查看文章PubMed/NCBI谷歌学术搜索

49.索托 FA， 马丁 ER， 李 H， 艾哈迈德 N， 埃斯特帕 J， 胡塞尼 K， 等.表征相似性分析中神经距离测量的有效性 佛罗里达州圣彼得海滩;2022.可用自： https://docs.lib.purdue.edu/cgi/viewcontent.cgi?article=1195&context=modvis.

50.Hinds OP， Rajendran N， Polimeni JR， Augustinack JC， Wiggins G， Wald LL， et al.从表面坐标系中的皮质褶皱准确预测 V1 位置。神经影像。2008;39(4):1585–1599.密码：18055222

查看文章PubMed/NCBI谷歌学术搜索

51.博因顿总经理，恩格尔公司，格洛弗GH，希格DJ。人体V1中功能磁共振成像的线性系统分析。神经科学杂志。1996;16(13):4207–4221.密码：8753882

查看文章PubMed/NCBI谷歌学术搜索

52.阿吉雷 GK， 扎拉恩 E， 德埃斯波西托 M.人类大胆的血流动力学反应的变异性。神经影像。1998;8(4):360–369.密码：9811554

查看文章PubMed/NCBI谷歌学术搜索

53.Huettel SA，McCarthy G.通过MRI测量的血液动力学对视觉刺激反应的不应期的证据。神经影像。2000;11(5):547–553.密码：10806040

查看文章PubMed/NCBI谷歌学术搜索

54.Elbau IG， Brücklmeier B， Uhr M， Arloth J， Czamara D， Spoormaker VI， et al.在急性社会心理应激下，大脑的血流动力学反应功能与遗传和内分泌应激反应标志物相关，迅速变化。美国国家科学院院刊.2018;115（43）：E10206–E10215.pmid：30201713

查看文章PubMed/NCBI谷歌学术搜索

55.Lecrux C， Sandoe CH， Neupane S， Kropf P， Toussay X， Tong XK， et al.胆碱能音调改变对晶须刺激的神经血管耦合反应的影响。神经科学杂志。2017;37(6):1518–1531.密码：28069927

查看文章PubMed/NCBI谷歌学术搜索

56.Lecrux C，Hamel E.正常和改变的大脑状态下皮质神经血管耦合反应的神经元网络和介质。皇家学会哲学学报B：生物科学。2016;371(1705):20150350.密码：27574304

查看文章PubMed/NCBI谷歌学术搜索

57.Zaldivar D， Rauch A， Whittingstall K， Logothetis NK， Goense J. 多巴胺诱导的猕猴视觉皮层中BOLD和神经活动的解离。当前生物学。2014;24(23):2805–2811.密码：25456449

查看文章PubMed/NCBI谷歌学术搜索

58.皮尔斯·PsychoPy：Python中的心理物理学软件。神经科学方法杂志。2007;162(1-2):8–13.密码：17254636

查看文章PubMed/NCBI谷歌学术搜索

59.Alink A， Krugliak A， Walther A， Kriegeskorte N. V1中的fMRI方向解码不需要全局地图或全局相干方向刺激。心理学前沿。2013;4:493.pmid：23964251

查看文章PubMed/NCBI谷歌学术搜索

60.Pratte MS， Sy JL， Swisher JD， Tong F. 径向偏置对于定向解码不是必需的。神经影像。2016;127:23–33.密码：26666900

查看文章PubMed/NCBI谷歌学术搜索

61.森古普塔 A， 雅库波夫 R， 斯佩克 O， 珀尓曼 S， 汉克 M.采集分辨率对1T时V7 BOLD fMRI方向解码的影响。2017;148:64–76.密码：28063973

查看文章PubMed/NCBI谷歌学术搜索

62.Henriksson L， Nurminen L， Hyv?rinen A， Vanni S. 人类视网膜视觉区域的空间频率调谐.视觉杂志。2008;8(10):5.pmid：19146347

查看文章PubMed/NCBI谷歌学术搜索

63.Fortmann-Roe S， Starfield R， Getz WM. 或有核密度估计。公共图书馆一号。2012;7（2）：e30549.密码：22383966

查看文章PubMed/NCBI谷歌学术搜索

64.本森NC，巴特OH，达塔R，拉多耶娃PD，布雷纳德DH，阿吉雷GK。纹状皮层的视网膜组织可以通过表面拓扑得到很好的预测。当前生物学。2012;22(21):2081–2085.密码：23041195

查看文章PubMed/NCBI谷歌学术搜索

65.菲舍尔·神经影像。2012;62(2):774–781.pmid：22248573

查看文章PubMed/NCBI谷歌学术搜索

66.Gorgolewski K， Burns CD， Madison C， Clark D， Halchenko YO， Waskom ML， et al.Nipype：python中一个灵活，轻量级和可扩展的神经成像数据处理框架。神经信息学前沿。2011;5:13.pmid：21897815

查看文章PubMed/NCBI谷歌学术搜索

67.詹金森 M， 贝克曼 CF， 贝伦斯 TE， 伍尔里奇 MW， 史密斯 SM. Fsl. 神经影像.2012;62(2):782–790.密码：21979382

查看文章PubMed/NCBI谷歌学术搜索

68.Pedregosa F，Eickenberg M，Ciuciu P，Thirion B，Gramfort A.用于编码和解码模型的数据驱动的HRF估计。神经影像。2015;104:209–220.密码：25304775

查看文章PubMed/NCBI谷歌学术搜索

69.Pedregosa F, Varoquaux G, Gramfort A, Michel V, Thirion B, Grisel O, et al. Scikit-learn: Machine learning in Python.机器学习研究杂志。2011;12（十月）：2825–2830.

查看文章谷歌学术搜索

70.Knijnenburg TA， Wessels LFA， Reinders MJT， Shmulevich I. 更少的排列，更准确的 p 值。生物信息学。2009;25（12）：i161–i168.密码：19477983

查看文章PubMed/NCBI谷歌学术搜索

71.阿林克 A， 阿卜杜勒拉赫曼 H， 汉森 RN.前向模型表明，重复抑制最好通过局部神经缩放来建模。自然通讯.2018;9(1):3854.密码：30242150

查看文章PubMed/NCBI谷歌学术搜索

72.Ester EF， Anderson DE， Serences JT， aw E.视觉工作记忆精度的神经度量。认知神经科学杂志。2013;25(5):754–761.密码：23469889

查看文章PubMed/NCBI谷歌学术搜索

73.Martinez-Camblor P， de U?a-Alvarez J. 非参数 k 样本检验：密度函数与分布函数。计算统计与数据分析。2009;53(9):3344–3357.

查看文章谷歌学术搜索