        
            客服中心
        
        QQ：854727998
Email：lunwen133@163.com
地址：福建省厦门市思明区嘉禾路337号

                最新投稿+更多
        
                标题标题标题

                最新期刊更新+更多
        
                新教育时代-初中体育教学中如何激发学

                最新期刊更新+更多
        
                新教育时代-初中体育教学中如何激发学

您的位置：首页 > 医学 > 医学论文发表-使用任务特定的深层神经网络揭示视觉皮层的功能

《医学论文发表-使用任务特定的深层神经网络揭示视觉皮层的功能》

主管单位：
主办单位：
国际刊号：
国内刊号：
期刊级别：
发行周期：
收录情况：
审稿时间：
投稿邮箱：

《医学论文发表-使用任务特定的深层神经网络揭示视觉皮层的功能》期刊在线投稿系统

* 投稿刊物	医学论文发表-使用任务特定的深层神经网络揭示视觉皮层的功能
* 作者姓名		(只写第一作者)
* 联系电话		（请填写正确的联系电话）
通讯地址		（请填写正确的通讯地址）
* 电子邮箱		（请提供正确的电子邮箱）
* 联系qq		（请提供常用的联系qq）
上传稿件
验证码

《医学论文发表-使用任务特定的深层神经网络揭示视觉皮层的功能》期刊简介

医学论文发表-使用任务特定的深层神经网络揭示视觉皮层的功能

· 克希提·德维维迪

· 迈克尔·邦纳

· 拉多斯劳·马丁·西奇

· 杰玛·罗伊格

· 发布时间： 2021年8月13日

· 品

· 作者

· 指标

· 评论

· 媒体报道

· 同行审查

· 读者评论（0）

· 数字

这是一个未经纠正的证据。

数字

抽象

人类视觉皮层通过皮质区域具有不同功能的分层计算级联实现视觉感知。在这里，我们引入了一个AI驱动的方法，以发现视觉皮层的功能映射。我们将人脑对使用功能 MRI （fMRI）测量的场景图像的反应系统地与一组优化以执行不同场景感知任务的不同深度神经网络（DNN）相关。我们发现 DNN 任务和沿腹腔和旁路视觉流的大脑区域之间有结构的映射。低级视觉任务映射到早期大脑区域，三维场景感知任务映射到双体流上，语义任务映射到心室流。此映射具有高保真度，在九个关键区域中解释了 60% 以上的可解释方差。我们的研究结果共同提供了人类视觉皮层的全新功能映射，并展示了计算方法的力量。

作者摘要

人类视觉感知是一种复杂的认知壮举，已知由大脑中不同的皮质区域进行调解。然而，这些区域的确切功能仍然未知，因此尚不清楚这些区域如何共同协调视觉感知。在这里，我们应用人工智能驱动的大脑映射方法来揭示视觉大脑功能。这种方法集成了多个人工深神经网络，训练在一套不同的功能与整个人脑的功能记录。我们的结果表明，通过绘制区域到深层网络的特定功能，系统地绘制了视觉皮层图。这构成了大脑中调解人类视觉感知的不同皮质区域功能的综合描述。

引文：德维维迪 K，邦纳 Mf，西奇 RM，罗伊格 G （2021）使用任务特定的深神经网络揭示视觉皮层的功能。PLoS 计算生物 17 （8）： e1009267.https://doi.org/10.1371/journal.pcbi.1009267

编辑：乌尔里克·比尔霍尔姆，英国达勒姆大学

接收：2021年2月9日：已接受：2021年7月11日：已发布：2021 年 8 月 13 日

数据可用性：作者确认，所有结论背后的数据都是完全可用的，不受限制。复制结果所需的数据可在此处获取：https://osf.io/dj7v2/代码可在此处获取：https://github.com/cvai-repo/dnn2brain-function。

资金：G.R.感谢阿方斯和格特鲁德·卡塞尔基金会的支持。R.M.C由DFG赠款（CI241/1-1，CI241/3-1）和ERC启动赠款（ERC-2018-StG 803370）支持。资助者在研究设计、数据收集和分析、决定出版或准备手稿方面没有作用。

竞争利益：作者宣称不存在相互竞争的利益。

1. 简介

人类视觉系统将传入的光线转化为有意义的表现，成为感知和引导行为的基础。这种转变被认为是通过在所谓的心室和正点视觉流沿一组大脑区域实施的分层过程实现的 [1]进行的。每个区域都被要求在启用感知方面实现一个独特的子函数[2]。然而，发现这些功能的确切性质，并提供计算模型，以实现它们已被证明是具有挑战性的。最近，使用深度神经网络（DNN）进行计算建模已成为一种很有希望的建模方法，并预测视觉区域的神经反应[3]7]。这些研究提供了视觉大脑的第一次功能映射。然而，由此产生的视觉皮层功能说明仍然不完整。这是因为以前的研究要么通过调查许多 DNN 来解释单个或几个候选区域的功能，要么解释许多大脑区域将其与仅接受一项任务训练的单个 DNN 进行比较（通常对象分类）。相比之下，要系统、全面地描绘人脑功能，使其每个子组件所执行的功能丰富，必须与整个皮层的预测能力相关并对其预测能力进行比较。

针对这种系统而全面的视觉皮层图片，我们在医学论文发表-这里将整个视觉大脑的大脑反应与一组广泛的 DN 联系起来，其中每个 DNN 都针对不同的视觉任务进行了优化，因此执行了不同的功能。

为了可靠地揭示大脑区域的功能使用DNN执行不同的功能，我们需要确保只有功能和其他关键因素之间的DNN不同。DNN 学到的参数取决于几个基本因素，即其结构、培训数据集、学习机制以及 DNN 优化的功能。因此，在这项研究中，我们选择一组 DNN[8]具有相同的编码器架构，并且使用相同的学习机制和相同的培训图像进行训练。因此，所选 DN 的编码器学到的参数仅因其不同的函数而有所不同。

我们通过比较 fMRI 对场景图像的响应[9]与在不同任务上优化的多个 DN 的激活（8]与场景感知（例如场景分类、深度估计和边缘检测）进行比较，生成视觉皮层的功能图。我们的关键结果是，大脑中的不同区域被执行不同任务的 DNN 更好地解释，这表明这些区域的计算角色不同。特别是，我们发现视觉皮层的早期区域最好由执行低水平视觉任务（如边缘检测）的 DNN 来解释。主干流中的区域由执行与三维（3D）场景感知相关的任务（如遮挡检测和表面正常预测）的 DN 进行更好的解释。心室流中的区域最好由执行与语义相关的任务（如场景分类）的 DNn 来解释。重要的是，前 3 名最佳预测 DN 解释了 9 个腹腔-时间和侧向视觉区域中 60% 以上的可解释方差，显示了我们 AI 驱动方法发现人脑细粒度功能图的定量功率和潜力。

2. 结果

2.1 使用多个 DN 的视觉皮层功能图

我们的主要目标是根据每个区域实施的功能生成视觉大脑的功能图。我们的方法是将大脑反应与执行不同功能的 DNN 的激活联系起来。为此，我们使用 fMRI 数据集记录，而人类受试者（N = 16）查看室内场景[9]并执行分类任务;和一组 18 DN[8]优化，以执行 18 种与视觉感知相关的不同功能（部分任务可以在此处可视化：https://sites.google.com/view/dnn2brainfunction/home#h.u0nqne179ys2）外加一个额外的 DNN，其中随机权重为基线。不同的 DN 的功能与室内场景感知相关联，涵盖从低级视觉任务（例如边缘检测）到三维视觉感知任务（例如表面正常预测）到分类任务（例如场景分类）等广泛任务。每个 DNN 都包含一个编码器解码器架构，其中编码器在任务中具有相同的架构，解码器因任务而异。为了确保我们设置的不同 DN 所解释的 fMRI 响应的差异差异不是由于结构差异，我们为所有 DN 从相同编码器架构的最后两层中选择了激活。

层选择基于分析，找到编码器中任务最特定的层（参见S1 文本和S2 图）。此外，所有 DN 都使用相同的培训图像和相同的学习后传算法进行了优化。因此，我们在整个 DNN 中发现的任何差异都不能归因于培训数据统计、架构或学习算法，而应归因于每个 DNN 都优化的任务。

为了将fMRI反应与DNN进行比较，我们首先提取了大脑空间划分部分的fMRI反应，用于刺激集（图1A）中的所有图像。这可能是一组空间连续的 voxels 进行探照灯分析[10]12]或将 voxels 限制在大脑地图集定义的特定大脑区域，用于兴趣区域（ROI）分析。等价物，我们从每个 DNN 的编码器中提取激活，用于相同的刺激集。

图1。按任务特定的 DN 对视觉皮层进行功能映射的方法和结果。

A） DNN-fMRI 比较的架构。作为第一步，我们从编码器的最后两层（块 4 和输出）中提取 DNN 激活，表示为 b41（x我） o1（x我）为 Dnn1和 b4n（x我） on（x我）为 Dnnn在图中，从 n Dnn 和 fmri 响应的区域 f （x）我）为 ith图像 x我在刺激集。对于刺激集中的所有图像，我们重复了上述程序。B）我们使用提取的激活来计算 RDM，两个用于两个 DNN 层，一个用于大脑区域。每个 RDM 分别包含 DNN 激活或大脑区域激活的对异性。然后，我们使用多个线性回归来获取 R12分数以量化 DNN 之间的相似性1和大脑区域我们重复相同的程序，使用其他DNN获得相应的研发2 C）我们根据 R 获得排名2识别具有最高 R 的 DN2用于大脑区域的 fmri 反应。为了可视化结果，我们通过显示最高 R 的 DNN 颜色索引对大脑区域进行颜色编码2在大脑区域D）通过空间无偏见的探照灯程序生成的视觉大脑功能图，比较为不同任务优化的 18 个 DNN 和随机初始化的 DNN 作为基线。我们显示具有显著噪声天花板和 R 的 voxels 的结果2与 DNN （p <0.05，排列测试与 10，000 迭代， FDR 更正）.功能脑图的交互式可视化可在本网络链接（https://sites.google.com/view/dnn2brainfunction/home#h.ub1chq1k42n6）中提供。

https://doi.org/10.1371/journal.pcbi.1009267.g001医学论文发表-

然后，我们使用表示相似性分析（RSA）[13]来比较大脑激活与 DNN 激活。RSA 将相似空间定义为大脑和 DNN 激活模式不可调和的多变量空间的抽象。此相似空间的定义是同一源空间的激活模式之间的对向距离，无论是来自大脑区域的 fMRI 响应，还是 DNN 激活，其中响应可以直接相关。为此，我们比较了每个源空间中刺激特定激活模式的所有组合（即 DNN 激活、fMRI 激活）。然后，每个源空间的结果在称为表示性差异矩阵（RDM）的二维矩阵中注明。RDM 的行和列表示比较条件。为了在此基于 RDM 的相似性空间中关联 fMRI 和 DN，我们执行了多个线性回归，从最后两个编码器层的 DNN RDM 预测 fMRI RDM。我们获得了测定R的调整系数2（称为 R2在随后的文本中）从回归来量化fMRI响应和DNN（图1B）之间的相似性。我们为所调查的 18 个 DNN 中的每一个进行了此分析，当这些 DN 分别针对 2D、3D 或语义任务进行优化时，我们将这些 DNN 分为 2D、3D 或语义 DN，并增加了一个以随机权重为基线的 DNN。这些任务根据不同级别的室内场景感知分为三组（2D、3D 和语义），并在以前的作品中使用传输性能（使用一个 DNN 作为其他目标任务的初始化[8]和 DNn[14]之间的表示相似性进行验证。我们终于根据 R 使用了获得的 Dnn 排名2识别具有最高 R 的 DN2用于大脑区域的 fmri 反应（图 1C顶部）。为了可视化结果，我们通过对显示最高 R 的 DNN 进行颜色索引来对大脑区域进行颜色编码2在大脑区域（图1C底部）。

为了在整个视觉皮层上生成一张功能图，我们进行了探照灯分析[11，12]。详细介绍，我们获得 R2基于 DNN 的基于特定 voxel 周围的局部激活模式的排名，如上所述。我们对每个 voxel 进行了上述分析，从而绘制出空间上不偏不倚的功能图。

我们观察到，视觉皮层的不同区域与不同的DN具有最高的相似性。重要的是，不同DN预测大脑活动的最佳模式不是随机的，而是空间组织的：2D DN（图1D中的蓝色阴影：互动地图可视化：https://sites.google.com/view/dnn2brainfunction/home#h.ub1chq1k42n6）与早期视觉区域具有更高的相似性， 3D DN（绿色色调）与正交区域具有较高的相似性，而语义DN（在品红色色调中）显示与心室区域和某些鼻腔区域的相似性较高。

我们的人工智能驱动映射程序的结果表明，早期视觉区域执行与低水平视觉相关的功能，双面区域执行与 3D 和语义感知相关的功能，而腹腔区域执行与语义感知相关的功能。

2.2 功能图的性质和预测力

使用图 1D的探照灯结果，我们识别出显示最高 R 的 DNN2每个探照灯。这提出了两个关键问题，需要进一步调查，以便深入了解大脑区域的功能。首先，单个 DNN 是否突出预测区域响应（一个 DNN 对一个区域）或一组 DNN 一起预测其响应（许多 DNN 对一个区域）？DNN 和区域之间的一对一映射将表示单个功能角色，而多对一映射将建议正在调查的大脑区域的多个功能角色。其次，鉴于本研究中考虑的 DNN 预测 fMRI 响应，它们在数量尺度上预测得有多好？高预测精度表明，使用我们的分析获得的功能映射是准确的，而低预测精度将表明本研究中考虑的DNN不适合找到大脑区域的功能。虽然可以回答每个词汇的上述问题，但简洁性，我们考虑从大脑地图集[15]中对视觉皮层进行 25 个感兴趣的区域（ROIs）瓷砖。

为了确定 DNN 预测 fMRI 响应的准确程度，我们计算了每个 ROI 的噪声上限的下限和上限。我们包括ROI（15 总分 25），噪声上限低于 0.1，并且由于信号与噪声比率较低而丢弃了其他 ROI。我们在图2A的视觉皮层中显示被调查的ROI的位置。医学论文发表-

图2。功能图的自然和预测能力。

A）皮质覆盖物，从使用的概率地图集中显示选定的皮质区域的位置。B）绝对总差（R）2）在 15 个 ROI 中解释，将前 3 个 DNN 一起使用。每个投资回报率的 Venn 图说明了由前 3 个 DNN 组合解释的 ROI 响应的独特和共享差异。条形图显示了每个 ROI 的独特差异，每个 ROI 由每个前 3 个 DNN 单独解释。星号表示独特方差的重要性和独特方差的差异（p<0.05，排列测试与10，000次迭代，FDR纠正跨越DNN）。错误条显示通过引导 90% 的条件（10，000 次迭代）计算的标准偏差。C）与阴影灰色区域表示的噪声天花板的下端和上行界限相比，由前 3 名最佳预测 DN（交叉验证的主题和条件）解释的每个 ROI 的差异。误差条显示在 N = 16 个受试者中计算的 95% 置信区间。所有 R2值具有统计学意义（p<0.05，双面 t 测试，在 ROI 中纠正 FDR）。

https://doi.org/10.1371/journal.pcbi.1009267.g002

对于每个投资回报率，我们使用 RSA 将 fMRI 响应（转换为 fMRI RRM）与所有 18 DN 的激活以及随机初始化的 DNN 作为基线（转换为 DNN RDM）进行比较。这产生了一个 R2每个区域的 DNN 值（参见S3 图）。然后，我们选择了显示最高 R 的前 3 个 DN2并进行了方差分区分析[16]。我们使用前 3 个 DNN RDM 作为独立变量，将投资回报率 RDM 作为依赖变量，以找出这些 DNN 与其他两个 DN 一起考虑时，每个 DN 独特地解释了投资回报率响应的差异。通过方差分区分析（S1 图中所示的方法），我们能够通过比较所解释的方差（R）来推断不同预测器（DNN RDM）之间唯一和共享的方差量2）使用前 3 个 DN 时单独使用与其他 DNN 的 DNN 的变量除数分析（图 2B）揭示了对给定投资回报率解释最大方差的单个 DNN 以及其他 DNN 解释的独特和共享方差。检测边缘的 DNN 在早期和中级视觉区域（V1v、V1d、V2v、V2d、V3v 和 hV4）中解释的差异<显著高于其他两个 DN，这表明与其他两个 DNN 具有相关功能。语义分割 DNN 解释了心室 ROI VO1 和 VO2 中显著较高的唯一差异，表明与物体感性分组相关的函数。3D DN （3D 关键点、2.5D 细分、3D 边缘、曲率）最能预测 DN 的正点 ROIs V3d 和 V3b，从而在 3D 场景理解中显示它们的作用。3D 和语义 DN 的组合最能预测其他 ROI （PHC1、PHC2、LO1、LO2 和 V3a）的 DN。需要注意的是，如果来自同一任务组的两个 DNN 处于投资回报率预测 DN 的前 3 名，则同一组 DNN 解释的 RI RDM 的独特差异通常会低于非组中的 DNN。我们观察到，与其他任务组的 DN 相比，同一任务组中的 DN 彼此之间的相关性更高[14]。同一任务组的 DN 之间相关性较高，导致共享方差增加，并减少任务组 DNN 中解释的 ROI RDM 的独特方差。例如，我们可以在 PHC2（也位于 PHC1、V3a 中）中观察到这一点，其中两个语义 DN 解释的独特方差比 3D DNN 少。因此，在这种情况下，我们限制解释一种类型的 DNN 明显优于其他类型。

总的来说，我们观察到多个区域的功能和区域之间有许多对一的关系，即多个 DNN 共同解释了特定的大脑区域。在早期和中级区域（V1v、V1d、V2v、V3v），最具有预测性的功能与低水平视觉（2D 边缘、去名和 2D 分割）相关。在多面体区域 V3d 和 V3b 中，预测功能最多与 3D 场景理解相关。在后来的腹腔和双体区域（V2d、hV4、VO1、VO2、PHC1、PHC2、LO1、LO2 和 V3a）中，我们观察到了 2D、3D 和语义函数的混合映射，表明这些 ROI 具有多种功能作用。多个 DN 对区域反应的可预测性表明，大脑中的视觉区域具有非常适合不同功能的表示。上述发现的一个似是而不容言的推测是，这些区域可能正在执行与最佳预测 DN 相关的函数，但在本研究中调查的 DNN 集中并不存在。

为了确定上述 ROI 的功能映射精度，我们计算了前 3 个最佳预测 DNN 解释的可解释方差的百分比。我们通过跨受试者（N 倍）和条件（双倍）使用交叉验证来最好地预测 DN，从而计算了解释的方差。由于我们使用多个模型一起进行多个线性回归，我们需要使用不同的 RDM 集进行交叉验证，以安装和评估回归的拟合度。在这里，我们通过在刺激集的一半图像上对一个主题左出主题平均 RDM 进行回归，并在图像的另一半对遗漏的单主题 RDM 进行评估，从而对受试者进行交叉验证。与常用的无交叉验证方法相比，上述方法是更严格的评估标准（见S5 图）。我们将前 3 个 DN 解释的方差与噪声上限的较低估计值进行了比较，后者是可解释方差的估计值。我们发现，在九个ROI（V1v，V1d，V2v，V3v，VO1，PHC1，LO2，LO1，V3a）中解释的方差高于噪音上限下限的60%（图2C，绝对R）2= 0.085 ± 0.046）。按绝对值计算，最低、中位数和最大交叉验证 R215 个 ROI 的值为 0.014 （PHC2）、0.044 （VO1）和 0.27 （V1v），这些值与以类似方式进行评估的相关研究[17]相媲美。这表明本研究中选择的 DN 预测 fMRI 响应良好，因此适合映射所调查 ROI 的功能。

总之，我们证明了在视觉皮层的许多区域，接受不同功能训练的 DNN 预测活动。这表明这些投资回报率具有多种功能作用。我们进一步定量地表明，9 个视觉投资回报率中超过 60% 的可解释方差是由我们使用的一组 DNN 解释的，这表明选定的 DN 非常适合调查这些 ROI 的功能角色。医学论文发表-

2.3 通过 2D、3D 和语义任务绘制的视觉皮层功能图

在前一节中，我们观察到一种模式，从质感上暗示了视觉皮层早期（2D）、多面体（3D和语义）和心室（语义）区域的不同功能角色。为了定量评估这一点，我们调查了大脑反应和DNN的关系，而不是在单个任务的水平，而是任务组（2D，3D和语义），其中属于任务组的DNN显示与其他任务组中的DNN更高的相关性（见S1文本）。

我们平均每个任务组的 DN 的 RDM 获得聚合的 2D、3D 和语义 RDM。基于任务组平均 RDM 将 DNN 对比次数从 18 个减少到 3 个。这使我们能够进行方差分区分析，以比较 fMRI 和 DNN RDM，由于大量的比较和计算复杂性，这与 18 个单个 DN 不切实际。当以这种方式使用时，方差分区分析揭示了大脑中一个任务组是否和在哪里解释大脑反应明显优于其他任务组。

我们首先进行了探照灯分析，以确定在皮层中，一个任务组解释的方差明显高于其他任务组。我们选择了分组的 DNN RDM，该组解释了特定区域中的最高方差，以创建视觉皮层任务组的功能地图（图 3A）。在这里，由于比较次数减少，我们可以清楚地观察到一个分组的 DNN 比其他分组 DNN（p<0.05、具有 10，000 次迭代的排列测试、在 DNN 和探照灯中更正 FDR）更好地解释 fMRI 响应的区别。由此产生的功能图（图3A：此链接中提供的交互式可视化：https://sites.google.com/view/dnn2brainfunction/home#h.xi402x2hr0p3）在两个方面与图1D中的功能图不同。首先，在此功能图中，我们突出显示探照灯，其中一个 DNN 组解释的方差明显高于其他 2 个 DNN 组。在图 1D的功能图中，我们突出了 DNN，该 DNN 解释了探照灯的最大方差，但没有进行任何统计分析，即所选 DNN 是否明显优于第二好 DNN，因为比较次数较高。其次，我们使用 DNN 组（3 个函数：2D、3D 和语义）比较函数，而在以前的分析中，我们使用单个 DNN （18 个函数）比较函数。使用 DNN 组进行比较，使我们能够将我们的发现与以前通常在此级别上报告的神经成像结果联系起来。

图3。与 2D、3D 和语义任务有关视觉皮层的功能映射。

A）视觉皮层的功能图，显示一个 DNN 组（2D、3D 或语义）解释的独特方差明显高于其他两个 DNN 组解释的方差（p <0.05，排列测试与 10，000 迭代，FDR 校正）所解释的区域。我们显示具有显著噪声上限的 voxels 的结果（p <0.05，排列测试具有 10，000 次迭代，在 DN 和探照灯中校正了 FDR）。功能脑图可以在此网络链接（https://sites.google.com/view/dnn2brainfunction/home#h.xi402x2hr0p3）中可视化。B）绝对方差（R）2）使用 3 个 DNN RDM（任务组的平均值）（2D、3D 或语义）在 15 个 ROI 中解释。每个投资回报率的 Venn 图说明了由 3 个任务组组合解释的 ROI 响应的独特和共享差异。条形图显示了每个任务组单独解释的每个投资回报率的独特差异。星号表示唯一方差或唯一方差差异是否显著（p<0.05，排列测试与 10，000 迭代，FDR 校正跨越 DNN）。错误条显示通过引导 90% 的条件（10，000 次迭代）计算的标准偏差。

https://doi.org/10.1371/journal.pcbi.1009267.g003

我们观察到，2D DNN RDM 解释了早期视觉皮层的反应，语义 DNN RDM 解释了心室视觉流中的反应，以及正点视觉流右半球的某些部分，3D DNN RDM 解释了正点视觉流左半球的反应。上述发现从数量上强化了我们前一节的定性发现，即早期视觉区域执行与低水平视觉相关的功能，多面体区域执行与 3D 和语义感知相关的功能，而心室区域执行与语义感知相关的功能。

虽然大脑地图揭示了特定区域最有可能的功能，但要找出一个区域是否具有多个功能角色，我们需要可视化其他分组 DNN RDM 解释的方差以及最佳预测 DNN RDM。为此，我们使用 3 组 DNN RDM 作为独立变量进行方差分隔析分析，在腹腔时间和正点-静脉流中作为受附变量执行 15 个 ROI。图 3B中的结果显示了所有 15 个 ROI 的组级 DNN RDM（2D、3D 和语义）所解释的独特和共享方差。医学论文发表-

从图3B，我们观察到早期投资回报率（V1v，V1d，V2v， V3v， hV4）解释显著高（p<0.05，排列测试与 10，000 迭代， FDR 纠正跨越 DNN）由 2D DNN RDM 独特，而响应在以后的腹腔时间投资回报率（VO1， VO2， PHC1 和 PHC2）解释语义 DNN RDM 独特.在多面体投资回报率（V3a， V3d）中，3D RDM 的独特解释。在 LO1 中，LO2 和 V3b 3D 和语义 DNN RDM 解释了显著差异，而在 V2d 中，所有 2D、3D 和语义 DNN RDM 解释了显著的独特方差。需要注意的是，对于此处的投资回报率分析，我们使用分组 DNN RDM，而图 2B中我们选择了显示最高 R 的前 3 个单个 DNN2具有给定的投资回报率。与分组 DNN RDM 的比较提供了 ROI 功能角色的整体视图，如果与投资回报率的功能角色相关的 DN 之一不在前 3 个 DN 中（如图 2B中分析），则可能会错过该功能。例如，在图 3B中，结果显示 V3b 的 3D 和语义功能角色在图2B中并不明显，其中前 3DN 都在 3D 任务上进行了优化。

我们共同发现，早期视觉皮层的功能作用与低级视觉任务（2D）有关，正点流与三维感知和对场景（3D和语义）的明确理解有关，在心室流中与对场景（语义）的绝对理解有关。

2.4 场景选择区域的功能角色

在前几个部分中，我们专注于发现地图集解剖定义的区域的功能。由于用于记录 fMRI 响应的刺激集由室内场景组成，因此在本节中，我们调查了功能定位场景选择区域的功能差异。我们在这里专注于两个主要的场景选择ROI：腹地区域（OPA）和准半球位区域（PPA），将结果与早期视觉皮层（EVC）作为参与基本视觉处理的信息对比区域进行上下文。分析遵循了以前使用的一般理由。

我们首先使用前 3 个 DNN（参见 R）执行方差分区分析，从而调查了这些区域的功能差异2基于S4图中所有DNN的排名，最好解释给定投资回报率的回答（图4A）。我们发现，检测边缘的 DNN 在 EVC 中解释的差异显著高于其他两个 DN，这说明与边缘检测相关的函数（p<0.05、排列测试、FDR 校正）。3D DN（3D 关键点、2.5D 细分、3D 边缘）是 OPA 预测 DN 的最佳方案，表明其在 3D 场景理解中的作用。语义（语义分割、场景分类）和 3D（3D 关键点）DNN 的组合最能预测 PPA 的 DN，从而表明其在语义和 3D 场景理解中的作用。

下载：

· 原始图像

图4。本地化投资回报率的功能角色。

A）绝对总差（R）2）通过将前 3 个 DN 一起使用功能定位的 ROI 进行解释。每个投资回报率的 Venn 图说明了由前 3 个 DNN 组合解释的 ROI 响应的独特和共享差异。条形图显示了每个 ROI 的独特差异，每个 ROI 由每个前 3 个 DNN 单独解释。星号表示独特方差的重要性和独特方差的差异（p<0.05，排列测试与10，000次迭代，FDR纠正跨越DNN）。错误条显示通过引导 90% 的条件（10，000 次迭代）计算的标准偏差。B）绝对总差（R）2）使用任务组平均值为 3 DNN RDM（2D、3D 或语义）来解释功能定位 ROI。每个投资回报率的 Venn 图说明了由 3 个 DNN 任务组组合解释的 ROI 响应的独特和共享差异。条形图显示了每个任务组单独解释的每个投资回报率的独特差异。星号表示唯一方差或唯一方差差异是否显著（p<0.05，排列测试与 10，000 迭代，FDR 校正跨越 DNN）。错误条显示通过引导 90% 的条件（10，000 次迭代）计算的标准偏差。

https://doi.org/10.1371/journal.pcbi.1009267.g004

然后，我们使用聚合的 2D、3D 和语义 DNN RDM 执行方差分区分析，通过对每个任务组中的单个 DNN RDM 进行平均值（图 4B）来调查功能差异。我们发现，对于 EVC 和 OPA 结果与前 3 DNN 分析非常一致，显示 EVC 中的 2D DNN RDM 和 OPA 中的 3D DNN RDM 所解释的显著独特差异。有趣的是，在 PPA 中，我们发现语义 DNN RDM 显示最高的独特方差，没有由 3D DNN RDM 解释的重大独特方差。3D DNN RDM 解释的微不足道的独特差异可能是由于所有 3D DN（高排名和低排名）的平均 DNN RDM，这可能导致个人排名靠前的 3D DNN RDM（例如.3D PPA 排名前 3 DN）的关键点的贡献减少。总的来说，我们发现 OPA 主要与三维感知（3D）中涉及的任务有关，PPA 主要与对场景的语义（分类）理解有关。

3. 讨论

在这项研究中，我们通过研究一组优化以执行一组多样化视觉任务的 DN，从比较到 DNN 挖掘大脑功能的潜力。我们发现皮质区域和函数之间有系统的映射：不同的皮质区域由执行不同函数的 DNn 解释。重要的是，所选的 DNN 在调查的 15 个视觉 ROI 中解释了 9 个可解释方差的 60%，显示了使用我们的分析获得的 AI 驱动功能映射的准确性。

我们的研究使用接受过不同任务训练的DNN系统、全面地描述人脑功能。先前的研究[3]7，17?24] 比较了模型在解释大脑活动方面的表现，但仅限于一些预选的区域和模型，或者有不同的目标（比较任务结构） [25]。使用与本研究相同的 fMRI 数据集，先前的一项研究[18]显示场景选择性 ROI 中的表示包括使用场景分析 DNN 的位置和类别信息。我们通过使用一组更大的 DNN 比较整个视觉大脑的 fMRI 反应，全面描述人类视觉大脑区域的功能，从而超越这些努力。

我们获得了视觉皮层中不同区域的功能映射（例如，2D 边缘、场景分类、表面正常等）和视觉功能的组（2D、3D、语义）级别。我们讨论了在了解皮质区域细粒度功能作用的各个功能层面获得的全新见解。

首先，我们考虑 2D DN，其中表示 DNN 解释了 V1v、V1d、V2v、V2d、V3v 和 hV4 中显著的独特差异。表示任务要求 DNN 从稍微扰动（例如，在当前情况下添加高斯噪音）输入图像中重建不受干扰的输入图像，该输入图像鼓励学习表示强健到轻微扰动和有限的不一致。这表明，这些 ROI 可能会产生强到高频噪声的场景表示。

在考虑 3D DNN 时，3D 关键点和 2.5d 段在多个 ROI 中跻身前 3 名最佳预测 DN。3D 关键点 DNN 解释了 V3d、PHC1、PHC2、LO2、LO1、V3a、V3b、OPA 和 PPA 中显著的独特差异。3D 关键点任务要求 DNN 根据对象边界信息和表面稳定性识别输入图像的局部重要区域。这表明，3D 关键点 DNN 解释显著差异的 ROI 可能正在识别场景中的局部重要区域。对当地重要区域的识别可能与选择性地关注这些关键区域以实现行为目标（例如搜索对象）有关。2.5d 段 DNN 解释了 V3d、LO2、LO1、V3b、V3a 和 OPA 中显著的独特差异。2.5d 段任务要求 DNN 根据颜色和场景几何（深度和表面正常值）将图像细分为感知上相似的组。这表明，2.5d 段 DNN 解释显著差异的 ROI 可能是基于颜色和几何线索的图像中的分组区域，即使对分类信息一无所知。基于几何形状的分组区域可能与行为目标相关，例如达到对象或识别障碍。

在语义DN中，语义细分DNN解释了VO1、VO2、PHC1、PHC2、V3a和PPA中显著的独特差异。语义分割任务要求 DNN 根据类别对图像中存在的对象进行分割。这表明，语义分割 DNN 解释显著差异的 ROI 可能是基于分类信息的图像中的分组区域。

其他 DNN（2D 边缘、场景分类和对象分类）在 ROI 中表现出显著的独特差异，提供了与之前研究基本一致的功能见解[26]30]。总体而言，解释多个投资回报率响应中显著差异的关键 DNN（表示、3D 关键点、2.5D 段和语义细分）通过生成有关这些 ROI 功能的新假设，独特地促进了进一步调查。未来的实验可以在专门的实验中详细测试这些假设。

使用分组 DN 获得的功能映射在个人层面上与此相辅相成，有助于我们将此处获得的功能映射与以前的文献联系起来。我们发现早期的视觉区域（V1v、V1d、V2v）具有与低级 2D 视觉任务相关的功能角色，这与以前调查这些区域的文献一致[26]28]。在实干-文特尔投资回报率（V3a、V3d、LO1 和 LO2）中，我们发现与 3D 和语义任务相关的功能角色与先前研究的证据相融合[31]35]。同样，本研究中发现的后期心室-时态ROI（VO1、VO2、PHC1和PHC2）的突出语义功能作用与先前文献中的发现相融合[29]30]。在场景选择性 ROI 中，我们分别为 PPA 和 OPA 找到了语义功能角色。我们的研究通过一组更广泛的模型区分 OPA 和 PPA 功能，将先前一项研究[23]相关的 OPA 和 PPA 扩展为 3D 模型。综上所知，使用优化以执行不同功能的单个 DNN 进行功能映射，揭示了视觉皮层中更高 ROI 的新功能见解，同时使用分组 DN 进行功能映射，与以前调查这些 ROI 的独立研究显示出高度一致的证据。医学论文发表-

除了明确多个投资回报率的功能作用外，我们的方法还确定了这些投资回报率的定量高度精确的预测模型。我们发现，DNN 在 15 个投资回报率中，有 9 个解释了 60% 的可解释方差。因此，我们的发现在发现模型，产生关于大脑区域潜在功能的新假设，以及预测大脑反应方面取得了进展[21，36]38]。

有意义的比较两个或两个以上的 DN 的主要挑战是只改变单一的兴趣系数，同时控制可能导致 DNN 参数更新的因素。在这项研究中，我们通过选择一组使用相同的学习算法（具有相同的编码器架构）在同一组培训图像上训练的 DNN 来应对这一挑战，同时针对不同的任务进行优化。因此，我们的结果补充了先前的研究，这些研究侧重于影响 DNN 参数学习的其他因素，如架构 [20、39、40] 和学习机制[41]43]。我们的方法通过系统地、仔细地操纵用于逐一绘制大脑基本参数图的DNN，加速了研究人脑功能的划分和征服策略[21，44]46] 。我们对潜在计算功能的高通量探索最初受到马尔计算分析水平[47]的启发，该分析旨在找出大脑区域计算的目标是什么。虽然 Marr 的方法邀请了区域和目标之间一对一映射的期望，但我们在某些 ROI（例如 LO1、LO2、PHC1、PHC2）中使用 DN 来发现多个功能角色（3D + 语义）的证据。这表明功能和大脑区域之间有一个多对一的映射[48]。我们相信，这种系统的方法，发现多个大脑区域的功能作用提供了一个起点，进一步深入的经验调查被调查的大脑区域的功能。

我们的研究与一组研究（49?52）以不同的方式应用 DNN，以实现使用 DNN 绘制大脑区域功能的类似目标有关。一些研究[49]51] 应用优化算法（遗传算法或激活最大化）来查找最大限度地激活给定神经元或神经元组反应的图像。另一项相关研究[52]建议神经信息流（NIF）调查大脑区域的功能，在这些区域，它们训练具有客观功能的 DNN 来预测大脑活动，同时保持 DNN 层和生物神经群之间的一对一对应。在共享发现大脑区域功能的总体目标的同时，调查 DNN 功能允许调查给定大脑区域最符合哪个计算目标。随着新的计算机视觉数据集[53]调查与人类行为目标相关的一组不同的任务[54，55] 我们的方法为研究大脑功能开辟了新的途径。

我们研究的一个局限性是，我们的发现仅限于与场景感知相关的功能。因此，我们在非场景区域发现的函数与人类感知场景时的函数相对应。相比之下，当人类感知到物体、面孔或身体等非场景类别时，我们的研究并没有描述这些区域的功能。我们把研究局限于场景感知，因为只有少数图像数据集[8，56]具有与一组不同的任务对应的注释，因此，允许在这些任务上独立优化 DN。Taskonomy 数据集[8]具有 20 多个不同场景感知任务的注释，这些任务上提供了经过预培训的 DN，以及与场景感知相关的 fMRI 数据集的可用性[9]，因此提供了一个独特的机会。然而，我们在这项研究中提出的方法并不局限于场景感知。原则上，只要有一套充足的DNN和大脑数据，它就可以扩展到更复杂的设置，如视频理解、主动视觉感知，甚至超出视觉模式。虽然在这项研究中，我们考虑了独立训练的DNN，但未来的研究可能会考虑研究多任务模型[57，58]，这些模型经过培训，能够使用单个DNN执行广泛的功能。与本研究中使用的几个独立模型相比，多任务建模具有使用单个模型对整个视觉皮层进行建模的潜力。另一个潜在的限制是，我们的发现基于单个 fMRI 和图像数据集，因此不清楚它们在概括到更广泛的图像样本方面会有多好。鉴于深度学习领域的爆炸式增长[59]和开放式脑成像数据集（60，61]的日益可用性，我们看到了我们未来应用方法的隐秘理由。

除了提供具有高预测力的理论见解外，我们的方法还可以指导未来的研究。特别是，皮质区域和函数之间的观测测绘可以作为以单皮质区域为重点的深入调查的定量基线和起点。最后，我们结果中视觉皮层的功能层次可以激发高效多任务人工视觉系统的设计，这些系统执行类似于人类视觉皮层的多种功能。

4. 材料和方法

4.1 fMRI 数据

我们使用了以前发表的研究[9]的 fMRI 数据。fMRI 数据来自 16 个健康受试者（8 名女性，平均年龄 29.4 岁，SD = 4.8 岁）。受试者使用64通道头线圈在西门子3.0T Prisma扫描仪上进行扫描。结构 T1 加权图像是使用 MPRAGE 协议（TR = 2，200 ms，TE = 4.67 ms，翻转角度 = 8°，矩阵大小 = 192 × 256 × 160，voxel 大小 = 0.9 × 0.9 × 1 毫米）获取的。功能性 T2*加权图像使用多波段采集序列（用于主要实验扫描的 TR = 2，000 ms 和用于本地化扫描的 3，000 ms）进行获取， TE = 25 ms，翻转角度 = 70°，多带因子 = 3，矩阵大小 = 96 × 96 × 81， voxel 大小 = 2 × 2 × 2 毫米）。

在 fMRI 扫描期间，受试者在查看室内场景图像时执行了类别检测任务。在每次试验中，屏幕上都会以 +17.1° x 12.9° 的视觉角度呈现图像，为 1.5 s，然后是 2.5s 的兴奋剂间间隔。受试者必须按下一个按钮，指示显示的图像是否是浴室，同时保持对十字架的固定。刺激集包括 50 张室内场景图像（无浴室）和 12 张对照图像（5 张浴室图像和 7 张非浴室图像）。fMRI 数据是使用 SPM12 进行预处理的。对于每个参与者，功能图像被重新调整到第一个图像，然后共同注册到结构图像。使用一般线性模型估计了对 50 个实验条件（50 个室内图像（不包括控制图像）的 Voxelwise 响应。

4.2 深神经网络

在这项研究中，我们选择了 18 个在 Taskonomy[8]数据集上接受过培训的 DN，这些数据集针对 18 个不同的任务进行了优化，涵盖了室内场景理解的不同方面。Taskonomy 数据集是一个大型的室内图像数据集，由 18 个单个图像任务的注释组成，因此，允许使用同一组训练图像优化 18 个不同任务的 DN。我们简要介绍了下面的客观功能和 DNN 架构。有关详细描述，我们将读者转介给 Zamir 等人 [8]。

4.2.1 DNN 的任务和客观功能。

Taskonomy 数据集包括需要像素级信息（如边缘检测、表面正常估计、语义分割等）的任务的注释，以及对象/场景分类概率等高级语义信息。任务大致可分为4组：低级视觉信息（2D）、场景三维布局（3D）、高级对象和场景分类信息（语义）和低维几何信息（几何）。上述任务分类是通过分析特定任务的转移学习绩效之间的关系，使用其他任务预培训的模型作为源任务获得的。2D 任务包括边缘检测、关键点检测、2D 分割、油漆、去标和着色：3D 任务为表面正常、2.5D 分割、遮挡边缘、深度估计、曲率估计和重塑：语义任务为对象/场景分类和语义分割，低维几何任务为房间布局估计和消失点。http://taskonomy.stanford.edu/taskonomy_supp_CVPR2018.pdf提供了所有任务和注释的详细说明。在这项研究中，我们没有考虑低维几何任务，因为它们没有像2D、3D和语义任务那样根据 RSA 和转移学习而落入收敛集群。为了执行给定任务，DNN 的参数使用客观函数进行了优化，该函数最大限度地减少了 DNN 预测与该任务的相应地面真实性注释之间的损失。所有 DNN 的参数都使用相应的目标函数在同一组训练图像上进行优化。由于使用同一组培训图像，所学的 DNN 参数仅因客观函数而异，而不是培训数据集统计的差异。此链接（https://github.com/StanfordVL/taskonomy/tree/master/taskbank）提供了用于优化每个任务的完整目标功能列表。我们下载了预训模型使用这个链接（https://github.com/StanfordVL/taskonomy/tree/master/taskbank），在那里可以找到进一步的细节。

4.2.2 网络架构。

每个任务的 DNN 架构由编码器和解码器组成。编码器架构在所有任务中都是一致的。编码器架构是经过修改的 ResNet-50[62]，无需平均池和大步 2 的凸起，而步幅 2 则由步幅 1 的凸起所取代。ResNet-50 是一个 50 层 DNN，具有不同深度层之间的快捷方式连接。编码器架构的一致性使我们能够使用 ResNet-50 编码器的输出作为特定目标功能的任务特定表示。对于本研究中的所有分析，我们选择了编码器的最后两层作为 DNN 的任务特定表示。我们的选择标准基于分析（见S1 文本和S2 图），该分析显示与早期图层相比，这些层中存在任务特定的表示。通过这种方式，我们确保表示的差异是由于这些 DN 优化的功能，而不是由于架构或培训数据集的差异。解码器架构取决于任务。对于需要像素级预测的任务，解码器是一个 15 层全卷积模型，由 5 个卷积层组成，然后是交替卷积和转置卷积层。对于需要低维输出的任务，解码器由 2/3 个完全连接的层组成。

4.3 表示相似性分析（RSA）

要将 fMRI 响应与 DNN 激活进行比较，我们首先需要在共同的表示空间中绘制两种模式的映射，然后通过比较生成的映射，我们可以量化 fMRI 和 DNN 之间的相似性。我们通过计算每对条件之间的对对距离，将 fMRI 响应和 DNN 激活映射到相应的表示性差异矩阵（RDM）。我们使用了上三角形 fMRI RDM （R）的方差2） Dnn Rdms 解释为量化 fmri 响应和 Dnn 激活之间的相似性的措施。要计算 R2，我们指定 DNN RDM（编码器最后两层的 RDM）作为独立变量，并将 fMRI RDM 指定为受附变量。然后安装了多个线性回归，以预测 DNN RDM 的加权线性组合中的 fMRI RDM。我们通过估计所解释的方差（R）来评估适合性2).我们详细描述了我们如何从 fMRI 响应和 DNN 激活映射到相应的 RDM。

任务学 DNN RDMs.我们选择了 Resnet-50 编码器的最后两层作为每个任务中优化的 DN 的特定任务表示。对于给定的 DNN 层，我们计算了 Pearson 对每个条件的激活之间的距离，从而为每一层生成条件 x 条件 RDM。这导致单个 RDM 对应于每个 DNN 层。我们遵循相同的程序创建与网络其他层对应的 RDM。我们在任务群（2D、3D 和语义）中平均使用 DNN RDM 来创建 2D、3D 和语义 RDM。

概率投资回报率 RDM。我们从链接（http://scholar.princeton.edu/sites/default/files/napl/files/probatlas_v4.zip）下载了概率投资回报率[15]。我们通过在每个情况的整个大脑反应模式上应用ROI面罩来提取概率投资回报率的激活，从而对每个受试者的每种情况产生特定的ROI反应。然后，对于每个 ROI，我们计算 Pearson 对每个条件的 voxel 响应模式之间的距离，从而独立计算每个主题的 RDM（行和列等于条件数）。为了比较 DNN RDM 解释的 ROI RDM 的方差和可解释的方差，我们使用了独立的主题 RDM。对于所有其他分析，我们平均了受试者的 RDM，由于受试者平均 RDM 的信号与噪声比率较高，因此每个投资回报率只有一个 RDM。

探照灯研发人员。我们使用 Brainiak 工具箱代码[63]提取每个主题中每个条件的探照灯块。探照灯块是半径 = 1 和边缘大小 = 2 的立方体。对于每个探照灯块，我们计算了 Pearson 对每个条件的 voxel 响应模式之间的距离，从而导致每个受试者独立获得大小条件时间的 RDM。然后，我们平均了各受试者的 RDM，结果每个探照灯块都有一个 RDM。

4.4 方差分区

使用 RSA 比较多个 DNN 时，我们无法完整了解每个模型在与其他 DNN 一起考虑时如何有助于解释 fMRI 响应。因此，我们确定了单个 DNN RDM 在使用方差分区与其他 DNN RDM 进行考虑时，在解释 fMRI 投资回报率 RDM 方面的独特和共同贡献。

我们对概率投资回报率进行了两个方差分区分析：第一个使用最能解释给定投资回报率响应的前 3 个 DN，第二个使用根据任务类型（2D、3D 和语义）平均值的 RDM。对于第一个分析，我们指定 fMRI ROI RDM 作为受附变量（称为预测和预测），并将对应于前 3 DN 的 RDM 分配为独立变量（称为预测器）。对于第二个分析，我们指定 fMRI 投资回报率（探照灯） RDM 作为受附变量（称为预测和）。然后，我们分配了三个 DNN RDM（2D、3D 和语义）作为独立变量（称为预测器）。

对于两个方差分区分析，我们进行了七次多重回归分析：一次以所有三个独立变量为预测器，三个以不同对的两个独立变量作为预测器，三对以单个独立变量作为预测器。然后，通过比较解释的方差（R）2）一个模型单独使用与其他模型使用时解释的方差，我们可以推断出不同预测器之间独特和共享方差的数量（见S1图）。

4.5 探照灯分析

我们在这项研究中进行了两种不同的探照灯分析：首先通过优化用于不同任务的 DN 来更好地解释大脑中的不同区域，其次通过从三种任务类型（2D、3D 和语义）中获取平均表示 DN 来查找模式。在第一次探照灯分析中，我们应用 RSA 独立计算了由 19 个 DNN RDM（18 个任务学 DNN 和一个随机初始化为基线）解释的每个探照灯块 RDM 的方差。然后，我们选择了解释最大方差的 DNN 作为给定探照灯块的首选项。在第二次探照灯分析中，我们应用了 2D、3D 和语义 DNN RDM 作为独立变量的方差分区，并且每个探照灯块 RDM 作为受附变量。对于每个探照灯块，我们选择了任务类型，其 RDM 单独解释了最高方差作为该方块的函数。我们使用尼罗兰（https://nilearn.github.io/index.html）库来绘制和可视化探照灯的结果。医学论文发表-

4.6 解释与可解释方差的比较

为了将 DNN 解释的 fMRI 响应的方差与根据 fMRI 数据的噪声性质要解释的总方差联系起来，我们首先计算了噪声天花板的下界和上界，作为可解释方差的度量，然后通过前 3 个最佳预测 DN 将每个 ROI 的交叉验证解释方差进行比较。详细而言，通过将每个受试者 RDM 安装为预测值，并与其他受试方（N-1）的平均主体 RDM 作为预测器并计算 R 来估计较低的噪声上限2.由此产生的特定主题 R2值在 N 主题中平均值。在使用所有受试者（N）的平均主题 RDM 作为预测器时，以类似的方式估计了上噪声上限。要计算由最佳预测 DNN 解释的方差，我们使用 2N 折叠（不同条件的 2 倍，受试者的 N 折叠）的交叉验证来适应回归，其中回归适合使用 N-1 受试者的主题平均 RDM，并且使用 R 评估适合2在遗漏的主题和遗漏的条件。最后，我们计算了平均R2跨越 2N 折叠，并按噪声天花板的下限划分，以获得 DNN 解释的可解释方差的比例。

4.7 统计测试

我们应用了非参数统计测试，以类似于之前相关研究[64]的方式评估统计意义。我们评估了研发的重要性2通过排列测试，在神经投资回报率/探照灯 RDM 或 DNN RDM 中随机渗透 10，000 次条件。从使用这些排列获得的分布中，我们计算 p 值为片面百分位。我们通过随机重新采样 RDM 中 10，000 次迭代中的条件来计算这些相关性的标准错误。我们使用重新采样，无需更换，通过对 RDM 中 90%（50 个条件中的 45 个条件）进行子采样。我们使用等效程序来测试不同模型之间的相关差异和独特差异的统计意义。

对于投资回报率分析，我们通过应用 FDR 校正，将阈值等于 0.05 来更正多个比较的 p 值。对于探照灯分析，我们应用了 FDR 校正来校正与 DNN 的数量进行对比，并更正具有显著噪声上限的探照灯数量。

我们应用了双面 t 测试来评估跨 N 科目交叉验证解释方差的统计意义。我们通过应用 FDR 校正更正了多个比较的 p 值。

支持信息

方差分区概述。

显示 1/6： pcbi.1009267.s001.tiff

跳到无花果共享导航

1 / 6

下载

figshare

S1 图。方差分区概述。

给定一组多个独立变量和受附变量，多个线性回归会导致 R 方形（r）2表示回归模型中由独立变量解释的受附变量的方差比例。要查找 3 DNN RDM 如何一起解释给定 fMRI RDM 的方差，我们会执行 7 次回归，并通过 Venn 图说明模型解释的独特和共享方差。

https://doi.org/10.1371/journal.pcbi.1009267.s001

（蒂夫）

S2 图。选择特定任务的 DNN 表示项，以便与 fMRI 数据进行比较。

A）斯皮尔曼在编码器给定层中所有 DNN RDM 与其他 DNN RDM 在同一层计算的相关性。我们报告编码器不同层中所有 18 DN 的平均配对相关性。B）斯皮尔曼将编码器特定层的所有 DNN RDM 与在同一层计算的相同架构随机初始化模型的相关性。我们报告所有 18 DN 与编码器不同层随机初始化 DNN 的平均相关性。C）斯皮尔曼在编码器的给定层中与 2D DN 的深层（块 4 和编码器输出）中的所有 DNN RDM 的相关性。我们报告所有 18 个 DNN 的关键层与 2D DNN 的深层（块 4 和编码器输出）的平均相关性。我们报告同一任务类型不同 DN 中平均不同层之间的平均相关性。E）与仅选择任务特定层进行方差分区分析相比，将所有关键层添加到不同 ROI 的 fMRI RDM 的独特和共享方差上。我们报告与选择任务特定层相比，所有关键层都用于分析时，解释的 7 个方差分区的方差变化（方差变化）。

https://doi.org/10.1371/journal.pcbi.1009267.s002

（蒂夫）

S3 图。R218 个任务学 DNN 和解剖 ROI 中的随机基线的排名。

条形图显示了由给定 DNN 的任务特定层 RDM 解释的每个 ROI RDM 的绝对总差。星号表示总方差（p<0.05，排列测试与10，000次迭代，FDR纠正跨越DNN）的重要性。错误条显示通过引导 90% 的条件（10，000 次迭代）计算的标准偏差。

https://doi.org/10.1371/journal.pcbi.1009267.s003

（蒂夫）

S4 图。R2在功能定位 ROI 中对 18 个任务学 DNN 和随机基线进行排名。

https://doi.org/10.1371/journal.pcbi.1009267.s004

（蒂夫）

S5 图。解释的交叉验证对方差的影响（R）2).

A）与不同的交叉验证设置（蓝色条形：无交叉验证;橙色条：跨主体交叉验证;绿色条：跨主体交叉验证）相比，前 3 个最佳预测 DN 所解释的每个投资回报率的差异。"误差条显示在 N = 16 个受试者中计算的 95% 置信区间。所有 R2与不同的交叉验证设置（蓝色条：无交叉验证;橙色条：跨主体交叉验证;绿色条：跨主体交叉验证和刺激）相比，每个 ROI 解释的 1000 个随机生成的 RDM 的差异具有统计学意义（p <0.05，双面 t 测试，跨主题的 FDR 校正）B）。误差条显示在 N = 16 个受试者中计算的 95% 置信区间。

https://doi.org/10.1371/journal.pcbi.1009267.s005

（蒂夫）

S1 文本。选择特定任务的 DNN 表示。

https://doi.org/10.1371/journal.pcbi.1009267.s006

（多克克斯）

引用

00001. 1.米什金 M，昂格尔莱德 Lg. 条纹输入对猴子的腹膜沉淀皮层的生存空间功能的贡献。行为大脑研究。1982年9月1日;6（1）：57/77。下午：7126325

首页

期刊

论文

留言

联系

论文指南

客服中心

最新投稿+更多

最新期刊更新+更多

最新期刊更新+更多

您的位置：首页 > 医学 > 医学论文发表-使用任务特定的深层神经网络揭示视觉皮层的功能

医学论文发表-使用任务特定的深层神经网络揭示视觉皮层的功能

这是一个未经纠正的证据。

数字

抽象

作者摘要

1. 简介

2. 结果

2.1 使用多个 DN 的视觉皮层功能图

2.2 功能图的性质和预测力

2.3 通过 2D、3D 和语义任务绘制的视觉皮层功能图

2.4 场景选择区域的功能角色

3. 讨论

4. 材料和方法

4.1 fMRI 数据

4.2 深神经网络

4.2.1 DNN 的任务和客观功能。

4.2.2 网络架构。

4.3 表示相似性分析 （RSA）

4.4 方差分区

4.5 探照灯分析

4.6 解释与可解释方差的比较

4.7 统计测试

支持信息

S1 图。方差分区概述。

S2 图。选择特定任务的 DNN 表示项，以便与 fMRI 数据进行比较。

S3 图。R218 个任务学 DNN 和解剖 ROI 中的随机基线的排名。

S4 图。R2在功能定位 ROI 中对 18 个任务学 DNN 和随机基线进行排名。

S5 图。解释的交叉验证对方差的影响（R）2).

S1 文本。选择特定任务的 DNN 表示。

引用

4.3 表示相似性分析（RSA）