厦门论文发表-通过视觉运动平滑进行生物启发的图形-地面辨别
抽象
苍蝇在视觉杂乱中检测和跟踪运动目标，这个过程主要依靠视觉运动。使用从视网膜到 T4/T5 细胞的通路分析或计算视觉运动。半个多世纪前，局部定向运动的计算被表述为基本运动检测器（EMD）模型。解决目标检测或图形-地面判别问题等效于根据 EMD 视网膜阵列输出中的运动不连续性提取目标和背景之间的边界。然而，单个EMD无法测量真实速度，因为它们对亮度对比度和空间频率成分等图案属性敏感。目前尚不清楚如何进一步整合局部定向运动信号以实现图形-地面区分。在这里，我们提出了一个受苍蝇运动视觉启发的计算模型。仿真表明，EMD阵列的剧烈波动输出自然被小叶网络所覆盖，该网络被假设为局部运动检测器的下游，并且具有具有不同方向选择性的平行路径。小叶网络对视觉运动执行时空平滑操作，尤其是跨时间，从而能够从背景中分割移动图形。该模型定性地再现了一种类型的小叶柱状（LC）细胞的视觉诱发反应特征中的实验观察结果。该模型进一步证明对自然场景变化具有鲁棒性。我们的结果表明，小叶参与基于运动的局部目标检测。
作者摘要
苍蝇擅长在高速空中机动中跟踪目标，尽管它们的大脑很小。沿着从视网膜到深部视叶的通路，首先检测视野内不同位置的局部定向运动，然后根据该光流对苍蝇经历的光流进行编码。与对苍蝇视觉系统中光流处理的广泛研究相比，即使在系留苍蝇的简单条件下，对如何执行目标检测也知之甚少。在这项研究中，我们建立了一个受苍蝇启发的模型，以研究如何仅依靠相对运动线索将纹理图形与类似纹理背景区分开来。我们发现，本地运动检测器下游提取图形的网络中涉及的秘密是自然地利用移动图形的时间连贯性。如果没有对一系列时间顺序输入帧的响应积分，下游网络就无法提取图形，即使它充分利用了单个帧中相邻像素之间的空间一致性。该建模有助于了解在苍蝇视觉系统中执行目标检测的位置和方式。结果也可能对仅依赖单个摄像头的机器视觉系统中的运动检测具有启发性。
数字
Fig 10Fig 11图1图2图3Fig 4Fig 5Fig 6Fig 7Fig 8Fig 9Fig 10Fig 11图1图2图3
引文： 吴志，郭阿 （2023） 通过视觉运动平滑的生物启发的图形地面歧视。公共科学图书馆计算生物学19（4）： e1011077. https://doi.org/10.1371/journal.pcbi.1011077
编辑 器： 约瑟夫·艾尔斯，美国东北大学
收到： 31月 2022， 4;接受： 2023月 21， 2023;发表： <>月 <>， <>
版权所有： ? 2023 吴国.这是一篇根据知识共享署名许可条款分发的开放获取文章，该许可允许在任何媒体上不受限制地使用、分发和复制，前提是注明原作者和来源。
数据可用性： 用于重现模拟的代码可在 GitHub 上的以下位置找到：https://github.com/sapid2021wu/EMD-Lobula-network。
资金： 这项工作得到了中国国家自然科学基金（ZW的31871050和31271172）和中国科学院战略优先研究计划（XDB32000000至AG）的支持。资助者在研究设计、数据收集和分析、发表决定或手稿准备方面没有任何作用。
竞争利益： 提交人声明不存在相互竞争的利益。
介绍
苍蝇能够仅根据相对运动线索将物体与其背景区分开来，尽管它们的复眼固有的空间分辨率较低。运动检测背后的神经机制长期以来一直引起研究兴趣。早在大约半个世纪前，通过细胞外或细胞内记录在小叶板中发现了定向选择性运动敏感神经元[1-4]。这种大场神经元的方向选择性是整合局部运动检测器（即T4/T5细胞）输出的结果[5，6]。每个大场切向单元就像一个匹配的滤光片，经过调谐，可提取在苍蝇自我运动、引导航向控制和视线稳定过程中产生的特定光流模式[7，8]。
与苍蝇视觉系统中光流处理的广泛研究相比，人们对图形-地面辨别或目标检测背后的神经机制知之甚少。当纹理图形在类似纹理的背景上呈现时，图形辨别主要依赖于运动不连续性的提取[9，10]。
在视网膜水平上，雄性家蝇爱点的感光器，即性别特异性额眼区域，比雌性感光具有更高的空间分辨率和更快的反应[11]。增强的光学和光转导有助于雄性所需的合格视网膜图像，这些图像在快速追逐雌性同种动物时表现出卓越的性能。在食蚜蝇的视神经节中，一类被称为“小目标运动检测器”的神经元对非常小的目标具有高度选择性的反应[12-14]。某些类型的反应不需要相对运动线索[13]，这意味着涉及与图形-地面区分不同的其他机制[15]。在吹蝇的小叶板中，FD细胞被认为是专门区分移动目标的关键神经元[16，17]。具有大感受野的所谓池细胞[10]的抑制被认为是导致FD细胞对靶标运动产生选择性的关键[18-19]。鉴于FD电池都具有不同的方向偏好和不同的感受野特性，因此每个单独的FD电池都需要专门定制的池单元。通过FD和池细胞实现的精确目标提取背后的神经计算仍然难以捉摸。
最近在小叶中发现了参与移动图形处理的其他细胞，小叶板是小叶复合体中的小叶板邻居。小叶容纳数十种类型的视觉投影神经元（VPN），例如LC细胞[20-23]。许多类型的LC细胞对运动刺激有反应[23-31]。几种类型的LC细胞对运动的反应表明它们能够区分背景和类似图形的前景[26，30]。某些类型的VPN涉及处理由高阶θ运动定义的数字[32]。与一阶（傅里叶）运动不同，θ运动是一种矛盾运动，其中前景图形的内部纹理沿与图形本身相反的方向连贯地运动[33-35]。这些数据暗示了小叶VPN在数字-地面歧视中的重要作用。
小叶回路能解决数字-地面判别问题吗？在这里，我们通过开发一个受飞行运动视觉启发的计算模型来解决这个问题。该模型包括一层相关型基本运动检测器（EMD）[36]和一个小叶网络，假设该网络位于局部运动检测器的下游，并且具有具有不同方向选择性的平行路径。解决图形-地面判别相当于根据视网膜 EMD 阵列输出中的不连续性提取目标与其背景之间的边界。
然而，单个EMD无法检测到真实速度，因为它们的响应不仅取决于目标速度，还取决于目标图案的其他特性，例如亮度对比度和空间频率成分[37，38]。虽然依靠EMD阵列完整响应曲线中的运动不连续性来区分目标是不可能的，但我们的仿真表明，小叶网络可能会自然地在空间和时间上对EMD阵列的输出执行有效的平滑操作。结果表明，时空平滑过程可实现鲁棒的图形-地面区分和随后的特征提取步骤。结果表明，小叶参与基于局部运动的目标检测。
结果
苍蝇启发的EMD小叶网络模型
我们的工作假设，建立模型，假设小叶直接或间接通过中间神经元从T4 / T5细胞获得运动信息。通过这些中间神经元，假设本模型中的小叶能够获得来自T4 / T5细胞的方向运动信号。有关模型神经元底物的进一步讨论和预测在讨论部分提供。在这里，我们专注于模型模拟。
该模型被开发为三层前馈网络，以模拟连接T4 / T5细胞和小叶的电路（图1）。为简单起见，没有考虑重复或反馈连接。第一层是两个EMD阵列，它们分别在功能上模拟从视网膜到T4和T5细胞的途径。我们选择了2象限探测器模型[39]来实现单个EMD单元，原因见讨论部分。将ON和OFF通路中两个EMD阵列的输出按视网膜局部添加，形成ON+OFF EMD阵列的最终输出，然后将其投影到小叶网络。
缩略图 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图1. 模型的示意图。
(A） EMD 小叶网络。单个EMD单元包括平行的ON和OFF路径，它们与Eichner等人[4]的论文中的图39A所示完全相同。ON+OFF EMD 阵列的输出作为 ON 和 OFF 通路中两个 EMD 阵列的视网膜素求和，投影到 Ir 和 Il 模块。Ir 和 Il 的输出被视网膜局部添加并投影到 Im 模块中。Lr、Ll和Lm模块分别是Ir、Il和Im的突触后。六个小叶模块共享与ON+OFF EMD阵列相同的阵列大小。（B） 属于Il的单元的感受野示例的结构（B1中的左图）;Ir（B1中的右面板）;Im （B2）;和 Lr、Ll 和 Lm （B3）。Δφ是相邻突触前单元之间的空间间隔。
https://doi.org/10.1371/journal.pcbi.1011077.g001
第二层模拟将方向运动信号从T4 / T5细胞传递到小叶的中间神经元。该层由三个模块组成：Ir，Il和Im，“I”，“r”，“l”和“m”分别代表“中间神经元”，“右”，“左”和“中间”。Ir和Il中的神经元单元接收来自ON+OFF EMD阵列的输入，但具有相反的高斯感受野（图1A和1B1）。Ir模块中单元的空间感受野结构被建模为正二维高斯函数，而Il模块中单元的空间感受野结构使用相同的函数，但带有负号，使得两个模块对相反的方向运动具有选择性。因此，向右局部运动在Ir中引起单位去极化，但在Il中引起超极化，反之亦然，对于向左局部运动。Ir和Il模块的输出被视网膜局部相加并投影到Im模块，使得Im中的单元没有方向选择性。Im中单元的空间感受野结构被建模为正二维高斯函数，边长为2个小叶单元（图2B3）。
Ir、Il 和 Im 模块分别投影到最后一层中的 Lr、Ll 和 Lm 模块。“L”、“r”、“l”和“m”分别代表“小叶”、“右”、“左”和“中”。Lr、Ll和Lm从各自的突触前模块继承了方向选择性。他们的单元被建模为小叶中的边缘检测器，其感受野被设置为Prewitt滤波器（“方法”）（图1B3）。
目前尚不清楚小叶神经元是尖峰还是分级电位神经元，因为在大多数研究中，它们的电生理特性是通过钙成像探测的。值得注意的是，使用细胞内记录，已经发现两种类型的小叶VPN可以通过分级电位传导信号。一种是蝇中的小叶板-小叶柱状神经元[40]，另一种是果蝇中的一种LC细胞[25]。因此，该模型假设小叶网络的六个模块中的所有神经元单元主要通过其膜电位的分级偏移来编码输入，以简化。整篇论文中的术语“膜电位”是指根据其动力学方程（见下文）的相应单元的活性V（t）的模拟值。
我们从泄漏的积分和火神经元模型中去除了尖峰动力学，以模拟单个小叶单元。膜电位VI，J(位于模块中（i，j）的给定单元的t）遵循以下积分和非尖峰动力学：
(1)
其中 τm是膜时间常数，E泄漏是漏电流的平衡电位，R是总膜电阻，是单元的总突触输入。当 = 0 时，电位以指数方式弛豫，常数 τm到 E泄漏.因此，E泄漏也是模型神经元的静息电位。由于苍蝇视叶中大多数神经元的电渗特性尚不清楚，因此我们设置τm= 5 毫秒和 E泄漏= –50 mV，参考小叶板中切向细胞的被动膜特性[41]。R被设置为无量纲参数，即R = 1，为了简单起见，输入是无量纲的。
为了确定突触输入，给定的突触后模块的电导矩阵是通过将模块的感受野函数与其突触前输入矩阵进行卷积来计算的。电导矩阵的元素被分解成正分量和负分量，分别代表兴奋性和抑制性突触电导。负分量来自EMD阵列的零方向选择性输出或突触后模块感受野函数中的负元件。值得注意的是，突触电导在生理学中永远不会是负的。在本研究中没有明确模拟抑制性中间神经元。为了简单起见，我们将负电导视为抑制电导。这种处理过程与Borst等人对负电导的解释一致[42]，其中局部运动检测器的负输出被合并为抑制电导。
给定单位（i，j）的突触电流建模为：
(2)
其中 E内线= 0 mV 和 E英赫= ?80 mV 分别是兴奋性和抑制性突触电流的反转电位。 并分别表示输入电导的正分量和负分量。参数α表示突触权重，假设其容易受到适应和/或可塑性调节的影响（参见“方法”以确定α值）。
除非另有说明，否则 EMD 阵列和各个下游模块共享相同的阵列大小，视网膜局部覆盖方位角为 180° 和仰角 90° 的视野。视觉输入的图像按顺序呈现给EMD阵列，每个图像持续10毫秒，以模拟100 Hz的刷新频率。在我们的模拟中考虑的33°/秒的速度条件下，输入图像的位移在0毫秒内为33.10°，相当于一个像素，即最小的图像元素（“方法”）。因此，模型刺激不需要更高的刷新频率。虽然EMD阵列是一个离散系统，但下游模块网络是一个连续系统，其神经元单元由积分时间步长为1.0 ms的普通差分方程（4）描述。这里所说的“离散系统”是指 EMD 阵列的输入每 10 ms 更新一次，并且在每个更新间隔内保持不变。EMD输入的离散更新过程减轻了模型在每个下游模块集成时间步连续接收相同输入的负担，从而提高了计算效率。
EMD 阵列下游的数字-地面区分
我们首先关注Ir和Lr模块，以调查它们是否足以进行图形地面歧视（图1）。单个EMD单元在其有限的感受野内检测到局部运动，其阵列仅提供了方向运动的粗略估计。为了说明这一点，将一个在类似纹理背景上移动的随机纹理正方形馈送到模型（S1视频）（图2A）。尽管该图一直向右移动，但始终检测到向左运动，即EMD输出中的负分量（图2B和2C）。检测到的局部运动在空间和时间上呈现出各种矢量量级。这一结果符合众所周知的事实，即EMD的输出不仅取决于速度，还取决于刺激模式的其他特性，例如亮度对比度和空间频率成分[37，38]。对于正弦波光栅等周期性模式，EMD的最佳响应由时间频率（即角速度与光栅的空间波长之比）决定，而不是仅由光栅速度决定。因此，依靠EMD阵列测量的视觉运动的不连续性来区分图形几乎是不可能的。
缩略图 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图2. 小叶网络基于EMD阵列测量的噪声局部运动解决图形-地面判别问题。
(A） 输入帧的示例。刺激（80%对比度）包括一个有纹理的前景图形（34°×34°，在红色边界中）以66°/秒的速度向右移动，背景纹理相似（静止）（S1视频）。实际刺激中不存在红色边界。左：原始框架。中间：预处理的图像。右：前景位置（白色区域）和背景（黑色区域）。（B） ON+OFF EMD 阵列响应配置文件的快照。为了以更高的分辨率检查轮廓（顶部），将青色边界勾勒的区域放大并分解为向右（右下）和向左（左下）的组件。（C） 与 （B） 相同，只是还显示了 ON 和 OFF 通路中的 EMD 响应曲线（上行）。所有数据均显示为灰度矩阵。由白色边界勾勒的每个面板中的区域被放大并分解为向右（右下）和向左（左下）的组件。注意：下部面板中的元件值放大了 10 倍，以便于检查两个组件的元件数量之间的差异。（D）在不同感受野条件下在Ir模块中检测到的前景图（在顶部标记）。上行：Ir模块中单元的膜电位。下行：Ir 模块的输出。红色边界表示图形在相应时刻的位置。在（F）中的两个感受野条件下进一步研究了五个单元（用白色圆圈标记）的膜电位时程。（E）Lr模块中单元的膜电位（与（D）中的膜电位同时记录）。（F）（D）中标记的五个单元的膜电位的时间过程。曲线根据（D）中相应单位的标记颜色进行颜色编码。（A-E）中的数据基于（A）中的输入帧显示。小叶模块之间突起的突触权重设置为α洛→洛= 2。
https://doi.org/10.1371/journal.pcbi.1011077.g002
另一方面，尽管负分量共存，但向右的分量始终主导检测到的视觉运动（图2B和2C），使得EMD输出的正分量主导下游Ir模块的感受野。我们受到启发，认为Ir模块中的一组相邻单元，理论上编码运动图形，如果它们的感受野足够大，应该同时去极化。我们通过改变感受野大小来测试这个想法。模拟表明，根据其感受野的大小，这些单元在不同程度上进行了去极化（图2D），其中这些单元（下行）的输出是通过对其膜电位（上行）应用sigmoid激活函数（参见“方法”的具体形式）来确定的。一旦尺寸达到大约24°×24°，图形就与其背景很好地分离或分割，证实了我们的假设。感受野太大对结果没有定性影响。为了检查图形-地面分割过程中发生的神经活动，还显示了在两种感受野大小条件下获得的Ir模块中五个代表性单元的膜电位的时间过程（图2F）。
同时，随着Ir模块的感受野尺寸的增加，Lr模块的性能也得到了提高。作为边缘检测器模块，Lr不仅可以检测图形边缘，还可以区分前缘和后缘（图2E）。前者由一组去极化单元编码，后者由超极化单元编码。其他静息（非信号）Lr单位与图形表面或静止背景进行视网膜匹配。
模型可以推广到更复杂的任务吗？我们测试了另外三类刺激：在静止背景上移动的边缘（表示为“边缘”），在反向移动的背景上移动的条形（“地面上的条”）和具有高阶θ运动的条（“θ图”）（图3A）。在“Theta Figure”中，随机分布在条内的黑点和白点相对于条形图本身沿相反方向连贯移动[33-35]。结果表明，尽管EMD阵列为小叶网络提供了相当粗糙的视觉运动输入（图3B），但前景图被清晰分割，并且有效地提取了所有测试刺激物的数字边缘（图3C和3D）。
缩略图 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图3. 单个小叶模块根据其感受野结构和方向选择性提取刺激特征。
数据根据其刺激类别（如顶部所示）垂直呈现，并根据前景图形通过视野中间的输入帧显示。EMD阵列上Ir和Il单元的感受野设置为26°×26°。（A）三类刺激的时空图，对比度水平为80%，移动速度为66°/秒。每个图都说明了顶行（水平轴）如何随时间（纵轴）演变。顶行是从刺激图像的第一帧行中随机选择的，因此行演变表征了刺激的动态演变。在“地面上的酒吧”中，背景以相同的速度向与酒吧相反的方向（25°×90°）移动。在“Theta Figure”中，条内的元素（25°×90°）向左移动，条形本身以相同的速度向右移动。（B） 开+关 EMD 阵列的输出（上排）。每个面板中白色边界勾勒的区域被放大并分解为向右（右下）和向左（左下）运动分量。下部面板中的单元值放大了 10 倍，以便于检查两个组件的元素数量之间的差异。（C） Ir、Il和Im模块中单元的膜电位（上行）和相应的输出（下行）。红色边界表示移动前景在相应时刻的实际位置。在（E）中进一步研究了单元的膜势程（用白色圆圈标记）。（D）Lr，Ll和Lm模块中单元的膜电位（与（C）中的单元同时记录）。（E）（C）中标记的单位的膜电位的时间过程。曲线根据（C）中相应单位的标记颜色进行颜色编码。
https://doi.org/10.1371/journal.pcbi.1011077.g003
每个Ir、Il和Im模块中代表性单元的膜电位说明了相应模块在单单元水平上的方向选择性（图3E）。Ir和Lr的首选方向是正确的。Il 和 Ll 的首选方向被留下了。Im和Lm模块没有方向选择性。方向选择性解释了对给定刺激的三个平行路径中的不同反应。例如，Ir和Il（Lr和Ll）模块以相反的方式区分“地面条形”刺激中的图形（图形边缘）（图3C和3D，带有“地面条形”的面板）。对于“θ图”刺激，Il（但不是Ir）确实区分了向右移动的θ图（图3C和3D，带有“θ图”的面板）。这是因为EMD只能检测图形内的相干一阶运动，而不能检测图形本身的高阶运动（图3B，带有“Theta图”的面板）。
“地面上的条形”刺激中的移动背景使Im模块无法区分图形，因为模块通过向右和向左运动进行了去极化。因此，其下游模块（Lm）无法检测到图形边缘。Im和Lm模块的单元实际上分别是背景抑制图形和边缘检测器。
我们的模拟表明，神经元超极化编码的信息与神经元去极化一样重要。与去极化事件相比，如何将超极化事件传达给小叶中的突触后神经元，以确保下游神经元在图形-地面歧视的背景下得到正确的信息？我们推测相关小叶神经元或抑制性中间神经元的自发基线活动可能参与溶液。
综上所述，我们的模拟表明，小叶回路可以仅基于粗略测量的视觉运动来解决图形-地面判别问题。该解决方案涉及三个平行路径，根据不同的方向选择性处理粗糙的视觉运动。
通过小叶网络实现时空视觉运动平滑
由于突触后神经元对EMD阵列的空间感受野结构是由二维高斯滤波器（“方法”）描述的，我们是否可以将图形-地面判别的成功归因于下游模块对EMD阵列输出的高斯平滑？为了回答这个问题，我们通过关注模型的EMD-Ir部分来剖析运动信号处理程序。
通过设置50%的最大值作为分割阈值，提取每个阶段的信号并将其转换为一系列二进制图像，以便我们能够定量评估图形-地面判别效应。分割的前景和背景像素分别由白色和黑色像素表示。鉴于刺激很简单，我们手动注释每个移动的前景条作为基本事实。我们使用 F 度量来评估每个阶段图形-地面歧视所表现出的正确程度，因为 F 度量是评估两类分类问题中模型性能的常用指标。F-measure指标定义为另外两个指标（称为精度和召回率）之间的调和平均值：
(3)
其中精度是正确分类的前景像素在所有分类的前景像素中的分数，召回率是地面实况中所有前景像素中正确分类的前景像素的比例（参见“方法”）。F 度量值的值介于 0.0 （对于最坏情况（失败的图形-地面判别）和 1.0 （对于最佳情况（完美判别））之间。
图4C显示了在EMD-Ir部分的每个阶段提取的信号，当受到上面定义的“地面条”刺激的激励时。很明显，通过Ir模块的输入，从EMD阵列的输出到Ir模块的输出，地表判别效果不断得到改善（图4C，上行）。当背景保持静止时，特性保持不变（图4A，顶行）。数据也使用其他4个分割阈值（最大值为10%，30%，70%和90%）单独显示（图4A和4C，底行）。Ir上游的地表分割效应高度依赖于阈值。在静止背景条件下，~30%的阈值提供了最佳的分割结果，而在移动的背景条件下，则需要~70%的阈值。相比之下，在Ir水平上，分割过程对阈值和刺激类型的变化是鲁棒的。相应地，F测量值在EMD阵列的输出级较低，当运动信号进入Ir模块时，F测量值略有降低（在静止背景条件下）或随机增加（在移动背景条件下）（图4B和4D）。与此形成鲜明对比的是，Ir模块在Ir输出阶段将F测量值稳定地增加到大于0.8的值，表明图形-地面判别力很强。这些结果表明，沿着模型的处理流程，直到Ir模块的输出阶段，图-地面分割才被完全求解。换句话说，我们不能将图形-地面判别的成功归因于下游模块对EMD阵列输出的高斯平滑处理。
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图4. 剖析从EMD阵列到Ir模块的路径中的图形-地面判别过程。
(A） 三个阶段的分段前景（白色区域）和背景（黑色区域）的快照：EMD 阵列的输出（左列）、Ir 模块的输入（中间列）和 Ir 模块的输出（右列）。分割阈值设置为最大值 50%（顶行）或 10%、30%、70% 和最大值 90%（底行）。刺激是一个有纹理的25°条（80%对比度），它以66°/秒的速度在类似纹理的背景上移动（最左上角：时空图）。数据基于条形通过视野中间的输入帧呈现。（B）在整个刺激呈现期间的瞬时F测量。通过在三个阶段使用最大50%的分割阈值进行评估：EMD阵列的输出（绿色曲线），Ir模块的输入（浅蓝色曲线）和Ir模块的输出（深蓝色曲线）。（C） 和 （D） 分别与 （A） 和 （B） 相同，只是刺激背景向与柱相反的方向移动。对于所有仿真，EMD阵列上Ir和Il单元的感受野场设置为10°×10°。
https://doi.org/10.1371/journal.pcbi.1011077.g004
The above dissection of the signal processing procedure indicates that smoothing visual motion based only on spatial features, as reflected at the input stage of the Ir module, was not sufficient for achieving a robust figure-ground discrimination effect. Further temporal integration of the visual motion in Ir was critically needed. To probe the temporal integration property, we repeated the simulation in Fig 4A by changing the membrane time constant τm of the Ir module (see Eq (1)) (Fig 5A). Figure-ground segmentation failed if the τm value was less than 0.6 ms, as shown in both the output snapshots of the Ir module (Fig 5A, 3rd row) and the F-measure curves (Fig 5A, 4th row). Once the τm值达到0.8 ms，出现稳健分割效应。这些值（<1毫秒）实际上落在均衡时间常数的范围内，该均衡时间常数短于昆虫视叶中测量神经元的膜时间常数[41，43]。
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图5. 膜时间常数τ的影响m关于数字-地面歧视。
(A） 在与图 4A 中使用的刺激相同的刺激下实现的图地分割效果。最左边的面板：刺激的时空图。第 1 行至第 3 行：三个阶段（EMD 阵列的输出（第 1 行）、Ir 模块的输入（第 2 行）和 Ir 模块的输出（第 3 行））分段前景（白色区域）和背景（黑色区域）的快照。快照根据条形通过视野中间的输入帧呈现。分段阈值设置为最大值 50%。对应的 τm值显示在顶部。第 4 行：在整个激励过程中的瞬时 F 测量值，在 EMD 阵列的输出（绿色曲线）、Ir 模块的输入（浅蓝色曲线）和 Ir 模块的输出（深蓝色曲线）进行评估。（地下一）与（A）相同，只是刺激被“移动背景中的θ图”（最左边的面板）所取代。刺激的特征是背景以1°/秒的速度向左移动。条形与背景共享完全相同的运动，而条形内的元素以66°/秒的速度连贯地向右移动。 （B66）与（B2）相同，只是刺激的点大小从1.2°更改为6.7°。
https://doi.org/10.1371/journal.pcbi.1011077.g005
仔细检查τ是否m阈值取决于刺激类型，我们用下面称为“移动背景中的θ图”的更复杂的刺激重复模拟（S2视频）（图5B1，最左边的面板）。与“Theta 图”（图 3A，最右边的面板）不同，在新刺激中，背景与条形图一起移动。具体来说，条形图及其背景以相同的速度向左移动，条形图中的元素以与条形图和背景相同的速度连贯地向右移动。仿真显示，τm0.8 ms的值未能产生成功的分割结果，除非τm值达到 1.6 ms（图 5B1）。接下来，我们将新刺激纹理的点大小从2.6°更改为7.9°，并再次重复模拟过程（S3视频和图5B2，最左侧面板）。与在较小点尺寸条件下得到的结果相比，τm对于较大的点尺寸刺激，需要值才能实现合理的分割效果（图5B2）。综上所述，对于研究中使用的所有刺激，5毫秒的时间常数足够大，足以使小叶单元对视觉运动进行强大的时间整合。
上述结果表明，只要神经元在短时间内（在我们的模型参数的情况下为 >5 ms）拥有输入的记忆，几乎任何神经元都能够胜任所需的时间积分。EMD阵列输出在下游小叶单元感受野内的高斯平滑在不同程度上增强了输出的主要成分。这种强化操作在给定时刻的效果仅取决于该时刻 EMD 阵列的输出，这导致了波动的 F 测量值，如模拟所示（图 4 和图 5 中的浅蓝色曲线）。在增强的EMD输出进入小叶网络后，EMD阵列的当前和过去输出被整合到小叶单元的响应中。这是因为小叶单元基本上是单独的动态系统，其反应不仅取决于现在的输入，还取决于过去的输入。输入的时间积分解释了稳健和提升的F测量（图4和图5中的深蓝色曲线）。
综上所述，解决图地判别的关键在于EMD阵列的噪声输出在空间和时间上是集成的，因此被下游小叶单元平滑。
感受野大小和刺激参数对图形-地面判别的影响
由于检测器的模式相关响应，点大小和条形速度等参数会影响EMD阵列的输出[37，38]。此外，Ir和Il模块的感受野的大小可能会影响小叶网络中EMD响应的处理。为了定量探讨这些因素对模型性能的影响，我们在本节中重点介绍了EMD-Ir部分。
我们首先使用各种点大小和条形宽度组合运行模型，用于“地面条形”刺激，这有效地改变了输入模式的空间频率分布。除了具有非常窄的条（5°宽）的情况外，大多数测试的点尺寸和条宽导致Ir模块的感受野在不同尺寸下的高F测量（图6A和6B）。增加棒材宽度改善了图形-地面区分效果，尽管随着钢筋宽度的持续增加，改善程度有所减弱（图6B）。单独改变点大小对F测量几乎没有影响，除了非常小的点（2.6°）的情况，其中实现了更高的F测量（图6A）。较高的F测量可能是由于在非常小的点尺寸条件下EMD响应的密度更大。
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
Fig 6. Effects of the receptive field size and stimulus parameters on figure-ground discrimination.
Unless specified below, the receptive field size of the lobula units on the EMD array was set as 14° × 14°, and a moving bar (25° width; 80% contrast; 2.6° dot resolution; 66°/sec speed) with a stationary background was used as the stimulus. The F-measures were averaged across the input frames (with the initial 50 frames excluded as transient frames) at the output stage of the Ir module. (A-B) Effect of the receptive field size on the averaged F-measure under different stimulus conditions. In panel (A), three dot resolutions, as specified at the top of each space-time plot, were tested: 2.6° (squares), 7.9° (triangles), and 13.2° (circles). In panel (B), three bar widths, as specified at the top, were tested: 5° (triangles), 25° (squares), and 45° (circles). (C-D) Effects of the stimulus velocity (C) and contrast (D) on the averaged F-measure. In panel (C), the background was not stationary but rather moving at ?132°/sec, and the bar’s velocity was varied as specified along the abscissa axis.
https://doi.org/10.1371/journal.pcbi.1011077.g006
Although an optimal receptive field size of approximately 12° × 12° was obtained, the role of the receptive field size in tuning the F-measure was weak. An exception was the case with a bar width of 5°, where the F-measure considerably decreased with the receptive field size. This is because the very narrow bar was discriminated as a much wider figure by the model with a receptive field size that was much larger than the bar width.
接下来，我们研究了图形速度与其背景之间差异的影响。通过使背景以恒定速度移动并改变棒材速度，仿真表明，只要棒材沿与背景相反的方向移动，就可以轻松解决地图-地面辨别问题（图6C）。一旦条形与其背景共享相同的方向，即使它们的速度是可区分的，性能就会很差。这主要是由于EMD输出对速度的非单调依赖性。例如，在具有固定空间波长的光栅图案的刺激条件下，单个EMD的响应是单峰的，而不是图案速度的线性函数[37，38]。
最后，我们改变了试验之间刺激的对比度水平。一旦对比度大于或等于30%，该数字就会被非常有效地区分（图6D）。我们对研究中的所有刺激都使用了迈克尔逊对比，除了自然场景模式，C有效值，即均方根（RMS）对比，被应用（“方法”）。较低的对比度大大损害了图形-地面区分过程，这在质量上与EMD反应取决于模式对比度的平方这一事实一致[37，38]。
与液相色谱电池的比较
据报道，当使用双光钙成像时，不同类型的LC细胞对移动刺激的视觉反应具有高特异性[26，30，31]。一个显而易见的问题是，我们的模型是否可以解释LC细胞的生理测量。
我们创建了第二种类型的视觉刺激（“方法”）来模仿St?dele等人使用的视觉刺激[30]（图7A，顶行）。具体来说，创建了三类刺激：在浅色背景上移动的深色小方块（表示为“小物体”），在浅色背景上移动的深色条（表示为“条形”），以及延伸到整个视野的移动方形光栅（表示为“宽场”）。所有刺激的方位角均为180°，仰角为70°，并向右移动。通过将刺激逐个馈送到模型，仿真表明Ir、Il和Im模块中的单元响应所有3类刺激，而Lr、Ll和Lm模块中的单元仅响应“条形”或“小物体”（图7B）。Ir和Il中的单位通过其首选方向的运动去极化，并通过其零方向的运动进行超极化。Ir（向右）和Il（向左）的首选方向彼此相反。Lr 和 Ll 中的单元被其首选方向的运动激活，并对其零方向的运动保持沉默。Im和Lm中的单位没有方向选择性。综上所述，只有Lm模块中的单元表现出与之前记录的几种LC类型的响应相似的特性[30，31];具体来说，它们被宽场运动抑制，并且没有方向选择性。
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图 7. 小叶网络中单单元水平的刺激诱发反应。
(A） 三类刺激（上行，标明其名称）和 ON+OFF EMD 阵列的相应输出（下行）。“小物体”和“条形图”的尺寸分别为8.9°×8.9°和8.9°×70°，前景和背景的亮度水平分别设置为0.25和0.75。“宽场”方形光栅的空间波长为17.8°，迈克尔逊对比度为50%，其亮度周期性设置为0.25和0.75。所有刺激物都有70° x 180°的视野，并以33°/秒的速度向右移动。 （B）六个小叶模块中的刺激诱发膜电位，每行旁边标明名称。仅显示每个模块中位于中央的单元的响应。虚线表示静息膜电位。（C）棒材高度和速度对Lm模块去极化程度的影响。仅显示位于中央的单元的数据。左图：诱发膜电位的峰值与条形高度的关系。右图：诱发膜电位的峰值与条形速度的关系。对于所有模拟，从EMD阵列到突触后小叶模块的突触权重设置为αEMD→lo= 100。
https://doi.org/10.1371/journal.pcbi.1011077.g007
我们通过分别改变条形高度和速度来重复上面的模拟。Lm 单元的去极化随着棒材高度的增加而增加（图 7C，左图），但对棒材速度不敏感（图 7C，右图）。该特性与LC15的响应特性在质量上一致[30，31]。因此，Lm 模块中的单元在下面称为类似 LC15 的单元。值得注意的是，LC15中没有报道LC15样单元中对“条形”和“小物体”后缘的超极化响应[30，31]，这可能是因为基于钙成像的记录对超极化活动不敏感。
我们使用与先前研究[30]（图8A）中使用的刺激类似的刺激来确定LC15样单元是否能够解决St?dele等人提出的LC15细胞面临的图形-地面区分问题[30]。具体来说，创建了两类刺激，它们都有一个在低对比度背景光栅上移动的暗条。方形光栅要么是静止的（在图8A中表示为“bar”），要么以与条形相同的速度移动（表示为“bar+bg”）。一旦背景光栅开始向与条相同的方向移动，模型就无法区分暗条。伴随背景运动获得的F测量值显着降低说明了这一点（图8C，左图的黑色曲线与右图的黑色曲线）。在类似LC15的单元中，对条形的诱发响应被背景运动抑制，显示出与LC15相似的特征，除了超极化部分，St?dele等人没有观察到[30]（图8B，第一列与第三列）。
thumbnail Download:
PPTPowerPoint slide
PNGlarger image
TIFForiginal image
Fig 8. Effect of simulated octopaminergic modulation on the lobula network.
(A) Two classes of stimuli. The dark bar (0 luminance; 8.9° width) moved rightward at a speed of 33°/sec over a background square grating with a Michelson contrast of 33% (the luminance was periodically set as 0.25 and 0.5; 17.8° spatial wavelength). The grating was either stationary (the ‘bar’ stimulus) or moving with the same velocity as the bar (the ‘bar+bg’ stimulus). The visual field was 70° × 180°. (B) Stimulus-evoked membrane potentials with (red curves) and without (black curves) octopaminergic modulation in the six lobula modules with the names indicated beside each row. Only the responses of the centrally located unit in each module were displayed. Octopaminergic modulation was realized by changing the half-activation voltage θ of the activation function of the Ir and Il modules from ?40 mV to ?28 mV. Dashed lines indicate the resting membrane potentials. (C) F-measure obtained under the corresponding stimulus condition. The F-measure with (red curves) and without (black curves) octopaminergic modulation was evaluated at the output stage of the Ir module during the continuous presentation of 300 input frames. For all simulations, the synaptic weights of the projections from the EMD array to the postsynaptic lobula modules were set as αEMD→lo = 100.
https://doi.org/10.1371/journal.pcbi.1011077.g008
We next mimicked the application of an octopamine agonist to the model. The octopamine agonist increased the response gains in neurons ranging from medulla columnar neurons via T4/T5 neurons to lobula plate tangential cells [44, 45]. The increase was stronger at higher temporal frequencies instead of being uniform across the tested temporal frequencies of the grating stimuli [45–48]. Active locomotive states, thought to be related to increased endogenous octopamine release, also enhanced the response gains in LPLCs, with larger gains obtained at higher stimulus speeds [46, 49–52]. Based on these data, our model hypothesized that one direct or concomitant effect of octopamine was a shift in the response sensitivity of the postsynaptic neurons to the more depolarized state of their presynaptic neurons. The activation function describes how a neuron unit with a membrane potential V(t) contributes synaptic conductance to its postsynaptic units in the lobula network (see ‘Methods’). The half-activation voltage θ is the presynaptic voltage at which the activation function has the largest sensitivity. We shifted the parameter θ of the units in the Ir and Il modules from –40 mV to less negative values to mimic the hypothesized octopamine effect (Fig 9C and 9F, leftmost panels in the lower rows).
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图 9. 调制半激活电压对Lm模块中单元响应的影响。
(A） 与图 8A 中的“bar”相同的刺激。（B） 与图1B底行和第8列的面板中所示的数据相同。（C） 以 Lm 为单位的刺激诱发膜电位（第 2 至 7 列）。仅显示位于 Lm 中的中心单元的响应。通过将半激活电压θ移动到较小的负值（在每列顶部指示），sigmoid函数（黑色曲线，第一列）向右移动（粉红色和红色曲线，第一列）。应用模拟章鱼胺调制过程的模块名称标记在第 1 列的顶部。（D） 与图 1A 中的 'bar+bg' 相同的刺激。（E） 与图1B底行和第8列的面板中所示的数据相同。（F） 与 （C） 相同，只是模拟是在 （D） 中的“bar+bg”刺激下进行的。右下角的比例尺适用于所有膜电位。除θ外，所有参数值均与用于产生图3所示结果的值相同。
https://doi.org/10.1371/journal.pcbi.1011077.g009
我们用系统地移动的θ值重复了上面的模拟。在“bar+bg”刺激条件下，θ值偏移太小（例如θ≤–30 mV）或太大（例如θ ≥–20 mV）分别在LC15样单元中诱导随机 激活或近乎沉默状态。一旦θ值落在[–28 mV， –22 mV]附近的特定范围内（下面称为“最佳调制范围”），则恢复了对LC15类单元中暗条的响应（图9F，下行和8B，第4列）。在“条形”刺激条件下，他们的反应没有显着改变（图9C，下行和8B，第二列）。为清楚起见，图2B显示了仅θ = –28 mV的章鱼胺调制效果。如果忽略LC8样单元的超极化成分，则在质量上与LC15中记录的章鱼胺激动剂的反应相似[15]。我们进一步评估了F测量值。模拟的章鱼胺效应恢复了 Ir 模块区分暗条与其移动背景的能力，如图 15C 中的示例所示（红色与黑色曲线，右图）。
此外，我们研究了更大范围的章鱼胺调节的效果。具体来说，单元的半激活电压θ，不仅在Ir和Il中，而且在突触后Im中，同时移动到较小的负值。通过重复上述模拟，我们发现在章鱼胺调制的两个空间范围条件下，结果在质量上相似（图9C和9F，上行）。唯一的区别是最佳调制范围从大约[–28 mV， –22 mV]更改为大约[–30 mV， –26 mV]。
sigmoid 激活函数的另一个关键参数是陡峭度β，它描述了具有膜电位 V（t） 的神经元单元为其突触后单元贡献突触电导的速度。我们进一步重复了上述模拟，提高了（即降低陡度）或降低（即增加陡度）β值（图10）。发现陡度增加的激活函数有助于小叶单元的反应（图10C，上排），但仅增加的陡度无法挽救受背景运动抑制的LC15样单元中对条的反应（图10F，上排）。为了产生有效的救援，增加的陡度必须与半激活电压θ的偏移量相结合，使其负值较小（图10C和10F，下行）。
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图 10. 调制陡度对 Lm 模块中单元响应的影响。
(A）和（B）分别与图9A和9B相同。（C） 以 Lm 为单位的刺激诱发膜电位（第 2 至 7 列）。仅显示位于 Lm 中的中心单元的响应。参数β设置为每列顶部所示，相应地更改了 sigmoid 函数的陡度（第 4 列中有 1 条曲线）。半激活电压θ固定为–40 mV（上排）或–28 mV（下排）。参数调制的范围包括 Ir、Il 和 Im 模块。（D）和（E）分别与图9D和9E相同。（F） 与 （C） 相同，只是模拟是在 （D） 中的“bar+bg”刺激下进行的。右下角的比例尺适用于所有膜电位。除β和θ外，所有参数值均与用于产生图8所示结果的参数值相同。
https://doi.org/10.1371/journal.pcbi.1011077.g010
总之，模型模拟定性地再现了在有和没有使用章鱼胺激动剂的情况下，视觉诱发LC15反应中的实验观察结果[30，31]。模拟表明，LC15细胞的反应特性可能是由于章鱼胺诱导的突触前输入细胞中输入输出特性的转变。
图形-地面辨别对自然场景变异性具有鲁棒性
自然场景的纹理、对比度和亮度各不相同。这种可变性会影响EMD阵列产生的视觉运动估计结果，使得图形-地面的区分比实验室设计的视觉刺激更具挑战性。为了确定本模型是否能够可靠地检测嵌入在杂乱自然场景中的人物（或物体），我们通过在反向移动的高动态范围（HDR）图像上叠加移动的灰色条来创建一组合成刺激（图11A）。HDR图像是从Meyer等人在不同环境中记录的数据库中获得的[53]。通过RMS对比度C量化图像对比度水平RMS, which was calculated by dividing the global standard deviation by the global mean luminance of each original HDR scene image (‘Methods’). Almost all the images in the database [53] have a CRMS ranging from 0.4 to 5.7, being similar to the CRMS span of HDR images in another database [54]. Without loss of generality, ten HDR images with various lighting and spatial clutter conditions, whose CRMS levels covered the entire range [0.4, 5.7], were used as the background of the synthesized stimuli (Fig 11A). Before being fed to the model, the HDR images were preprocessed by Lipetz [55] or Naka and Rushton [56] transformation (‘Methods’), mimicking light adaptation in the retina, which needs to operate in an extremely broad range of light intensities.
thumbnail Download:
PPTPowerPoint slide
PNGlarger image
TIFForiginal image
Fig 11. Figure-ground discrimination results produced by the model in the case of cluttered natural scenes.
(A) Schematic illustration of the synthesized stimuli covering a full 360° azimuth and a 97° elevation. The foreground was a gray bar with a width of 15° and 0.5 luminance intensity, as illustrated in the panel located in the 1st row and 1st column, in which the arrowhead and three arrows express the movement directions of the bar and the background, respectively. The image background moving in reverse shared the same speed with the bar. The CRMS levels of the images in the 1st column from top to bottom are 5.74, 3.89, 2.10, 1.59, and 1.28, respectively. The CRMS第二列中图像的级别从上到下分别为 2.1、19.0、92.0、88.0 和 69.0。（B）F测量值沿从EMD阵列到Il模块的路径在三个阶段进行评估：EMD阵列的输出（绿色曲线），Il的输入（浅蓝色曲线）和Il的输出（深蓝色曲线和黑色曲线）。对于每个刺激速度，F测量值在背景场景的所有43个条件下取平均值。误差线表示标准偏差。从EMD阵列到突触后单元的突触权重设置为αEMD→lo= 100（除黑色曲线外的所有曲线）和 200（黑色曲线）。
https://doi.org/10.1371/journal.pcbi.1011077.g011
我们通过关注连接EMD阵列与其突触后模块Il的途径来运行该模型，因为该模块对向左移动的条产生去极化响应。仿真表明，在EMD阵列的输出阶段，F测量值相当低（小于0.05），对应于不可能的图形-地面判别场景（绿色曲线，图11B）。F措施在EMD阵列下游得到了很大改进。在Il模块的输出阶段（视觉运动的时空平滑之后）实现的改进大于其输入阶段（单独空间平滑后）（深蓝色曲线与浅蓝色曲线，图11B）。
然而，与使用纹理丰富的实验室设计的刺激（例如，图4B和4D）获得的刺激相比，由于自然场景引起的EMD响应更加稀疏，所有三个阶段的F测量值都显着降低。较稀疏的EMD响应应降低电导g（t）和g+?(t） 从 EMD 阵列到其突触后单元。根据方程（2），突触电流I合成会降低并导致数字地面歧视受损。为了测试这种可能性，我们通过增加突触权重α来补偿突触电流的减少，从而重复了上述模拟。F测量确实在Il模块的输出级被提升（图11B，黑色曲线）。当α值大约大于 300 时，提升效果饱和。参数α中的调制模仿适应和/或可塑性机制，这对于飞行运动视觉处理自然场景变化应该是必要的。
综上所述，该模型能够在自然场景变化的情况下计算地表判别解。
讨论
电动可移动模块模型
EMD-小叶网络模型对小叶网络参数和刺激模式中的小扰动具有鲁棒性，如结果部分所示。在这里，我们重点介绍尚未充分讨论的EMD模型的合理性。
我们使用了Eichner等人提出的EMD模型的2象限探测器版本[39]（下面称为2象限探测器模型）。然而，在过去十年中，在苍蝇EMD模型方面取得了重大进展。例如，在果蝇的ON和OFF运动途径中，个体EMD已被揭示为三臂而不是双臂[57-59]。Hassenstein-Reichardt模型的镜像对称半检测器之间的减法阶段不会发生在T4/T5细胞上，而是通过小叶板LPi中间神经元的抑制输入发生在切向细胞上[60]。我们选择在本研究中使用具有双臂结构的2象限探测器模型，有几个原因。
首先，二象限探测器模型基于减法阶段后的完整哈森斯坦-赖查特模型，该模型产生了高度的方向选择性，这是三臂EMD模型的特征。完整的Hassenstein-Reichardt模型值得称赞，因为它抵消了响应中非方向的分量，使EMD输出对运动方向具有高度选择性[2]。甚至可能由两个半检测器输入的亮度变化产生方向非特定响应分量，这与运动无关。然而，减法阶段产生具有相反符号的 EMD 响应。通过使用61象限检测器模型[2]，我们并不意味着T39 / T4细胞中存在局部运动对立。该模型将具有相反符号的EMD输出视为两组T5 / T4单元（每个水平方向一个）的响应。假设EMD阵列的正响应分别诱导Ir和Il模块的兴奋性和抑制性输入，反之亦然（参见'方法'）。该处理在计算上等效于数学变换的应用，通过数学变换，负号通常从完整的哈森斯坦-赖查特模型的输出中删除[例如，5]。
其次，我们的EMD小叶网络的结果对2象限检测器模型参数中的小扰动具有定量鲁棒性，例如高通和低通滤波器的时间常数，ON和OFF整流器的截止值以及直流输入的比例。从定性上讲，直流输入的存在与否对EMD小叶网络的结果没有实际影响。
苍蝇的ON和OFF运动途径功能相似，但两种途径之间存在显著差异[63，64]。为简单起见，我们的模型对 ON 和 OFF EMD 阵列进行了视网膜局部求和。我们阻断了2象限检测器模型的ON或OFF通路，并用第一种刺激重复模拟。本研究的结论因阻塞而定性变化，除了F测量值略有下降。这表明 EMD-小叶网络不依赖于 ON 和 OFF EMD 通路是否组合。预计未来的研究将提供两种途径之间图形-地面歧视差异的见解。
可测试的预测
该模型的预测是，T4 / T5细胞是小叶定向运动敏感性的主要来源，如果不是唯一的来源。具体来说，小叶的方向运动敏感性预计主要来自T4 / T5细胞，通过至少包括跨小叶板神经元（例如，Tlp1，Tlp2，Tlp3和Tlp4）的神经元，因此在下面称为“Tlp-中间神经元”。跨小叶板神经元将小叶板的不同层与小叶连接起来，其形态特征表明它们主要将信息从小叶板传递到小叶[20]。
小叶板-小叶神经元，例如LPLC1和LPLC2，已被确定为由T4/T5细胞直接驱动，并在小叶中表现出明显的突触前位点[28，65-67]。LPLC1和LPLC2对即将发生的碰撞相关刺激的反应最强[28，31，66，68]。我们推测LPLC1和LPLC2在时空平滑了它们来自T4 / T5细胞本身的输入，这对于这些细胞检测接近的目标至关重要。
考虑到绝大多数髓质输出投射到小叶[20]，小叶上游的另一个非T4/T5电路是否计算本地定向运动信号？小叶VPN本身是否根据从髓质获得的突触前输入来计算运动信号？我们的模型不排除这种可能性。例如，最近发现对小运动物体高度敏感的柱状T2和T3神经元对LC11具有突触前性，这表明LC11可能从髓质中的T2/T3输入继承其对小物体的运动敏感性[69]。尽管有这些可能性，我们的模型预测小叶运动灵敏度的非T4 / T5来源数量有限。
其次，该模型预测在Tlp中间神经元的下游，小叶具有用于视觉特征提取的平行途径。这些途径的感受野结构和/或方向偏好可能不同。例如，应该有两个平行的路径，它们共享具有特定方向的细长感受野，但分别偏爱向右和向左运动。它们分别处理基于视觉运动的物体检测，并投射到同一运动中心，形成平行且赢家通吃的感觉运动通路。
第三，该模型预测章鱼胺诱导小叶中特征提取神经元的突触前输入细胞（例如LC15）的输入输出特征发生变化，导致小叶电路以状态依赖的方式计算图形-地面辨别。例如，经小叶板神经元一旦经历章鱼胺激动剂的应用，就应该表现出这种转移的输入输出特征。
与以前型号的比较
Li等人[70]提出的先前模型表明，运动适应有助于将附近的物体与其杂乱的背景隔离开来。根据Koenderink和van Doorn[71]的说法，当仅考虑自运动的平移分量时，附近的物体在EMD阵列中引起的反应比背景更强。运动适应进一步放大了物体和背景引起的响应之间的差异，导致附近的物体在EMD阵列的输出级分离[70]。他们的模型需要几秒钟才能适应运动变化，一旦刺激速度变得恒定，模型效率就会下降。这与我们的模型形成鲜明对比，在我们的模型中，时空平滑操作始终是小叶网络中固有的。
苍蝇可以看到θ运动[32，72]。EMD阵列无法检测到“Theta图”的运动方向（参见图3A中最右侧面板中的激励）。然而，Zanker及其同事提出的由两层EMD组成的模型[33-35]成功地提取了“θ图”方向。两种模型之间最根本的区别在于第二层在其模型中没有方向选择性。在我们的模型中，第一层的输出由两个小叶模块处理，其方向选择性彼此相反。我们的模型很容易区分“移动背景中的θ图”，其中θ图与其背景具有完全相同的运动（图5B1和5B2）。然而，检测“移动背景中的θ图”的方向对他们的模型来说应该是一个挑战。
最近提出了两种用于小型障碍物检测的生物启发方法，并被证明适用于重量和计算能力约束很重要的小型空中平台[73]。这与我们的模型不同，我们的模型尚未为需要控制轨迹的空中平台设计。这两种方法[73]的灵感来自FD细胞中靶标选择性的出现机制[18-19]和第二阶段EMD阵列的物体大小依赖性检测机制[74-75]。他们的方法主要依赖于附近小障碍物引起的局部视差矢量的大小与其在光流场中的远背景之间的差异。障碍物被提取为光流场的高空间频率分量[73]。他们的方法在提取最近障碍物的相对范围或接近度方面具有优势。相比之下，我们的模型主要利用物体与其背景之间的方向差。虽然我们的模型可以很容易地区分远处背景的近处障碍物，但不适合区分彼此靠近的障碍物。这是因为时空平滑会在不同程度上削弱局部视差向量平移诱导分量对距离的依赖性。另一方面，他们的方法仅在方位方向上运行，因此不是为提取移动物体的形状而设计的。相比之下，我们的模型试图尽可能准确地提取整个图形。此外，他们的方法基本上是狭窄障碍物的最佳方法，而我们的模型对目标宽度没有尺寸限制。
总之，我们开发了一个生物启发的EMD-小叶网络模型，以研究如何使用无法测量真实速度的相关型运动检测器实现准确的图形 - 地面区分。我们的仿真发现，EMD阵列的剧烈波动输出可以在空间和时间上进行积分，因此可以通过其下游小叶网络自然平滑，该网络由具有不同方向选择性的平行路径组成。视觉运动平滑功能可以对背景中的移动图形进行稳健的分割。此外，该模型定性地再现了一种类型的LC细胞（即LC15细胞）的视觉诱发响应特征中的实验观察结果。结果表明，小叶参与基于视觉运动的目标检测。这些结果对于仅依赖单个相机的机器视觉系统中的运动检测也可能具有启发性。
方法
视觉刺激输入
研究中使用了三种类型的视觉刺激。第一种类型（用于模拟，其结果如图2-6所示）以每像素0.33°的分辨率创建，其方式类似于Tammero和Dickinson[76]。帧图像覆盖方位角 180°，仰角覆盖 90°。图形和背景都由随机分布的黑点和白点组成，除非图形相对于背景移动，否则图形不可见。任何点的相对亮度都可以表示为I.max = 我0+Δ I 和I 最小 = 我0+Δ I，分别，其中 I0是平均亮度，ΔI 是亮度差。通过修复我0 = 0.5 and modulating ΔI, we set the stimulus contrast based on the Michelson contrast (Imax?Imin)/(Imax+Imin). Unless otherwise specified below, a dot size of 8 × 8 pixels (i.e., 2.6° × 2.6°) and a contrast of 80% were established for this stimulus type.
第二种刺激类型（用于模拟，其结果如图7-10所示）被设计为覆盖方位角为180°，仰角为70°的视野，模仿St?dele等人的刺激[30]。图像分辨率为每像素0.33°。在图7中，“小物体”和“条形”刺激中前景和背景的相对亮度水平分别设置为0.25和0.75。“宽场”方形光栅的相对亮度定期设置为0.25和0.75。在图8-10中，刺激是在迈克尔逊对比度为0%的方形光栅上移动的暗条（亮度为33），其相对亮度周期性地设置为0.25和0.5。对于第一和第二类刺激，对于最深的黑色，相对亮度归一化为0，对于最浅的白色，相对亮度归一化为1。绝对照明被认为会影响运动敏感神经元的动态范围[77]，但绝对照明对图形-地面判别的影响超出了我们的模型范围。
第三种刺激类型（用于模拟，其结果如图11所示）是通过在不同环境中记录的图像数据库获得的自然场景上叠加均匀的灰色条来合成的[53]。场景图像采用HDR格式，方位角覆盖360°，仰角覆盖97°，分辨率为每像素0.39°。
HDR图像的平均亮度差异很大。我们通过计算RMS对比度（表示为C有效值).它被定义为 C有效值 = 我标清/我意味 着，其中我标清和我意味 着分别是每个原始图像中像素亮度强度的标准偏差和平均值[54，78]。除以全局平均亮度使 C有效值不依赖于图像亮度。
我们将Lipetz [55]或Naka和Rushton [56]变换应用于HDR图像的亮度强度I，然后再将它们馈送到EMD阵列。这通过光感受器的非线性响应特性模拟视网膜中的光适应：
(4)
其中μ设置为0.7[79，80]。因此，实际馈送到EMD阵列的亮度强度I′的范围从0到略小于1的值。
对于所有三种类型的刺激，每帧都由包含 2 × 12 像素、标准偏差为 σ = 12.3 像素的 5D 高斯低通滤波器模糊，然后沿两个维度以 η = 6 像素的因子进行下采样，以模拟苍蝇周边视觉系统的属性。建模光学器件的感光体接受角和间角可分别描述为（半峰全宽）和Δφ = η。根据上面给出的分辨率（以每像素度为单位），在第一种和第两种刺激条件下，Δρ = 2.7°和Δφ = 2.0°，在第三种刺激条件下Δρ = 3.2°和Δφ = 2.3°。预处理步骤将输入帧转换为时变强度的矩阵，如图2A中间面板中的一个例子所示。强度矩阵按顺序馈入EMD阵列以检测方向运动。
电动可动模块阵列
EMD阵列的开发是每个单元接收两个在可视空间中分离的输入。单个EMD单元由平行的ON和OFF探测器亚基组成，其详细结构与Eichner等人[4]的论文中的图39A所示完全相同。视觉输入首先由时间常数为τ的一阶高通滤波器处理惠普= 250 ms（允许未经滤波通过的原始信号的 10% 除外）。加入滤波和直流分量，然后馈入两个并联的半波整流器，一个形成ON通路，另一个形成OFF通路。ON和OFF整流器的截止值分别设置为输入相对亮度信号的0和0.05。τ的一阶低通滤波器LP= 50 ms在ON和OFF子单元中均采用。探测器子单元的减法阶段被建模为偏爱向右运动，即为向右（向左）运动产生正（负）输出。
ON和OFF检波器子单元不提供输出，除非其响应的绝对幅度达到thr = 0.002的阈值。这种非线性消除了振幅非常小的随机噪声，但参数thr的存在与否对我们的结果没有实际影响。为了进一步简化问题，将ON和OFF通路中两个EMD阵列的输出进行视网膜局部添加，以形成ON+OFF EMD阵列的最终输出，然后将其投影到Ir和Il模块。
小叶网络
小叶网络从Ir和Il开始，其神经元单元接收来自ON+OFF EMD阵列的输入，但具有相反的高斯感受野（图1A和1B1，左图与右图）。除非另有说明，否则每个感受野设置为边长为7个EMD单位的正方形区域，相当于第一种刺激类型的14°×14°。Ir和Il模块的输出被视网膜局部相加并投影到Im模块，使得Im中的单元没有方向选择性。Im在Ir和Il模块上的感受野设置为边长为3个小叶单位的正方形区域。具体来说，感受野被建模为二维高斯函数，其特定矩阵形式为[2.0 0.0 1.0;0.0 1.0 6.0;1.0 0.0 1.0]，三行由分号隔开（图0B1）。
Ir、Il 和 Im 模块分别投影到最后一层中的 Lr、Ll 和 Lm 模块。Lr、Ll和Lm从各自的突触前模块继承了方向选择性。其单元的感受野设置为3×3个Prewitt滤波器，沿垂直方向模拟边缘探测器。Prewitt滤波器的矩阵形式为0.05×[1 0–1; 1 0–1; 1 0–1]，其三行由分号分隔（图1B3）。选择Prewitt滤波器是因为它们的效率和简单性。更多功能，如纹理分析和形状识别，没有在Lr、Ll和Lm中模拟;否则，应使用 Gabor 滤波器，而不是 Prewitt 滤波器。
使用S形函数作为小叶单元的激活函数，其中参数θ和β分别为半激活电压和陡度。除非另有说明，否则我们设置 θ = ?40 mV 和 β = 0.5。
在刷新频率为100 Hz的视觉刺激驱动下，Ir和Il的突触电导矩阵每10 ms更新一次，而小叶网络中的所有单元以0.4 ms的时间步长进行积分。根据方程（2），单个小叶单位的突触电流与参数α成正比，方程（6）表示突触重量。选择参数α的值使得在感受野大小和刺激参数值均为中等条件下，突触后神经元的诱导活动为中等（感受野大小和刺激参数值的范围见图<>）。除非另有指定，否则参数设置为αEMD→lo = 150 if the given unit was postsynaptic to the EMD array and αlo→lo = 20 if the unit was postsynaptic to one of the modules in the lobula network.
Quantitative evaluation of figure-ground discrimination by the F-measure
We used the F-measure to evaluate the degree of correctness exhibited by figure-ground discrimination because the F-measure is an evaluation metric for assessing classifier performance in a two-class classification problem. The F-measure is especially convenient for evaluating motion detection methods [81].
The result of figure-ground discrimination (i.e., the output of the Ir or Il module) was transformed into a series of binary images by setting a 50% maximum segmentation threshold (e.g., Fig 4A and 4C, top rows), in which white and black pixels represented foreground and background pixels, respectively. Based on the ground truth of each frame, we could recover four quantities: true positives (TP), false positives (FP), true negatives (TN) and false negatives (FN). TP and FP are the numbers of foreground pixels correctly and incorrectly classified, respectively. TN and FN are the numbers of background pixels correctly and incorrectly classified, respectively.
The F-measure is defined by combining two other metrics called precision and recall. As shown in Eq (3), it is defined as F-measure = (2 × precision × recall)/(precision + recall) = 2TP/(2TP + FP + FN), where precision = TP/(TP + FP) and recall = TP/(TP + FN). The F-measure is a value between 0.0 for the worst case (failed figure-ground discrimination) and 1.0 for the best case (perfect discrimination).
The F-measures at the output stage of the EMD array were evaluated based on the output of the ON+OFF EMD array. The F-measures at the input stage of the Ir or Il module were evaluated based on their synaptic conductance matrices, which were calculated by convolving the output of the ON+OFF EMD array with the receptive field function of the corresponding module. The data at these intermediate stages were preprocessed into a series of binary images, to which the F-measure formula was then applied. To ensure an objective evaluation, we took into account both the positive and negative components of the data at each of the intermediate stages.
Network simulations
仿真程序以MATLAB编程语言（R2013b）编写，并在戴尔Precision T7810工作站上运行。EMD阵列是一个离散时间系统，时间步长为10 ms，而小叶网络使用四阶Runge-Kutta方法进行数值积分，时间步长为0.4 ms。为了连接不同的时间尺度，EMD阵列每10 ms更新一次，在此期间，小叶模块连续集成了25个时间步长。
支持信息
在类似纹理背景上移动的带纹理的正方形。
显示 1/3： pcbi.1011077.s001.mp4
跳到无花果共享导航
00:00
00:02
1 / 3
下载
无花果分享
S1 视频。 在类似纹理背景上移动的带纹理的正方形。
https://doi.org/10.1371/journal.pcbi.1011077.s001
（MP4）
S2 视频。 一个小点纹理θ图形与类似纹理的背景一起移动。
https://doi.org/10.1371/journal.pcbi.1011077.s002
（MP4）
S3 视频。 一个大的点纹理θ图形与类似纹理的背景一起移动。
https://doi.org/10.1371/journal.pcbi.1011077.s003
（MP4）
确认
我们感谢赵俊宇和席胜凯的有益讨论。我们也感谢侯敬武、郭晶和王颖的技术援助。
引用
1.LG主教，基恩DG。苍蝇中光运动反应的神经相关性。基伯内蒂克。1967;3:288–295.密码：5617416
查看文章PubMed/NCBI谷歌学术搜索
2.主教LG，Keehn DG，McCann GD.视叶中间神经元和苍蝇的大脑的运动检测 卡利弗拉费尼西亚和家麝香。J 神经生理学。1968;31:509–525.密码：5709868
查看文章PubMed/NCBI谷歌学术搜索
3.德沃夏克博士，LG主教，埃克特·何。关于识别光学瓣中的运动检测器。J comp Physiol. 1975;100:5–23.https://doi.org/10.1007/BF00623928
查看文章谷歌学术搜索
4.Hausen K. 吹蝇红头胝蝇小叶板中运动敏感神经元的功能表征和解剖学鉴定。Z 自然福施。1976;31c：629–633。
查看文章谷歌学术搜索
5.博斯特 A， 哈格 J， 雷夫 DF.飞行运动视觉。神经科学年鉴。2010;33:49–70.密码：20225934
查看文章PubMed/NCBI谷歌学术搜索
6.博斯特 A， 哈格 J， 莫斯 AS.苍蝇神经元如何计算视觉运动的方向。生理学杂志 A. 2020;206:109–124.密码：31691093
查看文章PubMed/NCBI谷歌学术搜索
7.Krapp HG，Hengstenberg R.通过单个视觉中间神经元中的光流处理估计自运动。自然界。1996;384:463–466.密码：8945473
查看文章PubMed/NCBI谷歌学术搜索
8.Krapp HG，Hengstenberg B，Hengstenberg R.动态光流处理中间神经元的树枝状结构和感受野组织。J 神经生理学。1998;79:1902–1917.密码：9535957
View ArticlePubMed/NCBIGoogle Scholar
9.Reichardt W， Poggio T. 苍蝇视觉系统中相对运动的图形-地面辨别。第一部分 实验结果生物赛博。1979;35:81–100.https://doi.org/10.1007/BF00337434
查看文章谷歌学术搜索
10.Reichardt W， Poggio T， Hausen K. 苍蝇视觉系统中相对运动的图形地面歧视。第二部分.朝向神经回路。Biol Cybern [增刊1]。1983;46:1–30.
查看文章谷歌学术搜索
11.伯顿BG，劳克林SB.雄性和雌性家蝇家蝇麝香光感受器阵列中追逐目标的神经图像。实验生物学杂志. 2003;206:3963–3977.密码：14555737
查看文章PubMed/NCBI谷歌学术搜索
12.努德斯特伦K，奥卡罗尔DC。雌性食蚜蝇中的小物体检测神经元。生物学进展 2006;273:1211–1216.密码：16720393
查看文章PubMed/NCBI谷歌学术搜索
13.努德斯特伦 K， 巴内特 PD， 奥卡罗尔 DC.昆虫检测在视觉混乱中移动的小目标。公共科学图书馆生物学. 2006;4：e54.pmid：16448249
查看文章PubMed/NCBI谷歌学术搜索
14.巴内特PD，诺德斯特龙K，奥卡罗尔DC。昆虫视觉系统中小场靶标检测神经元的视网膜原位组织。当代生物学. 2007;17:569–578.pmid：17363248
查看文章PubMed/NCBI谷歌学术搜索
15.Wiederman SD，Shoemaker PA，O'Carroll DC。受昆虫生理学启发的视觉杂波中移动目标检测模型。公共图书馆一号。2008;3：e2784。pmid：18665213
查看文章PubMed/NCBI谷歌学术搜索
16.埃格尔哈夫·在苍蝇视觉系统中通过相对运动进行图形地面区分的神经元基础。II.图形检测细胞，一类新的视觉间神经元。生物赛博。1985;52:195–209.https://doi.org/10.1007/BF00339948
查看文章谷歌学术搜索
17.Reichardt W，Egelhaaf M，Guo A.苍蝇视觉系统中图形和背景运动的处理。生物赛博。1989;61:327–345.https://doi.org/10.1007/BF00200799
查看文章谷歌学术搜索
18.Warzecha AK，Egelhaaf M，Borst A.神经回路调整将视觉中间神经元飞行到小物体的运动。I.通过药理学和光灭活技术解剖电路。J 神经生理学。1993;69:329–339.密码：8459270
查看文章PubMed/NCBI谷歌学术搜索
19.Haag J，Borst A.果蝇中运动敏感的大场神经元之间的树突状相互作用。J 神经科学。2002;22:3227–3233.pmid：11943823
查看文章PubMed/NCBI谷歌学术搜索
20.菲施巴赫钦哲基金会，迪特里希·黑腹果蝇的视叶。一、野生型结构的高尔基体分析.细胞组织研究 1989;258:441–475.https://doi.org/10.1007/BF00218858
查看文章谷歌学术搜索
21.Otsuna H，Ito K.黑腹果蝇视觉投射神经元的系统分析。I. 小叶特异性途径。神经学杂志. 2006;497:928–958.pmid：16802334
查看文章PubMed/NCBI谷歌学术搜索
22.新泽西州施特劳斯菲尔德，冈村JY。书法苍蝇的视觉系统：视肾小球的组织及其小叶复合传出。神经学杂志. 2007;500:166–188.密码：17099891
查看文章PubMed/NCBI谷歌学术搜索
23.吴 M， Nern A， Williamson WR， Morimoto MM， Reiser MB， Card GM， et al.果蝇小叶中的视觉投影神经元将特征检测与不同的行为程序联系起来。电子生活。2016;5：e21022。pmid：28029094
查看文章PubMed/NCBI谷歌学术搜索
24.道格拉斯JK，新泽西州施特劳斯菲尔德。书法苍蝇小叶复合体中功能和解剖学上分离的视觉通路。1998年，神经学杂志;396:84–104.pmid：9623889
查看文章PubMed/NCBI谷歌学术搜索
25.穆 L， 伊藤 K， 培根 JP， 施特劳斯菲尔德 新泽西.视肾小球及其在果蝇中的输入与触角叶共享组织基础模式。J 神经科学。2012;32:6061–6071.密码：22553013
查看文章PubMed/NCBI谷歌学术搜索
26.Aptekar JW， Keles MF， Lu PM， Zolotova NM， Frye MA.形成视肾小球的神经元计算果蝇中的图形-地面辨别。J 神经科学。2015;35:7587–7599.密码：25972183
查看文章PubMed/NCBI谷歌学术搜索
27.凯尔斯，弗莱马。果蝇中的物体检测神经元。当代生物学. 2017;27:680–687.密码：28190726
查看文章PubMed/NCBI谷歌学术搜索
28.Klapoetke NC， Nern A， Peek MY， Rogers EM， Breads P， Rubin GM， et al.来自径向运动对位的超选择性隐约检测。自然界。2017;551:237–241.密码：29120418
查看文章PubMed/NCBI谷歌学术搜索
29.里贝罗 IMA， 德鲁斯 M， 巴赫尔 A， 马查切克 C， 博斯特 A， 迪克森 BJ.视觉投射神经元介导果蝇中的定向求偶。细胞。2018;174:607–621.邮编：30033367
查看文章PubMed/NCBI谷歌学术搜索
30.St?dele C， Keles MF， Mongeau JM， Frye MA.非规范感受野特性和果蝇特征检测神经元神经调控。当代生物学. 2020;30：2508–2519.e6.密码：32442460
查看文章PubMed/NCBI谷歌学术搜索
31.Klapoetke NC，Nern A，Rogers EM，Rubin GM，Reiser MB和Card GM。果蝇大脑中功能有序的视觉特征图。神经元。2022;110:1700–1711.pmid：35290791
查看文章PubMed/NCBI谷歌学术搜索
32.Zhang X， Liu H， Lei Z， Wu Z， Guo A. 小叶特异性视觉投射神经元参与果蝇运动定义的二阶运动的感知。实验生物学杂志. 2013;216:524–534.密码：23077158
查看文章PubMed/NCBI谷歌学术搜索
33.昆泽T和赞克·视觉检测苍蝇的矛盾运动。J Comp Physiol A. 1991;169:331–340.https://doi.org/10.1007/BF00206997
查看文章谷歌学术搜索
34.赞克·θ运动：探索高阶运动提取的矛盾刺激。1993年愿景研究;33:553–569.密码：8503201
查看文章PubMed/NCBI谷歌学术搜索
35.赞克·关于二次运动处理的基本机制。Philos Trans R Soc Lond B Biol Sci. 1996;351:1725–1736.密码：9004321
查看文章PubMed/NCBI谷歌学术搜索
36.Hassenstein V，Reichardt W.吻甲虫Chlorophanus运动感知的时间，顺序和符号分析的系统理论分析。Z. 自然福施。生于1956年;11:513–524.
查看文章谷歌学术搜索
37.Buchner E. 昆虫空间视觉的行为分析。在：阿里马，编辑。无脊椎动物的光接收和视觉。全会，纽约;1984.第561–621页。
38.Reichardt W. 通过运动检测器评估光学运动信息。J Comp Physiol A. 1987;161:533–547.邮编：3681769
查看文章PubMed/NCBI谷歌学术搜索
39.Eichner H，Joesch M，Schnell B，Reiff DF，Borst A.苍蝇基本运动探测器的内部结构。神经元。2011;70:1155–1164.密码：21689601
查看文章PubMed/NCBI谷歌学术搜索
40.冈村JY，新泽西州施特劳斯菲尔德。书法苍蝇的视觉系统：提供背侧视肾小球的运动和方向敏感的视觉中间神经元。神经学杂志. 2007;500:189–208.密码：17099892
查看文章PubMed/NCBI谷歌学术搜索
41.博斯特 A， 哈格·苍蝇小叶板切向细胞的内在电生理特性：I.被动膜性质。J Computat Neurosci。1996;3:313–336.密码：9001975
查看文章PubMed/NCBI谷歌学术搜索
42.Borst A，Egelhaaf M和Haag J.苍蝇运动敏感中间神经元中增益控制的树突整合机制。J Computat Neurosci。1995;2:5–18.密码：8521280
查看文章PubMed/NCBI谷歌学术搜索
43.加比亚尼F和克拉普HG。尖峰频率适应和已识别的、隐约可见的敏感神经元的内在特性。神经生理学杂志 2006;96:2951–2962.密码：16571737
查看文章PubMed/NCBI谷歌学术搜索
44.程琪， 马萍.昆虫运动视觉神经调控。生理学杂志 A. 2020;206:125–137.密码：31811398
查看文章PubMed/NCBI谷歌学术搜索
45.龙登KD，克拉普HG。在已识别的光流处理神经元中对时间频率编码进行八达胺能调制。前系统神经科学2010;4：153. pmid：21152339
查看文章PubMed/NCBI谷歌学术搜索
46.Jung SN，Borst A，Haag J.飞行活动改变苍蝇运动敏感神经元的速度调整。J 神经科学。2011;31:9231–9237.密码：21697373
查看文章PubMed/NCBI谷歌学术搜索
47.阿伦茨 A， 德鲁斯 MS， 里希特 FG， 阿默 G， 博斯特 A.果蝇运动检测器的时间调谐由其输入元件的动态决定。当代生物学. 2017;27:929–944.pmid：28343964
查看文章PubMed/NCBI谷歌学术搜索
48.Strother JA， Wu ST， Rogers EM， Eliason JLM， Wong AM， Nern A， et al.行为状态调节果蝇的ON视觉运动通路。美国国家科学院院刊，2018年;115：E102–E111。密码：29255026
查看文章PubMed/NCBI谷歌学术搜索
49.Chiappe ME，Seelig JD，Reiser MB，Jayaraman V.步行调节果蝇运动视觉中的速度灵敏度。当代生物学. 2010;20:1470–1475.密码：20655222
查看文章PubMed/NCBI谷歌学术搜索
50.迈蒙G，稻草AD，迪金森MH。主动飞行增加了果蝇视觉运动处理的增益。纳特神经科学。2010;13:393–399.pmid：20154683
查看文章PubMed/NCBI谷歌学术搜索
51.苏弗议员，玛米亚A，迪金森MH。章鱼胺神经元介导飞行诱导的果蝇视觉处理调节。当代生物学. 2012;22:2294–2302.密码：23142045
查看文章PubMed/NCBI谷歌学术搜索
52.龙登KD，克拉普HG。光流处理中间神经元的状态依赖性性能。J 神经生理学。2009;102:3606–3618.pmid：19812292
查看文章PubMed/NCBI谷歌学术搜索
53.Meyer HG， Schwegmann A， Lindemann JP， Egelhaaf M. 不同环境下的全景高动态范围图像;2014. 数据库：比勒费尔德大学。可用： https://pub.uni-bielefeld.de/record/2689637.
查看文章谷歌学术搜索
54.布林克沃思RSA，奥卡罗尔DC。受昆虫生物学启发的自然场景中光流编码的稳健模型。公共科学图书馆计算生物学. 2009;5：e1000555。密码：19893631
查看文章PubMed/NCBI谷歌学术搜索
55.利佩茨·勒。感官强度的生理和心理方面的关系。在：Loewenstein WR，编辑。感觉生理学手册。纽约：纽约：施普林格柏林海德堡;1971.第191–225页。
56.中纪，拉什顿哇。来自鱼类视网膜（Cyprinidae）中光度单位的S电位。生理学杂志 1966;185:587–599.密码：5918060
查看文章PubMed/NCBI谷歌学术搜索
57.Haag J， Arenz A， Serbe E， Gabbiani F， Borst A. 互补机制在飞行中产生方向选择性。电子生活。2016;5：e17421。pmid：27502554
查看文章PubMed/NCBI谷歌学术搜索
58.Leong JCS， Esch JJ， Poole B， Ganguli S， Clandinin TR. 果蝇的方向选择性来自首选方向增强和零方向抑制。J 神经科学。2016;36:8078–8092.pmid：27488629
查看文章PubMed/NCBI谷歌学术搜索
59.格罗施纳 LN， 马里斯 JG， 祖丁加 B， 博斯特 A.单个神经元增殖的生物物理说明。自然界。2022;603:119–123.pmid：35197635
查看文章PubMed/NCBI谷歌学术搜索
60.Mauss AS， Pankova K， Arenz A， Nern A， Rubin GM， Borst A. 神经回路在视野中整合相反的运动。细胞。2015;162:351–362.密码：26186189
查看文章PubMed/NCBI谷歌学术搜索
61.Borst A，Egelhaaf M.吹蝶运动敏感神经元的方向选择性在两阶段过程中计算。美国国家科学院院刊，1990年;87:9363–9367.密码：2251278
查看文章PubMed/NCBI谷歌学术搜索
62.周斌， 李孜， 金 S， 拉弗蒂 J， 克拉克 DA.训练用于检测碰撞的浅层神经网络可以恢复视觉织机选择性神经元的特征。电子生活。2022;11：e72067。pmid：35023828
查看文章PubMed/NCBI谷歌学术搜索
63.Leonhardt A， Ammer G， Meier M， Serbe E， Bahl A， Borst A. 果蝇ON和OFF运动探测器的不对称性增强了真实世界的速度估计。纳特神经科学。2016;19:706–715.密码：26928063
查看文章PubMed/NCBI谷歌学术搜索
64.Shinomiya K， Huang G， Lu Z， Parag T， Xu CS， Aniceto R， et al.果蝇大脑中上边缘和关边运动通路的比较。电子生活。2019;8：e40025。密码：30624205
查看文章PubMed/NCBI谷歌学术搜索
65.潘瑟 K， 蒂里安 L， 舒尔茨 F， 比利亚尔巴 S， 杰弗里斯 GS， 布勒 K， 等.使用 GAL4 表达数据对果蝇神经区室进行自动分割揭示了新的视觉通路。当代生物学. 2016;26:1943–1954.pmid：27426516
查看文章PubMed/NCBI谷歌学术搜索
66.Ache JM， Polsky J， Alghailani S， Parekh R， Breads P， Peek MY， et al.果蝇巨型纤维逃逸途径中隐约可见的大小和速度编码的神经基础。当代生物学. 2019;29:1073–1081.密码：30827912
查看文章PubMed/NCBI谷歌学术搜索
67.田中R，克拉克·通过分析连接组学数据来识别小叶果蝇中视觉投影神经元的输入。电子神经。2022;9：ENEURO.0053-22.2022.密码：35410869
查看文章PubMed/NCBI谷歌学术搜索
68.田中R，克拉克·利用位置几何形状避免碰撞的神经机制。当代生物学. 2022;32:2357–2374.pmid：35508172
查看文章PubMed/NCBI谷歌学术搜索
69.凯尔斯MF，哈德卡斯尔BJ，施泰德勒C，肖Q，弗莱马。果蝇中物体运动检测器的抑制相互作用和柱状输入。细胞代表 2020;30:2115–2124.密码：32075756
查看文章PubMed/NCBI谷歌学术搜索
70.李J， 林德曼JP， Egelhaaf M. 局部运动适应增强了EMD阵列中空间结构的表示。公共科学图书馆计算生物学. 2017;13：e1005919。密码：29281631
查看文章PubMed/NCBI谷歌学术搜索
71.Koenderink JJ， van Doorn AJ.关于光流的事实。生物赛博。1987;56:247–254.邮编：3607100
查看文章PubMed/NCBI谷歌学术搜索
72.Theobald JC， Duistermars BJ， Ringach DL， Frye MA.苍蝇看到二阶运动。当代生物学. 2008;18：R464–R465.密码：18522814
查看文章PubMed/NCBI谷歌学术搜索
73.埃斯科瓦尔-阿尔瓦雷斯 HD， 奥赫拉赞斯基 M， 凯沙万 J， 兰加纳坦 BN， 亨伯特 JS.用于自主小物体检测和避免的生物启发方法。IEEE机器人2019;35: 1220–1232.
查看文章谷歌学术搜索
74.奥卡罗尔DC，新泽西州比德韦尔，劳克林SB，认股权证EJ。与视觉生态相匹配的昆虫运动探测器。自然界。1996;382:63–66.密码：21638927
查看文章PubMed/NCBI谷歌学术搜索
75.Zanker JM，Srinivasan MV，Egelhaaf M.相关类型基本运动探测器中的速度调谐。生物赛博。1999;80:109–116.密码：12440388
查看文章PubMed/NCBI谷歌学术搜索
76.塔梅罗LF，迪金森MH。视觉景观对果蝇黑腹果蝇自由飞行行为的影响.实验生物学杂志. 2002;205:327–343.密码：11854370
查看文章PubMed/NCBI谷歌学术搜索
77.Lewen GD， Bialek W， de Ruyter van Steveninck RR.自然运动刺激的神经编码。网络。2001;12:317–329.密码：11563532
查看文章PubMed/NCBI谷歌学术搜索
78.Stromeyer CF，Julesz B.视觉中的空间频率掩蔽：掩蔽的关键带和扩散。J Opt Soc Am. 1972;62：122L–1232.密码：4643008
查看文章PubMed/NCBI谷歌学术搜索
79.Schwegmann A，Lindemann JP，Egelhaaf M.通过昆虫运动检测系统从光流得出的自然环境中的深度信息：模型分析。前计算机神经科学。2014;8：83. pmid：25136314
查看文章PubMed/NCBI谷歌学术搜索
80.Shoemaker PA，O'carroll DC，Straw AD.速度恒常性和昆虫宽场视觉运动检测模型。生物赛博。2005;93:275–287.pmid：16151841
查看文章PubMed/NCBI谷歌学术搜索
81.Jodoin PM，Piérard S，Wang Y，Van Droogenbroeck M.运动检测方法的概述和基准测试。在：Bouwmans T，Porikli F，Hoferlin B和Vacavant A，编辑。视频监控的背景建模和前景检测。查普曼和霍尔/CRC;2014.第24章。