免费医学论文发表-基于采样的高效贝叶斯主动学习，用于突触表征
抽象
贝叶斯主动学习（BAL）是学习模型参数的有效框架，其中选择输入刺激以最大化观察和未知参数之间的互信息。然而，BAL对实验的适用性有限，因为它需要实时执行高维集成和优化。当前的方法要么太耗时，要么仅适用于特定模型。在这里，我们提出了一个基于高效采样的贝叶斯主动学习（ESB-BAL）框架，该框架足够高效，可用于实时生物实验。我们将我们的方法应用于从突触后响应到诱发的突触前动作电位估计化学突触参数的问题。使用合成数据和突触全细胞膜片钳记录，我们表明我们的方法可以提高基于模型的推理的精度，从而为生理学中更系统和高效的实验设计铺平道路。
作者摘要
优化实验设计是生物学中的一个关键问题。然而，大多数实验仍然依赖于次优设计，这可能无法产生有关所研究系统的足够信息。因此，此类实验通常需要更多观察才能达到一定结果。缓解此问题的有效理论框架称为最优实验设计（OED），其中选择实验方案以减少推断参数的不确定性。然而，OED方法对实际实验的适用性是有限的：它们通常需要计算，对于连续实验来说太长，并且不能推广到不同的模型。在这里，我们开发了一种称为高效采样贝叶斯主动学习（ESB-BAL）的方法，并将其应用于从诱发的突触后电流估计化学突触参数的问题。每次新观察后，可以使用ESB-BAL计算最佳的下一次刺激时间。使用小脑切片中的记录，我们表明我们的方法足够快，可以用于实时生物学实验，并且可以显着降低推断参数的不确定性。实验人员可以通过一个简单的界面轻松使用我们的方法。此外，我们提出的解决方案足够通用，可以适用于不同的实验设置。
数字
Fig 6Fig 1Table 1图2Fig 3Fig 4Fig 5Fig 6Fig 1Table 1图2
引文： 贡蒂埃 C、苏拉斯 SC、德尔文达尔 I、穆勒 M、菲斯特 J-P （2023） 用于突触表征的基于采样的高效贝叶斯主动学习。公共科学图书馆计算生物学19（8）： e1011342. https://doi.org/10.1371/journal.pcbi.1011342
编辑 器： 乌尔里克·拜尔霍尔姆， 英国杜伦大学
收到： 4月 2023， 10;接受： 七月 2023， 21;发表： 2023月 <>， <>
版权所有： ? 2023 贡蒂埃等人。这是一篇根据知识共享署名许可条款分发的开放获取文章，该许可允许在任何媒体上不受限制地使用、分发和复制，前提是注明原作者和来源。
数据可用性： JULIA 文件在以下软件包中可用：https://github.com/Theoretical-Neuroscience-Group/BinomialSynapses.jl 数据和分析文件在以下软件包中可用：https://github.com/camillegontier/data_analysis_ESBBAL。
资金： 本文中介绍的工作得到了瑞士国家科学基金会（https://www.snf.ch/en）的支持，资助号31003A_175644为“贝叶斯突触”，由JPP获得，资助号P500PM_210800为“通过贝叶斯推理提高脑机接口的精度，稳定性和鲁棒性”，并由CG接收。资助者在研究设计、数据收集和分析、发表决定或手稿准备方面没有任何作用。
竞争利益： 提交人声明不存在相互竞争的利益。
介绍
在神经科学、机器学习和统计学中，一个核心问题是推断模型的参数 θ 。例如，在监督学习中，人们可能想要学习深度神经网络 （DNN） 的参数，以尽量减少其输出和训练标签之间的差异;在本例中，表示要训练的 DNN，θ 表示其权重和偏差。同样，在生物学中，可以通过将生物物理模型拟合到记录的观测结果来研究系统的参数。在大多数情况下，这些参数既不能直接测量也不能分析计算，而是可以使用系统y的记录输出作为对输入刺激x的响应来推断。在生物学中，系统（例如器官、细胞或突触）的物理量可以通过推导系统的生成生物物理模型来估计，并通过将其参数 θ 拟合到观察到的对实验输入的反应 y x。通过计算给定输入和参数 p（y|x， θ），可以获得基于点的参数估计，例如最大似然参数 θ毫升或最大 a 后验参数 θ地图 [1]，或计算完整的后验分布 p（θ|x， y） ∝ p（y|x， θ） 例如使用大都会-黑斯廷斯 （MH） 算法 [2]。
然而，这些估计的准确性关键取决于对（x，y），特别是连续输入刺激x = x1：吨被选中。例如，在非独立和相同分布（i.i.d.）训练示例（即阻塞训练）上训练DNN将导致灾难性的遗忘[3]。另一方面，大多数生物学实验仍然依赖于预定义和非自适应输入x1：吨，这可能无法产生有关所研究系统真实参数的足够信息。因此，实验往往需要更多的观察或重复才能达到一定的结果，这增加了他们的成本、时间和对受试者的需求。
缓解此问题的有效框架称为贝叶斯主动学习（BAL）。知道参数的当前估计值，实验方案（即下一个输入 xT+1）可以动态优化，以最大化记录和参数之间的相互信息（图1C）。BAL是最优实验设计（OED）理论的一个分支[4-6]。它已经在神经科学中用于推断广义线性模型（GLM）[7]的参数，线性非线性泊松（LNP）编码模型中的非线性[8]，神经元的感受野[9]或隐马尔可夫模型（HMM）的参数[10]。
缩略图 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图1.
答：性病二项式突触模型。在化学突触中，突触前末端的特征在于存在含有神经递质分子的N个囊泡，nt它们处于易于释放的状态[23]。在突触前尖峰到达时，这些囊泡将与质膜随机融合，并将其神经递质释放到突触裂隙中。在尖峰 t 之后，kt囊泡（出 nt在容易释放的池中可用的）以概率 p 释放它们的神经递质。神经递质将与突触后受体结合：单个释放事件触发定量反应q。记录的总突触后电流yt（即系统的输出）是 k 的影响之和t发布事件。释放后，囊泡补充一定的时间常数τD，这决定了短期抑郁症。B：突触和IO-HMM的建模[10]。C：贝叶斯主动学习应用于生物学。在每个时间步，记录系统（例如这里的突触）对人工刺激的反应。这个观察 yt由滤波器用于计算参数 P（θ|x1：吨， y1：吨).给定此后验，控制器然后计算下一个输入，以最大化下一个观测值的预期信息增益。在经典实验设计中，输入 x1：吨在录制之前定义和固定。
https://doi.org/10.1371/journal.pcbi.1011342.g001
然而，在生物环境中实施 BAL 可能具有挑战性，尤其是对于实时应用。它对实际实验的适用性受到两个主要缺点的限制。首先，它需要计算每个时间步后参数后验分布的更新，并使用它来计算未来实验的预期信息增益。这涉及在可能的高维刺激空间上求解优化问题：当前的方法要么太耗时，要么仅适用于特定模型。其次，为了降低计算复杂度，BAL的经典实现通常只针对下一个激励输入进行优化。这种经典的近视方法忽略了实验中的所有未来观察结果，因此可能是次优的[6，11，12]。
我们的主要贡献是为近似在线主动学习提供一个通用框架，称为基于高效采样的贝叶斯主动学习（ESB-BAL）。我们使用粒子过滤，这是一种高度通用的过滤方法[13]，用于后验计算;并提出了并行计算实现[14，15]，以实现高效的后验更新和信息计算。虽然以前的主动学习实现要么依赖于耗时的蒙特卡罗（MC）方法[16，17]，要么仅适用于特殊情况，例如线性模型或GLM [7]，但我们提出的解决方案足够快，可以用于实时生物实验，并且可以应用于任何状态空间模型。
为了说明我们的方法，我们将其应用于推断具有短期抑郁症（STD）的化学突触参数的问题。当突触前动作电位到达时，来自N个独立释放位点池的囊泡将以概率p与突触前质膜融合，这些释放事件中的每一个都产生量子电流q[18，19]。此外，突触传递也是动态的。当刺激间期短于突触囊泡补给所需时间时，会发生短期抑郁[20]。因此，表现出STD的突触可以通过其参数N，p，q及其抑制时间常数来描述。这些参数可以使用从突触后细胞记录的兴奋性突触后电流（EPSC）来推断，并通过刺激突触前轴突引发。这些估计的准确性关键取决于突触前刺激时间：如果刺激间隔长于抑郁时间常数，则STD将无法精确量化。但如果刺激频率太高，突触前囊泡池就会耗尽，导致参数估计不佳[21，22]。因此，突触表征是 ESB-BAL 的一个相关示例应用，因为它需要仔细调整输入 x1：吨，在这种情况下对应于刺激间隔（即输入 xt是刺激数 t ? 1 和 t 之间的时间间隔）;但这也是一个具有挑战性的问题：计算需要比典型的ISI更快，后者可能在几毫秒左右。使用合成数据，我们表明，与传统使用的非自适应刺激方案相比，我们的方法可以显着降低估计的不确定性。我们还表明，可以通过为较长的ISI添加惩罚项来优化整个实验的信息增益速率（以bit/s为单位）。最后，我们将主动学习扩展到非近视设计。使用从小脑苔藓纤维到急性小鼠脑切片的颗粒细胞突触的记录，我们表明我们的框架对于优化实验中的即时下一个刺激，而且可以优化未来的刺激。
结果
贝叶斯主动学习的一般设置
在顺序实验中使用主动学习时，需要定义三个关键要素（图1C）：
待研究的系统：它由生成模型描述，其参数θ可以从其观察到的响应y1：吨到一组 T 输入刺激 x1：吨.鉴于生物学中研究的大多数系统的随机性质，随机变量 Y1：吨对应的观测值可以取各种值 y1：吨根据分布 p（y1：吨|x1：吨， θ）。在我们的BAL应用示例中，该系统将是二项式神经递质释放的模型（参见系统：神经递质释放的二项式模型）。
一个过滤器，用于计算给定先前输入和观测值 p（θ|x1：吨， y1：吨）：在每个新输入 x 之后T+1和观察 yT+1，则更新得到 p（θ|x1：T+1， y1：T+1）（请参阅过滤器部分：参数后验分布的在线计算）。
计算下一个最优输入刺激以最大化某个效用函数的控制器，该函数通常定义为参数随机变量 Θ 和响应随机变量 Y 之间的互信息T+1给定实验输入，其中 ht = (x1：吨， y1：吨）是实验历史（参见控制器部分：最佳下一次刺激时间的计算）。
在本文中，我们对随机变量使用大写符号，对它们可能采用的特定值使用小写表示法（表1）。例如，Θ是对应于系统隐藏参数的随机变量，而θ描述了这些参数的特定值。同样，Yt是对应于系统在时间步长 t 处的输出的随机变量，而 yt是在时间步长 t 处观察到的实际值。因此，H（Θ） 将表示随机变量 Θ 的熵，而 p（Θ = θ） 是 Θ 取特定值 θ 的概率。为简单起见，我们经常使用较短的符号 p（θ） 表示 p（Θ = θ）。 这种区别至关重要，例如在方程 3 中，在给定未来观测的特定实现的情况下，将条件熵与其值区分开来。
缩略图 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
表 1. 符号。
https://doi.org/10.1371/journal.pcbi.1011342.t001
在突触表征中，输入对应于一组 T 刺激乘以 x1：吨和观测对应于记录的兴奋性突触后电流（EPSC）y1：吨.在连续实验[9]的情况下，参数与下一个观测值Y之间的互信息T+1以实验历史 H 为条件t是：
(1)
其中 H（Θ|ht） 是给定实验历史的 Θ 的熵，直到时间步长 t：
(2)
和
(3)
是给定未来观测随机变量 Y 的 Θ 的条件熵T+1.由于未来观测值的实际值是未知的，我们取 y 的平均值T+1以某个值 y 为条件的条件熵T+1.由于预测分布取决于未知参数，我们还必须使用当前后验分布 p（θ|ht） 在时间 t [7]：
(4)
贝叶斯主动学习的目标是选择下一个刺激，以最大化参数和所有未来观察之间的互信息：
(5)
其中 是时间步 T + 1 处的可能输入集，是从时间步长 T + 2 到 T + N 的刺激的可能协议集。这组协议包括所有刺激约束，例如实验的剩余时间或最小刺激间隔时间。优化所有未来的输入是一个棘手的问题（特别是对于在线应用程序），因为算法复杂性与观察数n呈指数级增长。因此，BAL仅针对下一个刺激进行优化（一种称为近视设计的方法）（见图1C）：
(6)
已经提出了不同的方法来计算方程6。可以采用蒙特卡罗（MC）方法[16]或变分方法[17]，但它们通常需要较长的计算时间，如果连续实验之间的时间很短，则可能是不切实际的。闭式解或近似只能针对某些特殊情况计算，例如线性模型或GLM [7]。
系统：神经递质释放的二项式模型
为了说明我们的 ESB-BAL 框架，我们将其应用于估计化学突触参数的问题，该突触表示为具有不可观察的隐藏状态和输入相关状态转换的状态空间模型。描述化学突触中神经递质释放的经典模型称为二项式模型[1，2，19-21，24，25]。 根据该模型，突触被描述为具有以下参数的输入输出隐马尔可夫模型（IO-HMM [10]）（单位在方括号中给出，另见图1A）：
N（突触前独立释放位点的数量[-]）;
p（突触前尖峰到达时的释放概率[-]）;
q（一个释放事件在突触后细胞中引发的电流量[A]）;
σ（记录噪声的标准偏差[A]）;
τD（突触囊泡补给的时间常数[s]）。
变量 nt和 kt分别表示在尖峰 t 时刻处于易释放状态的可用囊泡数（0 ≤ nt≤ N）和囊泡数量（其中nt） 在尖峰 T 之后释放（0 ≤ kt≤ nt).为简单起见，我们使用符号 pθ（?） = p（?|θ） 与 θ = [N， p， q， σ， τD] 和 zt? （nt， kt） 来引用时间步 t 中的隐藏变量。
总而言之，突触被建模为IO-HMM，其中：
输入 xt指自上次刺激以来的时间间隔，即尖峰间间隔;
隐藏状态变量 zt? （nt， kt） 包括紧接在尖峰 T （nt∈ {0， ...， N}） 和相应的释放囊泡数 （kt∈ {0， ...， nt});
可观察变量 yt是由尖峰T引起的突触后电流的记录值。事实上，突触后被连续监测：具体值yt计算为尖峰T之后的峰值幅度（参见材料和方法）。
记录一组 T EPSC p 的概率θ(y1：吨） 计算为观测值 y 的联合分布的边际1：吨和隐藏变量 z1：吨，即，其中联合分布 pθ(y1：吨， z1：吨) = pθ(y1：吨， n1：吨， k1：吨） 由
(7)
哪里
(8)
是发射概率，即记录输出 y 的概率t知道 Kt囊泡释放神经递质;pθ(kt|nt） 是二项分布，表示给定 n 的概率t可用囊泡，Kt它们确实会释放神经递质：
(9)
最后，pθ(nt|nt?1， kt?1， xt）表示囊泡补给的过程。在时间间隔 xt，每个空囊泡可以重新填充一个概率，使得转移概率pθ(nt|nt?1， kt?1， xt） 由下式给出：
(10)
可以注意到 nt = nt?1? kt?1 + vt，其中 vt～ Bin（N ? nt?1 + kt?1， π（xt）） 是时间间隔 x 内重新填充囊泡的数量t.方程 7 到 10 定义了所研究系统的观测模型（见图 1），即一组观测值的概率 y1：吨给定一个刺激 X 的向量1：吨和参数 θ 的向量。
过滤器：参数后验分布的在线计算
为了适用于在线实验，滤波块，它将计算参数p（θ|ht），需要满足两个要求：
它必须具有足够的通用性，才能应用于不同的系统和模型;
它必须是在线的（即它的算法复杂性不应随着观察次数的增加而增加）[26]。
一个有希望的解决方案是粒子滤波[27]，尤其是嵌套粒子过滤器（NPF）[13]。该算法是渐近精确且纯递归的，因此允许在获取记录时直接估计HMM的参数。
NPF 依赖于两个嵌套的粒子层来近似模型的静态参数 θ 及其隐藏状态 z 的后验分布t.使用带粒子的第一外滤波计算参数p（θ|ht），对于这些粒子中的每一个，都有一个带有 M 的内部过滤器在粒子用于估计相应的隐藏状态 zt（因此系统中的粒子总数为 ）。在每次新的观测之后，这些粒子根据它们各自的可能性重新采样，从而更新它们的后验分布（S1图）。
NPF最初是为静态HMM提出的，其中状态转移概率p（zT+1|Zt， θ） 应该是常数。在这里，我们将其扩展到更通用的输入输出隐马尔可夫模型（IO-HMM，在神经科学中也称为GLM-HMM，参见[10]），其中时间步长t的状态转移概率取决于外部输入xt.例如，我们的突触模型中的状态转换不是静止的，而是取决于ISI xt.
过滤器（流程 1）依靠以下近似值递归计算每个粒子的可能性。一旦观察 yt已被记录，粒子的可能性，与 ，取决于
(11)
跟
(12)
如果抖动核 κ（它使样本发生突变以避免粒子简并和局部解，请参阅材料和方法）的方差足够小，因此如果 ，则近似允许将方程 12 近似为 ，因此可以递归计算方程 11。在实践中，方程 12 中的不同项是这样计算的：对应于算法 1 的似然步骤; 对应于传播步骤;对应于时间 t ? 1 处隐藏状态的分布。
与以前仅适用于特定模型的快速后验计算方法[7]相反，我们的滤波器可以应用于任何状态空间动力系统，包括非平稳和输入相关的系统。此外，它不需要将后验近似为高斯，也不需要耗时（可能不稳定）的数值优化步骤，同时具有高度并行化和效率[14，15]。
算法1：粒子滤波，用于计算参数后验分布的一步更新
输入： ， ， xt， yt;
对于我在 1 ...米外 做
抖动：更新外部粒子;
对于 j 在 1 ...米在 做
传播：绘制和
可能性：计算;
结束
规范化：;
内部颗粒重采样：基于重新采样;
结束
计算;
规范化：
外部颗粒重采样：重新采样并基于;
输出： ，
控制器：计算最佳下一次刺激时间
实验设计优化的目标是最小化估计值的不确定性（通常使用熵量化），同时降低实验成本（定义为所需的试验、样本或观测值的数量）。最大化互信息（即最小化由熵测量的θ的不确定性）的最佳下一个刺激可以从方程1，3和6写成
(13)
方程 13 需要计算 θ 和 y 上的两个（可能是高维）积分T+1，其封闭式表达式仅存在于特定模型。为了避免长时间的MC仿真，我们建议使用平均场计算，并用基于点的近似代替积分。首先，而不是计算 p（θ|ht），我们将 θ 设置为其 MAP 值。可以使用其他估计器，例如平均后验值（可以方便地近似为 ）。对于采用整数值的参数（如 N），此均值后验可以舍入到最接近的值。方程 13 因此变为
(14)
根据所研究系统的性质和实验的时间限制，还可以使用不同的估计器，例如。需要注意的是，后验分布 p（θ|ht） 仅简化为狄拉克分布 δ（θ ? θ t） 这里（为了获得 θ 的基于点的估计并简化 y 上积分的计算T+1），但不用于计算计算熵（见下文）。其次，我们没有计算对未来观测值的全部期望，而是设定了yT+1达到其预期值;方程 13 因此变为
(15)
在一般情况下，可以使用贝叶斯正交[28]进行计算。更具体地说，对于我们的化学突触模型，可以使用平均场近似有效地推导出期望值的分析公式（参见囊泡动力学的平均场近似部分）。对于每个候选人 xT+1在给定的有限集合中，熵可以用算法1来计算。
最后，出于计算效率的原因，我们不是实际计算后熵，而是在任何时间步长t使用这个后熵的上限，即，其中Σt是粒子的协方差矩阵。实际上，给定协方差矩阵 Σ 的最大熵分布t和给定的平均μt正是熵为的高斯分布。应该记住，在大量数据的极限下，后验分布将收敛到高斯分布[29]。因此，在大量观测之后，上限将很紧。请注意，此成本函数以前已在贝叶斯主动学习中使用过[10]。因此，通过最小化从以下位置得出的粒子的协方差矩阵的行列式，15 中的熵近似最小化：
(16)
第一个设置：减少给定观测值数量的估计值的不确定性
从实验主义者的角度来看，一个高度相关的问题是如何优化刺激方案，使测量的EPSC对突触参数的信息最丰富。先前的研究表明，一些刺激方案比其他方案信息量更大，但忽略了易于释放的囊泡数量的时间相关性[30]，或者没有计算哪种方案信息量最大[1]。在经典确定性实验方案中，刺激乘以x1：吨在录制之前定义和固定。相比之下，主动学习在记录数据时动态优化协议。
图7A显示了真实参数N* = 0、p* = 6.1、q* = 0 pA、σ* = 2.2 pA和s（即[2]中使用的同一组参数θ*）的模拟实验结果。在这里，我们将 ESB-BAL 与三种确定性协议进行比较：
在恒定协议中，突触以恒定频率探测，即xt= CST;
在统一协议中，ISI 统一从一组候选 x 中抽取t由等距分隔的值组成，范围从 x最小= 0.005s（即比 [1] 中使用的最短 ISI 短一个数量级）到 x.max，即;
最后，在指数协议中，ISI 是从平均值 τ 的指数分布中提取的。与具有恒定ISI的周期性棘突序列相比，这种协议已被证明可以更好地估计突触参数[1，30]。
缩略图 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图2. 第一个设置：减少给定数量的观测值的估计值的不确定性。
A：不同刺激方案的θ后验分布熵与观测次数的关系。合成数据是从具有真实事实参数 N* = 7、p* = 0.6、q* = 1 A、σ* = 0.2 A 和 s [2] 的突触模型中生成的。跟踪显示平均超过 400 次独立重复。阴影区域：平均值的标准误差。B：相同模拟的RMSE。C：ISI 的直方图和散点图以及 ESB-BAL 模拟的相应计算时间。请注意，74毫秒的中位数计算时间（水平红线）对应于测试 64 个候选间隔所需的时间：因此，每个测试间隔大约需要 1.16毫秒。
https://doi.org/10.1371/journal.pcbi.1011342.g002
这些确定性协议的效率将取决于它们各自的参数化。为了保守地评估 ESB-BAL，我们优化了 x 的值t， x.max和 τ，以便常数、均匀和指数协议对于所使用的真实地表参数 θ* 具有最佳性能。S2 图显示了使用常量（顶部）、均匀（中间）或指数（底部）协议进行 200 次观测后，针对其超参数的不同值的平均最终熵减少（即信息增益）。然后将这些确定性协议（具有各自的最佳参数化）与 ESB-BAL 进行比较。
对于不同的协议，参数后验分布的平均（超过100次独立重复）联合微分熵被绘制为观测值数量的函数（图2A）。ESB-BAL允许减少给定数量的观测值的参数估计的不确定性（由熵测量）。应该注意的是，它与确定性协议进行比较，后者各自的超参数已离线优化，知道 θ* 的值。在真实的生理学实验中，经典协议是非自适应的，并且使用（可能是次优的）默认参数定义。相比之下，在主动学习中，协议在记录数据时会动态优化，其性能将不依赖于先前的参数化。因此，通过 ESB-BAL 实现的近似最优设计优于最佳常数、均匀和指数协议。有趣的是，它还优于非参数优化设计（S3 Fig）。
我们还验证了ESB-BAL不会导致θ的偏差估计，因为它的平均RMSE优于其他协议（图2B）。此外，对于每个协议，我们评估估计参数是否与保留数据匹配。在 t = 100 个观测值后获得参数的估计值，并计算其可能性，最大为 t = 200 的观测值。图 2B 中的插图显示了图 50A 中协议重复 2 次的平均负对数似然：常量（蓝色）、均匀（橙色）、指数（绿色）和 ESB-BAL（灰色）。结果显示，统一、指数和 ESB-BAL 协议的保留数据的估计参数的拟合优度没有显著差异。有趣的是，对于估计参数，常量协议产生更高的可能性，但更高的RMSE。这意味着，对于该协议，估计参数非常适合数据，但所述数据的信息量不足以准确推断参数的地面真实值。
最后，我们验证了ESB-BAL对于在线应用程序来说足够快，因为计算时间仅在一小部分情况下超过ISI（图2C）。对于不同的真实参数集合 θ*（S4 图），或者仅针对特定参数的熵进行优化时（S5 图），可以观察到类似的结果。
ESB-BAL的计算效率是通过实现控制器所需的计算近似来实现的。为了评估方程 14 和 15 中的样本近似对准确性的影响，我们将 ESB-BAL 与精确主动学习进行了比较，其中方程 13 是使用 MC 样本精确计算的（图 3）。在 ESB-BAL （MC θ） 中，从 p（θ|ht），以及相应的基于点的 y 估计值T+1使用等式 23 计算，如等式 15。此外，在 ESB-BAL （MC θ， y） 样本中，用于计算 y 上的期望值T+1通过从内部颗粒中随机采样来抽取（参见材料和方法）。这表明算法 2 中用于在线主动学习的近似值对性能的影响很小。
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图3. 评估基于点的近似对 ESB-BAL 精度的影响。
设置与图2相同。在 ESB-BAL （MC θ） 中，方程 13 中 θ 上的积分是使用 MC 样本计算的，而不是方程 14 中描述的基于点的近似。在 ESB-BAL （MC θ， y） 中，θ 和 y 上的两个积分T+1方程 13 中的 是使用 MC 样本计算的，而不是方程 14 和 15 中描述的基于点的近似值。
https://doi.org/10.1371/journal.pcbi.1011342.g003
第二种设置：降低给定实验时间内估计值的不确定性
对于给定数量的观测值，主动学习可以提高估计参数的可靠性。然而，在其经典实现中，只有下一个刺激输入被优化，而不考虑实验中的所有未来观察（参见方程 5 到 6 的近似值）。因此，这种近视的方法并不理想。此外，神经生理学实验不仅受到观察次数的限制，还受到实验总时间的限制。由于细胞活力和记录稳定性在实验过程中可能会受到限制，因此还需要考虑实验方案的总时间。在这里，为了考虑实验的总时间，并全局优化单位时间的信息增益，我们可以回到方程 6 中的互信息表达式，并使用链式规则将其重写为以下总和：
(17)
其中方程 17 的 r.h.s 上的第一个项是保留在方程 6 中的“近视项”，而第二个项是“非近视项”，描述了由于所有未来事件（从 t + 2 到 t + n）而导致的信息增益，但仍取决于 x T+1.计算这个“非近视术语”在计算上是令人望而却步的。但是，与其简单地忽略它，我们可以近似它。如果我们做出（相当强的）假设，即未来的信息增益是以恒定速率η（以比特/秒为单位）获得的，那么剩余时间内的信息增益由下式给出 其中常数c与x无关T+1.有了这个假设，我们可以将主动学习的更新公式（参见方程13中的原始公式）表示为：
(18)
其中 ηxT+1作为较长 ISI 的处罚期限。假设的未来信息速率η对参数后验分布熵的影响如图4A所示。正如预期的那样，在方程 13 中添加惩罚项会降低推断参数的精度。信息增益的丢失随着惩罚权重η而增加。然而，增加η也会提高信息增益的速度，如图4B所示。因此，根据实验的可用时间，可以调整η，以便在长期精度（图4A）和信息速率（图4B）之间找到权衡。
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图4. 第二种设置：降低给定实验时间内估计的不确定性（惩罚长ISI对参数估计不确定性和信息增益率的影响）。
A：后熵H（Θ|ht） 作为方程 18 中不同η值的刺激数 t 的函数。设置与图2相同。B：相同的结果，但显示为时间的函数。插图：10 秒后熵与时间曲线（即信息速率）与η的斜率。
https://doi.org/10.1371/journal.pcbi.1011342.g004
到目前为止，我们做出了一个强有力的假设，即η是恒定的，这是有问题的，原因有两个。首先，它不准确（后熵不会在时间上线性衰减，如图4B所示），其次，它需要在实验开始前选择η。为了同时规避这两个问题，我们实现了信息速率的自适应估计：
(19)
其中 ΔHt = H（Θ|ht?1） ? H（Θ|ht） 是熵的增益，α是估计信息速率的学习率ηt.如图4所示，自适应估计信息速率比固定η提供更好的性能。
第三种设置：批量优化和应用于神经记录
为了降低计算复杂性，顺序实验设计的经典实现通常只针对下一个观察进行优化，如图 2、3 和 4 所示。然而，对于某些系统来说，不仅要优化下一个刺激，而且要优化实验的下一个n个刺激（见方程5）[6，12]，这可能是至关重要的。突触表征是一个有说服力的例子：事实上，STD只能在特定组织的刺激时间批次中观察到，其中突触前囊泡池首先被高频刺激耗尽，然后使用增加的ISI探测其再填充率。此外，应该注意的是，根据实验设置，优化未来刺激的批次通常比优化每个未来的刺激更简单。事实上，一些实验设备（例如用于突触刺激的放大器）不允许在线闭环输入计算，而只接受编程的输入批次。因此，批量优化可以规避硬件限制。
在探测突触前细胞时，神经科学家通常使用重复的棘突序列，包括破伤风刺激阶段（用于消耗突触前囊泡的持续高频刺激），然后在增加ISI处出现恢复峰值，以探测STD时间常数[31]。这些尖峰序列（特别是破伤风期的持续时间和频率，以及恢复峰值之间的ISI）通常没有优化，并且在整个实验中保持不变。在这里，我们展示了ESB-BAL可用于将主动学习扩展到非近视设计（即优化不限于下一个事件的时间，而是考虑下一个输入模拟的n个）。已经提出了这种方法，以便能够选择信息量最大的刺激序列，从而避免一次只选择一个刺激的缺点[11]。
这里应该强调的是，当n很大时，系统地搜索n维空间在计算上是禁止的。因此，我们将优化限制在由3个参数参数化的低维子空间，详见图5A的标题。候选批次的定义如下：
n 是刺激的总数;
m < n 是破伤风刺激阶段的尖峰数;
f 是它们的频率;
x最后表征回收峰值的分布（有关详细信息，请参阅材料和方法）。
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图5. 第三个设置：批量优化。
答：如何定义算法 3 中的元素的示意图。选择它们来跨越 3 个参数：破伤风刺激阶段尖峰的数量 m < n、破伤风刺激阶段尖峰的频率 f 以及最终恢复 ISI 的持续时间。B：使用真实参数 N* = 47、p* = 0.27、q* = 2.65 pA、σ* = 1.32 pA 和 s（即图 6B 中研究的一个示例单元格的 MAP 值）的模拟实验。
https://doi.org/10.1371/journal.pcbi.1011342.g005
因此，一组候选批次是通过跨越 m、f 和 x 的不同值来定义的最后.算法 3 是算法 2 的推广，用于选择集合中的下一批 n 个刺激。每 n 个观测值，使用过滤器的 n 次迭代（即算法 1）计算，以便选择最小化数量的最佳下一批（即给定时间 t 之前的所有观测值的时间步长 t + n 的参数的后熵）：
(20)
图5B显示了比较4种不同方案的模拟实验结果：
确定性（长）协议包括重复由f = 100Hz（破伤风期）的m = 100刺激组成的尖峰序列，然后以增加的间隔进行6个恢复脉冲。因此，长协议由 n = 106 个尖峰组成;
确定性（短）协议类似于确定性（长），只是其破伤风期仅由m = 20个脉冲而不是100个脉冲组成（因此由n = 26个尖峰组成）;
ESB-BAL（近视）优化每个刺激，如图 2、3 和 4 所示;
ESB-BAL（batch）执行批量优化，如上所述：每观察n个，集合中计算下一批n个刺激。
可以提出几点意见。首先，确定性（长）协议的表现优于其短协议，因为后者在给定数量的刺激下产生更大的熵下降。直观地，这突出了除了第一个尖峰之外，破伤风期（类似于图2中的恒定刺激）几乎没有关于未知参数的信息，并且一些高频刺激和恢复尖峰足以有效地探测突触。其次，批量优化优于近视优化，表明突触参数推断不仅受益于优化下一个刺激，而且受益于优化实验的下一个n个刺激。最后，ESB-BAL（批处理）的性能并不优于确定性（短）协议，这可能是因为后者是专门为研究STD而量身定制的，并且已经通过反复试验进行了定义和优化。请注意，在破伤风刺激阶段，后熵可能会增加，如突触表征的粒子过滤部分所述。
我们通过将其应用于急性小鼠小脑切片中从苔藓纤维到颗粒细胞突触连接的EPSC记录来验证我们的方法（图6A），这使其抑郁性质（S6图）使它们与我们的理论模型非常匹配。每个突触都使用确定性（长）、确定性（短）和 ESB-BAL（批处理）协议连续刺激。对于每个刺激方案，使用Metropolis-Hastings算法离线计算参数的后验分布。图6B显示了，对于不同数量的观测值t，在所有研究突触中比较确定性（长）协议与ESB-BAL时的信息增益（即确定性协议后的熵减去ESB-BAL之后的熵）：使用ESB-BAL时，正值表示熵较低。我们的实验结果与模拟一致（图5B），因为ESB-BAL在实验开始时（即当t为低时）优于确定性（长）协议，但优于确定性（短）协议（S7图）。
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图6. 应用于神经记录。
答：左：研究了来自小鼠急性小脑切片的苔藓纤维到颗粒细胞突触连接。它们中的每一个都使用连续确定性协议和ESB-BAL进行刺激。右：细胞外苔藓纤维刺激下颗粒细胞记录的突触后电流轨迹示例。B：在所有研究突触中比较确定性（长）协议与 ESB-BAL时的信息增益（即确定性协议后的熵减去 ESB-BAL 之后的熵）。使用 ESB-BAL 时，Δ 熵的正值表示熵较低。显示不同观测值数量 t 的结果。测试：回归分析（p = 0.0381），比较确定性（长）和ESB-BAL之后的熵，t = 52到t = 104（有关详细信息，请参阅材料和方法）。
https://doi.org/10.1371/journal.pcbi.1011342.g006
讨论
我们开发了一种称为高效采样贝叶斯主动学习（ESB-BAL）的方法，用于近似最优实验设计。使用粒子滤波，ESB-BAL选择下一个实验设计，以最大化实验输出与所研究系统常数之间的近似互信息。为了验证它，我们将ESB-BAL应用于从突触前刺激引起的突触后电流估计化学突触常数的问题。每次新观察后，可以使用ESB-BAL计算最佳的下一次刺激时间。使用合成数据和小脑切片中的突触全细胞膜片钳记录，我们表明我们的方法足够高效和快速，可用于实时生物学实验，并且可以减少推断参数的不确定性。
为了便于说明，我们将ESB-BAL应用于估计表征化学突触的参数的特定问题。然而，我们认为我们的框架足够通用和有效，可以适用于广泛的系统和研究领域。特别是，我们的嵌套粒子过滤器扩展可以应用于任何状态空间系统，甚至是时变系统。此外，由于嵌套粒子滤波器对时变参数和模型不确定性具有鲁棒性[13]，我们相信我们提出的解决方案将特别适用于神经生理学实验或临床应用，例如优化用于治疗帕金森病的深部脑刺激（DBS）[32，33]。
我们预计主动学习对涉及活细胞或受试者的神经生理学实验特别有益。通过减少获得某种结果所需的样本数量，或者通过提高信息获取的效率，我们可以降低实验的成本和对动物受试者的需求。一个可能的负面影响是，提高神经生理学实验的相对效率可能会导致更大的应用领域，因此对动物实验的需求更大，类似于杰文斯悖论[34]。
我们的方法有一些改进的余地。使用粒子滤波的一个明显缺点是，它需要非常多的粒子来提供低方差估计值，因为近似误差仅随着粒子数的平方根而减小。更一般地说，有效地将粒子滤波应用于任何统计模型的可能性，无论其状态变量和观测值的维度如何，仍然是一个悬而未决的问题，因为缺乏以固定方式将收敛率和状态数量联系起来的一般理论结果。将我们的 ESB-BAL 框架应用于其他模型和实验设置的可能性应首先通过仿真进行验证。此外，未来的理论工作应侧重于在使用主动学习时获得估计器收敛的结果。当观察值是独立且相同分布（i.i.d.）时，主动学习将给出参数的无偏估计，其方差将随着观察次数的增加而减小[29]。这种理论结果对于具有相关输出的系统（例如所研究的突触模型中的EPSC）缺乏，可能导致信息饱和[35]或有偏差的估计。
对于实验应用，选择新刺激所需的时间至关重要。对于这里研究的系统尤其如此，因为选择的下一个ISI不应短于计算它所花费的时间。因此，近似但快速的过滤算法比精确过滤方法（如前向算法）更有用。NPF 的粒子性质和递归结构（使其计算高效）是通过近似滤波步骤（在抖动核的小方差限制下有效）来实现的，如过滤器部分所述：参数后验分布的在线计算。这是以近似误差为代价的，与其他粒子滤波方案（如SMC2方法）相比，近似误差随着所用粒子数量的增加而降低得更慢[36]。根据实验的约束条件，在估计参数p（θ|ht） 可以通过实施不同的滤波方案进行调整。
作为应用示例，我们使用ESB-BAL来推断化学突触的理想化模型的参数，该模型依赖于几个假设和简化。也就是说，它假设由单独的囊泡释放引起的突触后电流线性增加，因此kt囊泡开口为 QKt.这一假设忽略了可能的突触前异步释放和突触后受体饱和。有证据表明我们在实验中研究的突触的量子线性求和[37]，但这可能不适用于其他突触。此外，它还假设突触前释放位点是均匀的，并且共享相同的p，q和τ值。D.最后，它只考虑诱发释放和单突触连接。这些假设已被广泛用于最近的突触传递模型，因为它们允许进行可处理的分析，同时仍然反映实际观察到的细胞动力学[1，2]。未来的实验工作应侧重于对不同和更复杂的化学突触模型实施ESB-BAL，包括例如短期促进[1，2，21，30，38]或囊泡内容变异性[39，40]。
对于图 6B 中的某些记录，使用 ESB-BAL 而不是确定性协议的好处似乎并不重要。对于某些突触连接（例如图6B中的负值），ESB-BAL甚至为θ的后验分布产生更高的熵。可以提出不同的解释。首先，经典使用的确定性协议（20Hz时100个刺激，然后在增加ISI时出现6个恢复尖峰，见图6A）可能已经提供了关于突触参数的充分信息。对于这些协议，破伤风刺激阶段和较长的扫描间隔允许估计隐藏状态n的值t和 kt具有高精度，有助于估计突触参数[1]。此外，已知不同ISI的恢复峰值比恒定刺激频率更能说明突触的动力学[30]。其次，将ESB-BAL用于某些突触连接的小好处可能是由于模型不匹配问题，因为方程7到10定义的模型可能并不完全代表所研究突触的基本机制。虽然苔藓纤维到颗粒细胞突触被认为是抑制突触的好例子，但我们简化的模型忽略了突触传递的几个方面，如促进、突触后饱和或突触前囊泡异质性[37，41，42]。这些假设可以解释为什么 ESB-BAL 在模拟中的表现比在实际实验中更一致。
未来研究的一个有趣领域是使用贝尔曼方程的框架将最优实验设计表述为最优控制问题[43，44]。这个多阶段优化问题可以通过定义相关的贝尔曼方程来精确地求解，其中 I（Θ;Y1：吨） 是目标函数，当前观测值 yt是状态，输入 xt是控件，其中最优策略确定下一个输入 xT+1.这种方法将允许考虑剩余的可用实验时间。主动学习已被成功地框定为深度强化学习问题，以在手动注释的预算有限时选择应使用哪些样本来训练自然语言处理模型[45]。可以在高资源语言（例如英语）上学习策略，然后用于另一种语言，其中注释训练样本很少。在生物实验和临床环境中，是否需要在细胞或受试者上学习策略并将其应用于另一个细胞或受试者。
贝叶斯主动学习是解决参数推理最优实验设计问题的有效框架。它的目标是，对于给定的生成模型，优化参数θ的估计的准确性，即最小化后验分布的熵。但也可以将最优实验设计扩展到模型选择：在这种情况下，目标是最大化竞争候选模型之间的可区分性，即最小化 的熵。已经提出了用于模型选择的不同OED方案（参见[46]进行讨论），但它们的计算复杂性是其具体适用性的主要障碍。ESB-BAL的一个有趣的未来应用是将其扩展到最佳模型选择。
总体而言，我们希望我们提出的解决方案能够为神经科学中随机模型的更好估计、机器学习中更有效的训练以及更系统和自动化的实验设计铺平道路。
在设计生理学实验时，或者在机器学习中的数据上训练模型时，通常会先验地为所研究的系统选择一组固定的输入。使用这种非自适应、非优化的方案通常会导致估计参数的巨大差异，即使使用大量试验或数据点也是如此。贝叶斯主动学习是优化这些输入的有效方法，但精确的解决方案通常很难解决，不适用于在线实验。在这里，我们介绍了ESB-BAL，这是一个结合了粒子过滤，并行计算和平均场理论的新框架。ESB-BAL 是通用的，并且足够高效，可以应用于各种设置。我们用它来推断突触模型的参数：对于这个特定的例子，计算时间是一个关键的约束，因为典型的ISI短于1s，并且因为几个未来的输入需要一起优化。使用合成数据和神经记录，我们表明我们的方法有可能显着提高基于模型的推理的精度和速度。
材料和方法
道德声明
动物按照国家和机构指南进行治疗。苏黎世州兽医局批准了所有实验（授权号：009.ZH2020/<>）。
用于突触表征的粒子滤波
初始化。
计算 θ 的后验分布首先意味着指定一个先验的 p（θ），从中绘制初始粒子。为简单起见，我们在这里考虑一致先验（如 [2， 21]），尽管该算法很容易扩展到不同的先验选择。
同样，需要绘制隐藏状态的初始样本。对于 ， ，我们定义：
（即所有囊泡在模拟开始时都应该处于易于释放的状态）;
（与公式 9 一致）。
抖动步骤。
我们希望推断的参数应该是恒定的。因此，不可能定义粒子形式的动力学（与旨在推断动态隐藏状态的过滤问题相反，例如在[47]中）。为了避免粒子简并，因此有必要使用抖动核来突变粒子。当粒子取连续值时，抖动核的经典选择是从具有平均值的高斯分布中绘制下一个粒子，该方差称为抖动宽度（详细讨论参见[13]）。在我们的实现中，每个参数的可能值范围是离散的，因此每个粒子对应于可能参数值网格上的位置（与 [2] 中的实现相同）。因此，抖动内核中α的自由参数对应于移动一个箱的概率：
(21)
距离 一个（随机选择的）箱在哪里。
在每个时间步长，抖动步长倾向于增加粒子分布的熵（通过改变它们）。另一方面，重采样步骤（见下文）倾向于通过仅保留高可能性粒子来减少它。如果抖动核的方差足够高以超过重采样的效果，则颗粒分布的总熵将增加（例如，在图5B中的破伤风刺激阶段。
传播步骤。
内部粒子基于（方程10）和（方程9）重绘。
似然计算步骤。
根据等式 8 计算。
重采样步骤。
使用[48]中引入的算法通过多项重采样对粒子进行重采样，该算法允许在单个步骤中绘制排序数字的列表。还可以实施替代的重采样方案。例如，残差和分层重采样方法在条件方差方面主导多项式重采样方法[49]。我们发现，对于人工数据，分层方法导致N，q和σ估计的更快收敛，而p和τD估计没有显示收敛率的显着差异（S8B图），但不会显着改善信息增益（S8A图）。
算法 2：计算突触表征的最佳下一次刺激时间
集合（当前后验估计的平均值）;
输入：（一组候选项xT+1);
对于 xT+1在做
使用等式 23 进行计算;
使用算法 1 进行计算;
使用等式 16 进行计算;
结束
图 2 中的“ESB-BAL（精确）”模拟对算法 3 进行了轻微修改，其中方程 13 是使用 MC 样本计算的，而不是方程 14 和 15 中解释的基于点的简化。从当前后验分布 p（θ|ht），即通过从颗粒池中随机采样。对于这些样本中的每一个，以及每个候选样本的下一个输入 xT+1在：
在 ESB-BAL （MC θ） 中：y 的相应值T+1使用等式 23 计算，如等式 15;
在 ESB-BAL （MC θ， y 中）：用于计算 y 上的预期值的样本T+1通过随机抽样和 ，并使用等式 8 绘制。
除非另有说明，所有仿真结果均用 M 获得外= 1024 和 M在= 256 个粒子，并使用市售的 Nvidia GTX 1080 Ti GPU 运行。
突触传递的输入输出隐马尔可夫模型（IO-HMM）
与之前的工作（特别是[1，2]）一致，我们使用简化的输入输出隐马尔可夫模型（IO-HMM）来描述突触（如系统部分所述：神经递质释放的二项式模型）。与经典HMM相比，它的特殊性在于N被认为是一个要与其他参数一起优化的参数。此外，N 的值表征隐藏状态可以具有的值范围，如 0 ≤ kt≤ nt≤·事实上，所研究突触的N的确切值是未知的，可以采用广泛的可能值[1]，并且需要从观察中推断出来。在以前的工作中使用了不同的方法：
在[1]中，作者固定了N的值，然后使用期望最大化（EM）算法估计了其他参数。对范围从 1 到 100 的不同 N 值重复该过程，并选择产生最高似然的参数集作为最大似然估计器。在我们的设置中，这相当于针对不同的 N 值并行运行多个 ESB-BAL 实例，这将显着增加计算负载。
在[2]中，作者使用Metropolis-Hastings算法来计算参数的后验分布，包括N。在我们的例子中，我们还共同优化所有参数，包括 N。这意味着，由于抖动内核，可能会不时更改。因此，我们引入了 ReLU 函数来保持算法 1 中的正值（其中并参考粒子中的 N 和 p 值）：
囊泡动力学的均场近似
我们的突触模型，如方程 7 到 10 所定义，是一个隐马尔可夫模型，其观察值为t和隐藏状态 zt = (nt， kt).预测分布 p（yT+1|ht， xT+1方程 1 中使用的 θ） 可以使用前向算法计算：然而，这种精确过滤过程的算法复杂性与 N 成比例4，使得闭环应用不切实际。在这里，我们建议通过使用囊泡动力学的平均场近似来大大简化计算：可以使用递归形式计算隐藏变量和观测变量的解析均值和方差[46]。
让 rt∈ [0， 1] 表示尖峰 t 时刻释放能力囊泡的平均分数。其值，给定 θ = [N， p， q， σ， τD] 和 x1：吨，可以从 Tsodyks-Markram 模型 [1] 的方程迭代计算（参见 [7]，方程 （20））：
(22)
与 r1= 1。因此，尖峰t后EPSC的期望值为：
(23)
可以注意到，可用囊泡数量 n 的方差t以先前激活的历史记录 x 为条件1：吨在参数值上，θ 可以使用总方差定律进行类似的计算：
(24)
由于 nt = nt?1? kt?1 + vt与 vt～ Bin（N ? nt?1 + kt?1， π（xt）） （见公式 10），因此
(25)
最后，通过指出（nt? kt)|nt～ 垃圾桶（nt， 1 ? p） 并再次使用总方差定律进行计算
(26)
我们获得
(27)
方程 23 和 27 分别用于计算 y 的期望值t给定 θ 和 x1：吨（用于方程 15 的基于点的近似）及其方差（用于验证我们的模型与 S6 图中记录的 EPSC 的拟合优度）。
批量优化
（图5A）中每批n次刺激时间的候选批次由3个参数描述：
m < n：破伤风刺激的次数 [-];
f：破伤风刺激的频率[Hz];
x最后：最终恢复峰值 [s] 之前的时间间隔。
因此，n个刺激的序列由频率f的m个破伤风刺激组成，然后是 n-m恢复尖峰，尖峰间间隔增加。在实验过程中使用以下值（图6）：n = 26，m ∈ [5， 10， 15， 20]， f ∈ [25 Hz， 50 Hz， 100 Hz， 200 Hz]， x最后∈ [0.1秒、0.5秒、1.0秒、2.0秒]。
每个参数 m、f 和 x 的这 4 个可能值最后产生 64 种不同的组合：因此由 64 个不同的候选批次组成，算法 3 从中挑选下一个最佳批次。
算法 3：计算最佳的下一批ISI
输入：（一组候选项xT+1：T+N);
对于 xT+1：T+N 在做
使用算法 1 进行计算;
结束
电生理记录
在成年（>1个月大）雄性和雌性C57BL / 6J小鼠（法国Janvier Labs）中进行实验。将动物以3-5只为一组饲养在标准笼子中，以12小时光照/ 12小时黑暗循环随意提供食物和水。异氟醚麻醉后通过快速斩首处死小鼠。迅速取出小脑蚓部并安装在充满冷却细胞外溶液的腔室中。使用徕卡VT300S振动切片机（德国徕卡显微系统公司）切割1200μm厚的矢状旁切片，转移到35°C的孵育室中30分钟，然后在室温下储存直至实验。
用于切片切割和储存的细胞外溶液（人工脑脊液，ACSF）含有（以mM为单位）：125 NaCl，25 NaHCO3，20 D-葡萄糖，2.5 KCl，2 CaCl 2，1.25 NaH 2 PO4，1 MgCl 2，用95%O 2和5%CO 2气泡。 使用具有60×，1 NA水浸物镜，红外光学元件和微分干涉对比度（Scientifica， 英国）。记录室连续灌注补充有10μM D-APV，10μM双叶碱和1μM士的宁的ACSF。实验在室温（21-25°C）下进行。贴片移液器（开口电阻为3-8 MΩ）填充含有（以mM为单位）的溶液：150 K-D-葡萄糖酸酯、10 NaCl、10 HEPES、3 MgATP、0.3 NaGTP、0.05 乙二醇-双（2-氨基乙醚）-N，N，N'，N'-四乙酸 （EGTA），使用 KOH 将 pH 调节至 7.3。
电压钳记录是使用通过Patchmaster软件（德国HEKA Elektronik GmbH）控制的HEKA EPC10放大器完成的，基本上如[50]中所述。对+13 mV液结电位的电压进行校正。使用刺激隔离单元（ISO-STIM 150B，NPI）产生的方形电压脉冲（持续时间，01μs）并通过ACSF填充的移液器施加细胞外苔藓纤维刺激。移液器在靠近突触后细胞的切片表面上移动，同时施加电压脉冲，直到可以可靠地唤起兴奋性突触后电流（EPSC）。注意刺激单片苔藓纤维输入。记录的EPSC保持电位为–80 mV;数据在2.9 kHz下进行低通滤波，并以20–50 kHz进行数字化。训练刺激方案包括20 Hz的100或100 MF刺激，然后是单脉冲以监测短期抑郁的恢复（间隔：25 ms，50 ms，100 ms，300 ms，1 s，3 s）。随后的火车记录间隔至少为30秒。对于 OED 实验，自定义协议作为文件模板在线生成，用于 Patchmaster。EPSC在发病前被量化为300 μs基线的峰值幅度。
为了便于定义参数q和σ的可能值范围（特别是为了避免在太窄的范围内运行实验），记录的EPSC振幅通过除以其最大值来归一化。因此，通过假设 q ∈ [0， 1] 和 σ ∈ [0， 1] 来进行分析。
从12个突触连接收集数据，每个突触连接都受到确定性（长）、确定性（短）和ESB-BAL协议的连续刺激。 为了准确地比较ESB-BAL与确定性协议的效果，重要的是要确保突触（尤其是突触连接的强度）在连续的方案之间没有变化（因为突触强度可以在刺激方案之间快速变化由于突触可塑性）。对于每个协议，计算每个批次的第一个EPSC的平均值，并使用一对协议的该值的相对差异来评估这些协议之间的漂移。对于给定的突触，该漂移超过10%的协议对（即确定性（长）与ESB-BAL和确定性（短）与ESB-BAL）被丢弃，因此有效地在图5B和S6图中留下了7对协议。
EPSC量化
数据在20.000Hz下采样。为了量化EPSC峰值幅度，我们首先使用具有5点（即250μs）窗口的原始数据的棚车平滑。然后将EPSC峰值幅度定义为刺激伪影后0.4 ms基线的平均值与随后4 ms时间窗口中的最小值之间的差异。由于突触延迟，EPSC在刺激后约800μs至1ms开始，从而允许计算刺激伪影和EPSC开始之间的基线。这在高频刺激序列中具有优势，因为先前的EPSC可能没有衰减到基线。
统计检验
线性回归用于衡量 ESB-BAL 与确定性协议相比的效果。对于图 6B 中显示的数据，熵（因变量）相对于与所用协议（ESB-BAL 或确定性）对应的分类变量回归。然后对拟合斜率系数执行 t 检验。
支持信息
使用过滤器获得的后验示例（流程图 1）。
显示 1/8： pcbi.1011342.s001.tiff
跳到无花果共享导航
https://ndownloader.figstatic.com/files/42091983/preview/42091983/preview.jpg
1 / 8
下载
无花果分享
S1 图 使用过滤器获得的后验示例（流程图 1）。
左上图：从系统：神经递质释放的二项式模型一节中描述的模型生成的合成EPSC序列。其他面板：230次刺激后参数的后验分布。用于生成 EPSC 的实况值显示为红色垂直线。
https://doi.org/10.1371/journal.pcbi.1011342.s001
（蒂夫）
S2 图 对于超参数的不同值，使用常量（顶部）、均匀（中间）或指数（底部）协议进行 200 次观测后，平均最终熵减少（即信息增益）。
使用的实况参数为 N* = 7、p* = 0.6、q* = 1 A、σ* = 0.2 A 和 s [2]。垂直红线表示用于模拟的地面实况值 s。x 的最佳值t， x.max和 τ 用于图 2。对于超参数 x.max，最多跨越 2 秒的值，以确保均匀分布的均值跨越 0 到 1 秒的值。
https://doi.org/10.1371/journal.pcbi.1011342.s002
（蒂夫）
S3 图 ESB-BAL 与优化的非参数固定设计的比较。
在以前的分析中，将我们的自适应设计（ESB-BAL）与参数固定设计（常量、均匀和指数）进行了比较。虽然直观，但这些参数固定协议可能无法准确代表信息量最大的固定设计。通过从通过 ESB-BAL 计算的先前 ISI 列表中随机抽取 ISI，可以非参数方式计算最佳固定 ISI 分布。因此，我们获得了固定和非参数优化设计。结果表明，这种最佳固定设计（紫色）的性能与最佳指数设计（绿色）相似，并且仍然优于 ESB-BAL（黑色）。
https://doi.org/10.1371/journal.pcbi.1011342.s003
（蒂夫）
S4 图 设置与图 2 相同，但对于真实地面参数 N* = 10、p* = 0.85、q* = 1 A、σ* = 0.2 A 和 s。
https://doi.org/10.1371/journal.pcbi.1011342.s004
（蒂夫）
S5 图 设置与图 2 相同，但仅针对 τ 的边际后验分布进行优化时D.
https://doi.org/10.1371/journal.pcbi.1011342.s005
（蒂夫）
S6 图 二项式模型为记录的 EPSC 提供了很好的拟合。
在小鼠急性小脑切片的苔藓纤维到颗粒细胞突触连接中记录了突触后对突触前刺激的反应。EPSC的振幅是根据原始迹线计算的，详见材料和方法。在这个痕量示例中，使用重复的确定性尖峰序列来刺激突触前轴突，该尖峰由 20Hz 的 100 次刺激（破伤风刺激）和增加的 ISI 处的 6 个恢复尖峰组成。该迹线说明了所研究突触的短期抑制，在破伤风期第一次尖峰后的较低 EPSC 振幅中可见，在恢复阶段的振幅增加。通过将二项式模型（在系统：神经递质释放的二项式模型一节中描述）的拟合优度通过将其预测与记录的EPSC进行比较来评估。对于给定的突触，我们首先使用Metropolis-Hastings样本获得其参数θ的最大后验估计（如[2]）。二、在每个时间步长t，预期EPSC值yt及其给定 θ 和 x 的方差1：吨可以使用方程 23 和 27 进行计算。然后将模型的预测（平均值：橙色实线;阴影区域：3个标准差）与实际记录（蓝色实线）进行比较。
https://doi.org/10.1371/journal.pcbi.1011342.s006
（提夫）
S7 图 与图 6B 中的设置相同，但比较了确定性（短）和 ESB-BAL（批处理）。
https://doi.org/10.1371/journal.pcbi.1011342.s007
（提夫）
S8 图 多项式和分层重采样效果的比较。
设置与图2相同。模拟使用多项式或分层方案进行粒子重采样（参见突触表征的粒子滤波部分）。尽管分层重采样方案提高了参数的收敛性（B），但它并没有显著提高信息增益（A）。
https://doi.org/10.1371/journal.pcbi.1011342.s008
（蒂夫）
确认
计算是在伯尔尼大学的HPC集群UBELIX（http://www.id.unibe.ch/hpc）上进行的。CUDA.jl 软件包 [14， 15] 根据 MIT “Expat” 许可证 （https://github.com/JuliaGPU/CUDA.jl/blob/master/LICENSE.md） 获得许可。
我们感谢Ehsan Abedi，Jakob Jordan和Anna Kutschireiter富有成效的讨论。
引用
1.Barri A， Wang Y， Hansel D， Mongillo G. 量化化学突触的重复传递：一种生成模型方法。埃赫诺。2016;3(2).
查看文章谷歌学术搜索
2.伯德，沃尔MJ，理查森MJ。从相关囊泡释放中对突触量子参数的贝叶斯推断。计算神经科学前沿。2016;10:116.pmid：27932970
查看文章PubMed/NCBI谷歌学术搜索
3.Flesch T，Balaguer J，Dekker R，Nili H，Summerfield C.比较思维和机器中的持续任务学习。美国国家科学院院刊.2018;115（44）：E10313–E10322.密码：30322916
查看文章PubMed/NCBI谷歌学术搜索
4.埃默里AF，涅纳罗科莫夫AV.最佳实验设计。测量科学与技术。1998;9(6):864.
查看文章谷歌学术搜索
5.最大熵采样和最佳贝叶斯实验设计。《皇家统计学会杂志》：B辑（统计方法）。2000;62(1):145–157.
查看文章谷歌学术搜索
6.瑞安EG，德罗万迪CC，麦格里JM，佩蒂特安。贝叶斯最优设计的现代计算算法综述.《国际统计评论》。2016;84(1):128–154.
查看文章谷歌学术搜索
7.Lewi J，Butera R，Paninski L.神经生理学实验的顺序优化设计。神经计算。2009;21(3):619–687.密码：18928364
查看文章PubMed/NCBI谷歌学术搜索
8.帕克M，霍维茨G，枕头JW。使用高斯过程主动学习神经响应函数。在： NIPS.西特塞尔;2011.第2043–2051页。
9.Park M，Pillow J. 贝叶斯主动学习与局部先验，用于快速接受场表征。神经信息处理系统的进步。2012;25:2348–2356.
查看文章谷歌学术搜索
10.贾A，阿什伍德ZC，枕头JW。离散潜在变量模型的贝叶斯主动学习。arXiv预印本arXiv：220213426。2022;.
11.Lewi J，Schneider DM，Woolley SM，Paninski L.自动化设计感官刺激的信息序列。计算神经科学杂志。2011;30:181–200.密码：20556641
查看文章PubMed/NCBI谷歌学术搜索
12.Drovandi CC， Tran MN， et al.使用随机准蒙特卡洛提高实验的完全贝叶斯优化设计的效率。贝叶斯分析。2018;13(1):139–162.
查看文章谷歌学术搜索
13.克里斯桑 D， 米格兹 J， 等.嵌套粒子滤波器，用于离散时间状态空间马尔可夫模型中的在线参数估计。伯努利。2018;24（4A）：3039–3086.
查看文章谷歌学术搜索
14.Besard T， Foket C， De Sutter B. Effective Extensible Programming： Unleashing Julia on GPU.并行和分布式系统上的 IEEE 事务。2018;.
查看文章谷歌学术搜索
15.Besard T， Churavy V， Edelman A， De Sutter B. 异构和分布式平台的快速软件原型设计。工程软件的进步。2019;132:29–46.
查看文章谷歌学术搜索
16.桓桓， 马祖克.基于仿真的非线性系统最优贝叶斯实验设计.计算物理学报.2013;232(1):288–317.
查看文章谷歌学术搜索
17.Foster A， Jankowiak M， Bingham E， Horsfall P， Teh YW， Rainforth T， et al.变分贝叶斯最优实验设计。arXiv预印本arXiv：190305480。2019;.
18.德尔卡斯蒂略J，卡茨B.端板势的量子分量。生理学杂志。1954;124(3):560–573.pmid：13175199
查看文章PubMed/NCBI谷歌学术搜索
19.卡茨·神经递质物质的释放。利物浦大学出版社。 1969年;第5-39页。
20.Tsodyks M， Pawelzik K， Markram H. 具有动态突触的神经网络。神经计算。1998;10(4):821–835.密码：9573407
查看文章PubMed/NCBI谷歌学术搜索
21.贡蒂埃C，菲斯特太平绅士。二项式突触的可识别性。计算神经科学前沿。2020;14:86.密码：33117139
查看文章PubMed/NCBI谷歌学术搜索
22.维兰德， 豪伯， 罗森布拉特 M， 滕辛 C， 蒂默 J.关于结构和实际可识别性。系统生物学的当前观点。2021;.
查看文章谷歌学术搜索
23.凯撒PS，雷格尔WG。易于释放的突触囊泡池。神经生物学的当前观点。2017;43:63–70.密码：28103533
查看文章PubMed/NCBI谷歌学术搜索
24.斯特里克C，雷德曼SJ。基于密度估计的定量分析。神经科学方法杂志。2003;130(2):159–171.密码：14667544
查看文章PubMed/NCBI谷歌学术搜索
25.Scheuss V，Neher E.从突触反应序列中的平均，方差和协方差估计突触参数。生物物理学杂志。2001;81(4):1970–1989.密码：11566771
查看文章PubMed/NCBI谷歌学术搜索
26.Bykowska O， Gontier C， Sax AL， Jia DW， Montero ML， Bird AD， et al.基于模型的突触传递推理。突触神经科学前沿。2019;11:21.pmid：31481887
查看文章PubMed/NCBI谷歌学术搜索
27.Kutschireiter A， Surace SC， Pfister JP.顺风车的非线性滤波指南。数学心理学杂志。2020;94:102307.
查看文章谷歌学术搜索
28.阿塞尔比 L. 变分贝叶斯蒙特卡洛.神经信息处理系统的进展。2018;31.
查看文章谷歌学术搜索
29.Paninski L. 信息论实验设计的渐近理论。神经计算。2005;17(7):1480–1507.密码：15901405
查看文章PubMed/NCBI谷歌学术搜索
30.Costa RP，Sjostrom PJ，Van Rossum MC.新皮质微电路中短期突触可塑性的概率推断。计算神经科学前沿。2013;7:75.pmid：23761760
查看文章PubMed/NCBI谷歌学术搜索
31.Markram H，Pikus D，Gupta A，Tsodyks M.单个突触可塑性的多种机制，现象和算法的潜力。神经药理学。1998;37(4-5):489–500.密码：9704990
查看文章PubMed/NCBI谷歌学术搜索
32.廷克豪瑟G，莫劳德EM。通过闭环深部脑刺激控制由不同时间动态控制的临床状态：一个原则框架。神经科学前沿。2021;15.密码：34858126
查看文章PubMed/NCBI谷歌学术搜索
33.Carè M， Averna A， Barban F， Semprini M， De Michieli L， Nudo RJ， et al.闭环皮层内刺激对脑损伤、麻醉动物神经活动的影响。生物电子医学。2022;8(1):1–14.
查看文章谷歌学术搜索
34.杰文斯·煤炭问题。关于1862年计划的调查;
35.Moreno-Bote R， Beck J， Kanitscheider I， Pitkow X， Latham P， Pouget A. 信息限制相关性.自然神经科学。2014;17(10):1410–1417.密码：25195105
查看文章PubMed/NCBI谷歌学术搜索
36.Chopin N，Jacob PE，Papaspiliopoulos O. SMC2：一种用于状态空间模型顺序分析的有效算法。《皇家统计学会杂志》：B辑（统计方法）。2013;75(3):397–426.
查看文章谷歌学术搜索
37.萨金特PB，萨维安C，尼尔森TA，迪格雷戈里奥DA，西尔弗RA。快速囊泡释放、定量变异性和溢出有助于肾小球突触传递的精确性和可靠性。神经科学杂志。2005;25(36):8173–8187.密码：16148225
查看文章PubMed/NCBI谷歌学术搜索
38.Pfister JP，Dayan P，Lengyel M.具有短期可塑性的突触是突触前膜电位的最佳估计器。自然神经科学。2010;13(10):1271–1275.密码：20852625
查看文章PubMed/NCBI谷歌学术搜索
39.Bhumbra GS，Beato M.使用贝叶斯分析对突触功效的定量决定因素进行可靠评估。神经生理学杂志。2013;109(2):603–620.密码：23076101
查看文章PubMed/NCBI谷歌学术搜索
40.Soares C， Trotter D， Longtin A， Bé?que JC， Naud R. 使用光学量子分析解析中枢突触传输的可变性。突触神经科学前沿。2019;11:22.密码：31474847
查看文章PubMed/NCBI谷歌学术搜索
41.Ritzau-Jost A， Delvendahl I， Rings A， Byczkowicz N， Harada H， Shigemoto R， et al.超快动作电位介导中央突触处的千赫兹信号传导。神经元。2014;84(1):152–163.密码：25220814
查看文章PubMed/NCBI谷歌学术搜索
42.萨维安C，银RA。快速囊泡重载和大型池在中央突触维持高带宽传输。自然界。2006;439(7079):983–987.邮编：16496000
查看文章PubMed/NCBI谷歌学术搜索
43.贝尔曼 R. 动态规划。科学。1966;153(3731):34–37.密码：17730601
查看文章PubMed/NCBI谷歌学术搜索
44.萨顿RS，巴托股份公司。强化学习：简介。麻省理工学院出版社;2018.
45.Fang M， Li Y， Cohn T. 学习如何主动学习：一种深度强化学习方法。arXiv预印本arXiv：170802383。2017;.
46.Gontier C.突触表征的统计方法。伯尔尼大学。2022;.
47.库奇雷特 A， 苏拉斯 SC， 斯普雷克勒 H， 菲斯特 JP.非线性贝叶斯过滤和学习：感知的神经元动力学。科学报告。2017;7(1):1–13.
查看文章谷歌学术搜索
48.宾利JL，萨克森JB。生成随机数的排序列表。ACM Transactions on Mathematical Software （TOMS）。1980;6(3):359–364.
查看文章谷歌学术搜索
49.Douc R， Cappé O. 粒子滤波重采样方案的比较.在：伊斯帕2005年。第四届图像和信号处理与分析国际研讨会论文集，4年。IEEE;2005.第2005–64页。
50.Kita K，Albergaria C，Machado AS，Carey MR，Müller M，Delvendahl I. GluA4促进小脑扩张编码并实现联想记忆形成。生活。2021;10：e65152.密码：34219651
查看文章PubMed/NCBI谷歌学术搜索