几何分析可以使用简单的替代物从复杂的不可识别模型中获得生物学见解

亚历山大·布朗宁，马修·辛普森

版本 2

发布时间：20 年 2023 月 <> 日

抽象

计算生物学中一个持久的挑战是平衡数据质量和数量与模型复杂性。已经开发了诸如可识别性分析和信息标准之类的工具来协调这种并列，但不能总是解决可用数据与数学模型中回答重要生物学问题所需的粒度之间的不匹配。通常，只有简单的现象学模型，如逻辑和冈珀茨生长模型，才能从标准实验测量中识别出来。为了从包含感兴趣的关键生物学机制的复杂，不可识别的模型中获取见解，我们研究了参数空间中地图的几何形状，从复杂模型到简单，可识别的替代模型。通过研究复杂模型中不可识别的参数如何与代理中的可识别参数定量相关，我们在一组不可识别的参数与典型可识别性分析中研究的拟合优度指标或可能性之间引入并利用了一层解释。我们通过分析多细胞肿瘤球状体生长实验的数学模型层次结构来展示我们的方法。来自肿瘤球体实验的典型数据有限且嘈杂，相应的数学模型经常被任意复杂化。我们的几何方法能够预测不可识别性，将无法识别的参数空间分类为可识别的参数组合，这些参数组合与代理模型中的参数表征的数据特征相关，并总体上从复杂的不可识别模型中提供额外的生物学见解。

作者摘要

数学模型在生物数据的解释中起着重要作用。这些模型可以任意复杂，这意味着与参数可识别性相关的问题相对常见。然而，具有不可识别参数的复杂模型可用于深入了解感兴趣的生物学问题，因为它们包含直接生物学感兴趣的参数。相比之下，更简单的可识别模型缺乏生物学粒度，并且包含通过数据特征与基础生物学间接相关的参数。在这项工作中，我们研究了复杂模型中不可识别参数与简单代理模型中可识别参数之间的相互关系。我们的目标是通过利用简单的代理模型来解决模型和数据复杂性之间的不匹配，以便在无法从可用数据中确定感兴趣的参数的情况下提供见解。我们通过分析多细胞肿瘤球状体生长的数学模型来展示我们的方法，这是一种癌性肿瘤生长的实验模型。使用最基本和最常报告的测量，我们预测了不同数据收集制度产生的不可识别性，并从具有不可识别参数的复杂模型中得出更多见解。

数字

Fig 8图1图2图3Fig 4Table 1Fig 5Fig 6Fig 7Table 2Fig 8图1图2图3

引文： 布朗宁 AP，辛普森 MJ （2023） 几何分析可以使用简单的替代物从复杂的不可识别模型中获得生物学洞察力。公共科学图书馆计算生物学19（1）： e1010844. https://doi.org/10.1371/journal.pcbi.1010844

编辑 器： 尼古拉斯·曼库索， 美国南加州大学

收到： 7月 2022， 26;接受： 2022月 20， 2023;发表： <>月 <>， <>

版权： ? 2023 勃朗宁、辛普森。这是一篇根据知识共享署名许可条款分发的开放获取文章，该许可允许在任何媒体上不受限制地使用、分发和复制，前提是注明原作者和来源。

数据可用性： 用于生成结果的代码可在 Github 上找到 https://github.com/ap-browning/spheroid_geometry。

资金： 这项工作由澳大利亚研究委员会（https://www.arc.gov.au/）通过授予MJS的发现项目（DP200100177）资助。资助者在研究设计、数据收集和分析、发表决定或手稿准备方面没有任何作用。

竞争利益： 提交人声明不存在相互竞争的利益。

介绍

数学模型在数据的解释和实验的设计中起着重要作用。许多实验和生物系统的复杂性意味着与关键生物机制相关的参数无法直接测量，而是通过将机械数学模型校准到实验观察来量化[1，2]。鉴于生物数据通常有限且嘈杂，模型参数提供了一种客观的方法来量化观察结果，并比较不同类型实验或同一实验中不同条件的行为[3，4]。因此，最小化或至少量化参数不确定性对于有效解释实验结果至关重要。

应用数学模型解释生物实验的一个关键步骤是模型选择[5-7]。传统上与大量未知参数相关的复杂模型有可能提供有关相应大量生物学机制的见解，但当校准到典型实验数据时，通常会导致较大的参数不确定性[8-10]。相反，更简单的模型——包括逻辑模型和冈珀茨增长模型等规范模型——通常涉及可能受到数据严格约束的参数，但提供的直接机制见解有限[11]。

在实践中，模型选择通常以信息标准为指导;量化模型简约性的统计指标，模型拟合和模型复杂性之间的权衡[7，12]。使用的众多标准之一是赤池信息标准 （AIC），由

(1)

此处是最大似然估计 （MLE），即产生最佳模型拟合的 k 维参数向量 p，并且是对数似然，即拟合优度的度量。从本质上讲，AIC和其他信息标准惩罚了复杂的模型，这些模型产生的拟合优度略高于简单的模型。通常，AIC 是针对一系列候选模型计算的，这些模型的排名使得具有最小 AIC 的模型最有利。为了证明，我们考虑了多细胞肿瘤微球的生长（图1A），这是一个复杂的，空间异质的生物系统，通常只有与微球半径的整体大小相关的简单测量在整个实验中可用。我们从中等复杂度的数学模型（具有k = 4个参数的格林斯潘模型）生成合成半径测量值，该模型最近首次针对实验数据进行了验证[13，14]。我们使用标准差σ破坏了具有正态分布测量噪声的测量，并试图区分一系列球体生长模型，其复杂性范围从逻辑增长模型（k = 2）[15]到沃德和金的复杂多相空间模型（k = 8）[16，17]。在图1B中，我们设置σ = 20μm，在图1C中，我们改变σ。校准后，所有模型都可以预测视觉上无法区分的球体半径（图1B），并且除了Ward和King模型外，所有模型都无法使用AIC进行足够大的，生物学上真实的噪声标准偏差（图1C）。模型中给出了所有模型的完整数学细节。

缩略图 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图1. 肿瘤球体生长的数学模型。

（A）来自肿瘤球状体生长实验的显微镜图像。球状体从WM983b细胞（一种人黑色素瘤细胞系）[18]生长，收获，并在不同时间点使用共聚焦显微镜成像。用荧光细胞周期指示剂转导细胞，显示间隙1（紫色）和间隙2（绿色）中的细胞。从第 7 天开始，球状体中心明显出现活细胞坏死核心空隙。（B）从格林斯潘模型[13]（黑色圆盘）生成的合成椭球体数据，具有标准偏差σ = 20 μm（红色菱形）的加法噪声。（B-C）包括格林斯潘模型在内的几个数学模型能够匹配合成数据。（C） （B） 中模型拟合练习的 AIC 结果在噪声标准偏差的几个值上重复。显示的是每个模型 100 次重复的平均值和标准偏差。（D）观测到的费雪信息矩阵的频谱。特征值显示在对数刻度上，并按比例缩放，以使光谱半径为单位。

https://doi.org/10.1371/journal.pcbi.1010844.g001

除了无法区分肿瘤球状体示例中的模型外，基于标准的选择无法解释感兴趣的生物学问题，或者更具体地说，生物学机制。例如，逻辑生长和 Gompertz 生长模型与合成肿瘤球状体数据完美匹配，并根据生长速率参数和长期限制球体大小量化行为。然而，这些模型无法提供与控制生长或确定长期限制球体尺寸的机制有关的信息;机制，例如对氧气和其他必需营养素的敏感性和可用性。最近，数学建模文献已转向参数可识别性分析等工具，以指导模型选择 [19-21]。可识别性分析可以确定模型参数是否可识别，是否可以从数据中估计;无论是在理论上的无噪声数据极限（结构可识别性）[22-25]中，还是在有限数量的噪声数据（实际可识别性）的更现实的情况下[19，26]。 与AIC等模型选择标准相比，可识别性分析提供了有关单个模型参数的可识别性的信息。虽然复杂模型可能具有大量不可识别的参数和高AIC值，但如果感兴趣的参数（例如，氧敏感性）是可识别的，它仍然可能被证明是有用的。

在MLE附近，可以使用预期对数似然函数（也称为费舍尔信息矩阵（FIM））的局部曲率来评估模型参数的可识别性，记作。FIM 是一个 k × k 个正半定矩阵，它量化了有关数据中包含的参数的信息量，并具有统计和几何解释。从统计学上讲，FIM 的逆值提供了参数估计值协方差的下限。因此，奇异的 FIM 对应于至少一个模型参数，该参数只能以无限方差估计，因此无法从数据确定。从几何上讲，FIM与对数似然函数的Hessian相关，因此包含有关参数空间中对数似然（以及模型）敏感的方向和对数似然不敏感的方向的信息[27]。具体来说，FIM 的特征值对应于相应特征向量方向上的曲率;与零或接近零特征值相关的特征向量对应于参数空间（也称为特征参数）中模型输出不敏感的方向[28，29]。相反，与相对较大的特征值相关的特征向量提供了信息方向;模型最敏感的方向。所谓的模型马虎性分析涉及研究FIM的频谱，以确定模型中草率或不敏感的特征参数的数量[8，30-32]。为了证明，在图1D中，我们显示了每个肿瘤球状体模型的FIM光谱。由于特征值之间的相对差异与尺度相关，因此很难解释两个参数模型的结果。但是，格林斯潘和沃德和金模型的结果显示了两个不同的特征值聚类，指示一组信息方向（对应于相对较大的特征值）和一组无信息或草率的方向（对应于更接近零的特征值）。

对于格林斯潘模型，通过模型马虎性分析确定的单个不敏感方向对应于参数空间中的一维流形（即曲线），可以沿该流形识别参数。可识别性和草率性分析的核心是数据无法将模型参数空间限制为点估计值，而是一维或更高维流形[33]。在实际应用中，对该流形的分析允许模型约简，其中可以通过预先约束或删除草率的特征参数来减少模型中的参数数量，而不会显着降低模型的预测能力[34，35]。然而，迄今为止，使用模型参数流形对模型之间相互关系的分析仅限于嵌套在复杂模型中的更简单的模型;也就是说，可以通过对复杂模型中的参数进行约束来恢复更简单的模型，例如通过将某些参数设置为零。嵌套模型的例子包括通过假设人口混合良好从费舍尔-柯尔莫果洛夫模型中恢复逻辑增长模型[36]，以及通过约束形状参数从理查兹增长模型中恢复Gompertz或逻辑增长模型[21]。此外，FIM 基于预期的对数似然，这是一种整体模型拟合的一维度量，用于确定参数空间中的流形，参数受数据约束或模型输出对其不敏感。因此，基于 FIM 的工具无法提供有关模型输出的特征如何随参数变化的信息。

我们的贡献是使用产生定量相似行为的可识别模型研究具有不可识别参数的模型;可能与基于信息标准的分析无法区分的模型。为了研究任何两个模型（嵌套或非嵌套）中参数之间的相互关系，我们在最小二乘意义上定义了模型等价性，并研究了从复杂、可能严重参数化和不可识别模型中的参数到更简单、可识别模型中的参数的相关映射（图 2B）。例如，我们通过简单的模型（如众所周知的逻辑和Gompertz生长模型）研究肿瘤球状体生长的机械常微分方程和偏微分方程（ODE和PDE）模型的可识别性 - 相对复杂的模型包含量化营养敏感性，氧气扩散和氧气消耗的参数 - 这些模型没有明确包含影响生长的生物物理机制，而是主要描述现象学的行为 参数，如早期生长速率和长期限制球体尺寸。

缩略图 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图2. 通过模型之间的几何图形研究可识别性。

（A）通常，模型参数被认为是对数似然的函数，l（p）是对模型拟合的一维度量。模型参数的不可识别性的特点是对参数或参数组合的可能性不敏感。（B） 我们考虑一系列模型，每个模型由 .然后，我们研究不同模型参数之间的函数关系（灰线）。

https://doi.org/10.1371/journal.pcbi.1010844.g002

我们通过肿瘤球体数据的可识别性分析来展示我们的框架。收集与肿瘤球体外半径相关的噪声测量值（图1A），并使用从现象学逻辑生长模型到涉及耦合非线性偏微分方程的详细空间模型进行量化，这些模型除了球体半径外还需要实验测量才能参数化[14]。我们使用从中等复杂度模型格林斯潘模型（图1B）生成的合成数据，并提出了一系列来自文献的新模型和现有模型，这些模型与数据产生类似的一致性。最初，我们专注于具有少量参数的模型，以便可以在 中可视化模型等价流形。随后，我们研究了沃德和金的模型，这是一个具有大量参数的模型，我们必须依靠非图形手段进行分析，例如模型链接的灵敏度矩阵和雅可比矩阵。除了要求模型输出的雅可比参数可用（这可能将我们的分析主要限制在确定性的模型）之外，我们希望我们的方法能够推广到生物学和系统生物学中的任何模型层次结构。

模型

我们研究了描述肿瘤球状体半径时间演变的数学模型层次结构。这些模型在数学生物学文献中有着悠久的历史，范围从简单的乙状结肠生长模型[11]到描述球状体中细胞的空间分布以及由于营养剥夺而导致的最终生长饱和和由于肿瘤核心坏死而导致的质量损失的模型[17]。我们使用规范的格林斯潘模型[13][14，18]生成合成数据。因此，我们将格林斯潘模型视为真模型，将相应的参数集视为真参数。在本节中，我们将介绍用于分析的数学模型。

对于所有模型，我们用 R（t） 表示椭球体半径，并固定初始椭球体大小 R（0） = R0= 10 μm 作为可以直接从数据中测量的已知参数。R的选择0= 10 μm ? R.max是为了确保我们考虑的简单模型是可识别的。我们认为数据包括离散观测时间的球体半径测量值，并表示模型 i 的预测

(2)

方程（2）中的公式非常灵活：例如，我们可以通过将元素附加到m的末尾来合并与椭球体内部结构相关的模型预测。我(在这项工作中，我们设置 T = [0， 1， 2， ...， 21]。?d，如图 1B 所示，表示 R我(t;p） 从模型 I 预测时间 t 处的椭球体半径。在这项工作中，我们非常小心地通过结合维度和非维度量将我们的数学模型与实验数据联系起来。我们受到肿瘤微球实验数据的激励，这些数据包括在大约16天的时间内对球状体半径的观察[14，18]。然而，标准成像技术不能提供细胞密度或营养浓度的测量。因此，我们将与细胞密度和营养浓度相关的因变量非维度化，而将与可测量的时间和空间尺度相关的自变量保留为维度。

缩略图 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图3. 考虑的空间椭球体模型示意图。

（A）格林斯潘模型描述了营养有限的生长，其中细胞增殖取决于扩散营养素的相对可用性。细胞在营养浓度足够高的球状体区域增殖;进入细胞周期停滞，但不要死亡，在营养浓度太低而无法生长但高于生命阈值的区域;并在营养浓度足够低的地区死亡。（B）径向死亡模型描述了一种隐含建模的扩散营养素，假设其在距球体外围恒定距离处降至细胞增殖所需的阈值以下。（C）Ward和King的模型将细胞增殖和死亡描述为依赖于扩散营养物质，该营养物质被明确建模为空间的函数。

https://doi.org/10.1371/journal.pcbi.1010844.g003

模型 1。格林斯潘模型 （k = 4）

首先，我们考虑典型的格林斯潘模型[13]，该模型描述了由于细胞增殖依赖于从周围介质扩散到球体中的营养物质（如氧气）而导致的球形对称生长（图3A）。我们之前已经根据实验数据验证了格林斯潘模型[14]。球状体生长通过实验数据中观察到的三个阶段进行（图1A;[18，37，38]）。

首先，如果初始球体尺寸足够小，则微球会经历指数生长阶段，此时整个球体的营养物质高于细胞增殖所需的最低阈值浓度。我们将临界浓度表示为 c1 = ω1/ω∞，其中 ω1摩尔微米?3是细胞增殖所需的阈值浓度，ω∞摩尔微米?3是周围介质和球体边界处的浓度。在第一阶段，细胞以每单位体积λd的速率呈指数增殖?1.

荧光细胞周期指示剂表明，球状体最终进入第二阶段的生长，其中球状体中心的细胞增殖受到抑制，使得细胞保持活力但进入细胞周期停滞。我们做出标准假设，这是由于营养浓度低于相对浓度c1在球体中心，但仍高于细胞活力所需的相对浓度，用c 表示2 (图3A）。在第二阶段，位于球体外围附近的细胞保持增殖，因为该区域的营养密度足够高。

最后，微球发展到使得球体中心的营养浓度低于生存所需的营养浓度。球状体中心的细胞死亡，导致坏死核心的形成，并导致单位体积的质量损失ζ d?1.这一阶段在第7天的实验测量中很明显（图1A）。总之，格林斯潘模型预测最终会形成一个三层复合球体，该球体具有中央坏死核心、活但非增殖细胞的中间壳和活增殖细胞的外壳（图3A）。该最终结构与图1A[18]所示的球体生长实验观察一致。

虽然格林斯潘模型明确地包含了依赖于空间扩散营养素的增殖和死亡过程，但假设营养相关依赖关系是Heaviside函数，则对抑制区域的半径产生了一系列隐式解析表达式，R我(t）和坏死区域的半径，Rn(t），就整体椭球体半径而言（图3A）[13]。我们定义了三个复合参数

(3)

其中α摩尔 D?1和 Dc微米2d?1分别是养分消耗率和扩散率。因此，R我(t） 和 Rn(t） 由以下代数方程的解给出 [13]

(4)

和

(5)

分别在第二阶段和第三阶段。在第一阶段，R我 = Rn= 0。格林斯潘[13]还表明，第一阶段适用于R（t）

总体而言，椭球体半径的时间演变受常微分方程控制

(6)

在这里，我们以广义逻辑增长模型的形式表示dR（t）/d t

(7)

其中 λ 是 f（R（t）） = 1 时的体积增长率（1/3 的因子来自应用链式规则从球体体积转换为球体半径）。f（R） 有时被称为拥挤函数，定义为 f（R） → 0 表示 R 足够大。我们使用表 4 中给出的参数在图 1 中显示了格林斯潘模型的解和相应的拥挤函数。格林斯潘模型依赖于四个未知参数p1 = [Q， Rd, γ, λ]?.

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图4. 对解决方案和拥挤功能进行建模。

（A）我们显示了每个模型预测的外半径R（t），使用为匹配格林斯潘模型的解而选择的参数。（B）每个模型的相应拥挤函数，当表示为广义逻辑增长方程时（方程（7））。

https://doi.org/10.1371/journal.pcbi.1010844.g004

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

表 1. 模型参数摘要。

合成数据使用格林斯潘模型生成，参数为 λ、Rd、Q 和γ。所有其他模型中的参数被选为与格林斯潘模型中的合成数据最接近匹配的参数集。

https://doi.org/10.1371/journal.pcbi.1010844.t001

模型 2。逻辑模型 （k = 2）

逻辑模型广泛用于生物学和生态学，例如体外细胞生长[11，15，39-41]和珊瑚再生[21，41]的模型。在格林斯潘模型中，将细胞增殖与扩散营养物质的局部密度联系起来的假设会产生最终导致整体生长停止的拥挤函数，而在逻辑模型中，我们做出了简单的假设，即当尺寸达到最大半径时，球体生长最终停止，R.max微米[42]。逻辑模型及其推广（包括冈珀茨和理查兹模型[42]）在肿瘤球状体模型的背景下是现象学的;它们不是从抑制整体生长并最终停止的生物学机制中明确构建的。

虽然逻辑增长模型通常用于描述球体体积的时间演变[11]，但我们发现合成数据中球体半径的时间演变与逻辑增长更一致（图1B）。椭球体半径的逻辑模型由下式给出

(8)

在这里，1/3 的系数来自以球体半径而不是球体体积计算的工作。格林斯潘模型和逻辑模型都描述了单位体积速率λd的指数增长?1对于足够小的球体，R（t）/R.max? 1.但是，逻辑模型的不同之处在于它不包括增长呈指数增长的初始时间段。我们通过比较逻辑模型的拥挤函数与图 4 中格林斯潘模型的拥挤函数来证明这一点;在逻辑模型中，f（R） 是 R 的线性递减函数。因此，在逻辑模型中，椭球体的整体增长率永远不会等于λ/3的最大增长率。相反，对于 R（t） > 0，它始终小于此最大值。逻辑模型依赖于两个未知参数p2= [λ， R.max]?.

模型 3.有界冈珀茨模型 （k = 2）

Gompertz的生长模型自1960年代以来一直用于描述实体瘤的生长[11，43，44]，由

(9)

Gompertz模型的一个特征是R（t）/R的增长率是无限的.max? 1.由于我们在实验或格林斯潘模型中没有看到这一点，我们通过设置

(10)

因此，有界龚珀茨模型经历了 R（t） < R 的指数增长期 .max/exp（1） 在增长被抑制之前，这与格林斯潘模型描述的第一阶段增长类似。有界龚珀茨模型的解和相应的拥挤函数如图4所示。有界龚珀茨模型依赖于两个未知参数p3= [λ， R.max]?每个解释都与逻辑模型中的解释相同。

型号 4。理查兹模型 （k = 3）

Richards模型通过在拥挤函数（β）中引入一个额外的形状参数来插入逻辑模型和标准Gompertz模型，该参数会改变解决方案的形状[21，42，45]。理查兹模型由下式给出

(11)

逻辑模型可以通过设置 β = 1 来恢复，并且极限β → 0 的 Gompertz 模型的标准公式。理查兹模型的解和相应的拥挤函数如图4所示。理查兹模型有三个未知参数p+4= [λ， R.max、β]?.

型号 5.径向死亡模型 （k = 3）

我们介绍了径向死亡模型，这是一个简单的隔室模型，它捕获了格林斯潘模型的关键要素，即整体生长的抑制是由球状体核心中的营养剥夺引起的。由于细胞消耗，营养浓度是到球体周边距离的递减函数，因此我们假设营养物质（如氧气）可以扩散到球体中，距离可达Rdμm从球状体外围，然后达到极低的浓度，细胞增殖停止，细胞死亡开始（图3B）。虽然 R（t） ≤ Rd，球状体由增殖细胞组成，对于R（t）>Rd密度恒定的膨胀环，厚度为Rd和半径为 R（t） ? R 的坏死核心d.我们假设活细胞以每体积速率λd增殖?1，坏死物质以每体积ζ d 的速度丢失?1.

表示活细胞和坏死细胞的体积V1(t） 和 N（t），动力学分别由

(12)

在这里，g（V1(t）） 表示外周环中的活细胞转移到球状体中心的坏死核心，以保持环的宽度小于Rd (图3B）。请注意，g（V1(t）） = 0 表示 R（t） < Rd.表示总球体体积 V（t） = V1(t） + N（t） = 4πR3(t）/3，我们看到

(13)

或等效

(14)

因此，径向死亡模型完全由单个自变量R（t）（或等效的V（t））描述。

我们在图 4 中展示了径向死亡模型的解和相应的拥挤函数。径向死亡模型有三个未知参数，p5= [λ， ζ， Rd]?.所有三个参数在格林斯潘模型中都有等效的解释，λ在所有其他模型中都有等效的解释。

型号 6.沃德和金的多相模型 （k = 8）

最后，我们考虑Ward和King的生长饱和球体模型[16，17]，这是一个移动边界偏微分方程模型，明确地将细胞密度，细胞物质密度（即DNA，脂质，蛋白质和组成活细胞的其他物质）和营养密度作为空间和时间的函数（图3C).通过假设球体生长是球形对称的，我们最终使用了一个由三个时间相关的偏微分方程和一个空间坐标组成的系统。完整的细节可以在[17]中找到，但是我们应用了一些简化，因此现在提供了模型中关键机制的摘要。

我们表示活细胞n（r，t），细胞物质p（r，t）和营养物质（即氧）c（r，t）的相对密度。 此处，0 ≤ r ≤ R（t） 是描述从椭球体中心到移动椭球体边界的距离的空间变量 r = R（t）。 我们假设球体不包含空隙，因此 1 = n（r， t） + p（r， t），并且活细胞和细胞物质是不可压缩的，并且以速度 v（r， t） 在整个球体中运输。 细胞每单位体积的最大生长速率为 λ d?1，这是营养浓度的增加函数，由希尔函数指定，

(15)

我们修复希尔指数 m1= 10 捕获格林斯潘模型中类似 Heaviside 的开关行为，c1是增殖速率为最大值一半的营养浓度。同样，细胞受营养依赖性死亡率的影响，其中死亡率是营养浓度的递减函数，

(16)

再次，我们修复了m2= 10 和 c2是死亡率为最大比率一半的营养浓度，用 δ d 表示?1.我们假设营养物质以 k（C） = αk 的速率消耗m(C）. 细胞物质p（r，t）被认为具有与活细胞相同的密度，在有丝分裂期间被消耗，在整个球体中自由扩散，扩散率Dp微米2d?1，在周围介质中以相对密度 p 提供0，并在通量Q处从球体边界处的周围介质进入椭球体pμm d?1.

由于营养物质的扩散速度比细胞增殖的速度更快，因此我们假设营养物质处于扩散平衡状态。这些假设产生了偏微分方程的耦合系统

(17)

移动边界 r = R（t） 对应于椭球体的外半径。在这里，v（r，t）表示整个球体中物质的速度，描述了细胞和细胞物质的运动。因此，球体边界处的速度v（R（t），t对应于椭球体外半径的增长率。与本文中考虑的其他模型相比，Ward and King模型中的整体球体生长是由球体内部材料的空间结构和组成明确驱动的。

虽然沃德和国王模型不能以方程7广义逻辑的形式表示为广义逻辑增长模型，但我们可以通过经验计算拥挤函数

(18)

在图 4 中，我们展示了 Ward 和 King 模型的解以及相应的经验拥挤函数。用于求解沃德和国王模型的数值算法的详细信息作为补充材料（S1文件）给出。

沃德和国王模型有八个未知参数，p6= [λ， δ， c1， c2， α，Dp,Qp， p0]?.只有单位体积增殖速率λ与所有其他模型共享解释。其余七个参数与球体生长的机制有关。

结果

我们的分析有两个主要组成部分。首先，我们应用标准方法，使用合成生成的噪声数据来确定格林斯潘模型和两个简单模型在一个层次结构中的实际可识别性。其次，我们开发了新颖的几何方法，利用该层次结构中模型之间的几何关系来研究格林斯潘模型中的非可识别性。由于此几何分析考虑了模型输出的特征，这些特征是确定性的且不依赖于数据，因此此分析类似于结构可识别性和敏感性分析。然而，由于模型不是嵌套的，模型输出在无噪声限制下不会变得相同，因此我们的分析隐含地结合了建模偏差，这是大多数实验数据分析的一个特征，其中每个数学模型都是一个抽象。

可识别性分析

我们做出标准假设，即观测值，记作 y = [y(1)， y(2)， ...， y(n)]?，受到独立的加法噪声[46，47]的影响，使得

(19)

其中 ε ～ N（0， σ2） 并表示 m 的第 k个元素我（?）。在我们的例子中， m我(p） = R（t(k);因此，对数似然函数由下式给出。

(20)

最大似然估计 （MLE） 是对数似然函数最大化的参数向量，或者等效地最小化误差项或损失函数的参数向量

(21)

因此，MLE 等效于最小二乘估计值。我们使用格林斯潘模型生成的合成数据计算每个模型的 MLE，该模型具有预先指定的恒定噪声，图 20B 中的标准偏差 σ = 1 μm，表明所有模型都能够产生与合成数据的完美拟合。

配置文件可能性。

为了建立单个模型参数的可识别性，我们应用了轮廓似然法[19，48，49]。剖面似然法通过查找受所分析参数为固定约束的 MLE 来剖析对数似然函数。表示要由 φ 分析的参数，其余参数表示为 η p = （φ， η），配置文件对数似然由下式给出

(22)

当所有参数都变化时，MLE 在哪里。φ = φ 时的剖面似然值0对应于似然比检验的检验统计量，并且具有渐近 χ2-分配。因此，我们可以通过将参数的配置文件对数似然与大约 95% 置信区间的阈值进行比较来建立可识别性，等于 ?Δ1,0.95/2 ≈ ?1.92，其中 Δν，q指 χ 的第 q个分位数2ν自由度分布[50]。具有严格约束区间且剖面似然高于此阈值的模型参数被归类为可识别的。在这项工作中，我们使用Nelder-Mead算法在一个覆盖几个数量级的真实参数的区域上以数值方式获取对数似然函数的上确界[51]。我们按顺序分析对数似然，从最接近MLE的点开始。为了确保找到全局最大值，我们在三个点启动优化例程，对应于 MLE、先前分析的点和最初指定的猜测;如果这三个优化之间存在差异，则以对数似然最大的结果为最大值。

我们使用图5A、5C和5D中的剖面似然法，使用格林斯潘模型生成的合成数据（之前在图1B中显示）建立逻辑、径向死亡和格林斯潘模型中参数的可识别性。逻辑模型和径向死亡模型都是可识别的;参数估计值可以建立到双侧 95% 置信区间内。我们还看到，每个模型之间每个体积增长率 λ 的置信区间是一致的。图5D结果表明格林斯潘模型中的参数;具体来说，Q 和 γ 是不可识别的，或者说是单方面可识别的。首次发生坏死的球体半径的估计值，Rd，被限制为双侧 95% 置信区间，但是该置信区间的上限对应于观察到的最大椭球体尺寸，这表明 Rd也只能单方面识别。

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图5. 逻辑模型、径向死亡模型和格林斯潘模型的可识别性分析。

（A，C，E）使用格林斯潘模型生成的合成数据，以标准差σ = 20 μm分析每个模型中参数的可能性。还显示了大约 95% 置信区间的阈值（黑色虚线）。降低置信水平（即从 95% 降低到 99%）会降低此阈值。对于格林斯潘模型，我们还显示了用于生成合成数据的参数值。（E） 显示格林斯潘模型中每个参数的分析误差函数。请注意，误差函数的配置文件是在无噪声数据的情况下生成的。（B） 逻辑模型的归一化对数似然曲面，显示费舍尔信息矩阵的最大似然估计（黑点）和两个特征向量。v1对应于具有最小特征值的特征向量。请注意，轴是相对于最大似然估计值缩放的。

https://doi.org/10.1371/journal.pcbi.1010844.g005

为了探索格林斯潘模型中的参数在无噪声数据极限中是否可以识别，我们在假设情况下生成误差函数（方程21）的配置文件，即进行无噪声观测，以便σ = 0 μm。这以类似于对数似然函数配置文件的方式完成，尽管最大化被最小化所取代。结果如图5E所示。我们的目标是确定参数是否唯一映射到无噪声极限中的数据，或者等效地，在p附近是否存在其他参数组合1其中误差函数为零。图5E的结果表明，误差函数具有明确定义的最小值，表明格林斯潘模型中的参数在无噪声极限下理论上是可识别的。

费舍尔信息。

对于具有加性法向噪声的模型，模型 i 的费舍尔信息矩阵 （FIM） 由下式给出

(23)

其中 J我是模型i的雅可比矩阵，有时称为参数灵敏度矩阵[49]。对于在n个时间点收集的椭球体半径数据，J我是 n × k我带元素的矩阵

(24)

其中 k我是参数的数量。FIM 是一个 k我× k我矩阵与对数似然函数（方程 20）和最小二乘成本函数（方程 21）的预期黑森州（因此，曲率）相关。

FIM在MLE中的排名与可识别参数组合的数量有关[49]。我们发现图5中研究的模型（逻辑模型、径向死亡模型和格林斯潘模型）的FIM具有完整的秩。这与剖析误差函数（图5E）的结果一致，我们发现，尽管模型参数实际上无法从可用数据中识别出来，但它们可以从无噪声数据中识别出来。

对于许多模型，FIM 可能是全秩的，但条件数很大，因此接近单数。例如，我们发现格林斯潘模型的 FIM 的条件编号为 ，表明 FIM 是全秩和非奇异的，但至少有一个无信息方向。我们还可以从图5D中的轮廓似然结果中看到这一点，该结果表明Q和γ不能被约束在95%的置信度以内，这表明参数方差很大，并且相应地接近奇异FIM。模型草率分析通过从FIM的全谱中获得洞察力，提供了关于可识别性的更细粒度的信息（图1D）。总之，这种分析在参数空间中建立了刚性的方向，即从数据中识别;以及那些草率的，即无法识别的。

我们在图 5B 中演示了逻辑模型的对数似然面和 FIM 特征向量之间的关系。由具有最大特征值 v 的特征向量定义的方向2，指向从 MLE 最陡峭下降的方向。由 v 定义的方向1，具有最小特征值的特征向量指向从 MLE 开始最浅的下降方向。如果特征值趋于零，则在相应特征向量的方向上，可能性变得平坦，并且位于此轮廓上的参数无法区分：此方向很草率。

在图1D中，我们显示了每个模型的FIM对数特征值，按每个模型的最大特征值缩放。除了格林斯潘模型和沃德和金模型之外，所有模型的特征值都在相对较少的几十年内受到限制。格林斯潘的模型有一个特征值，其量级比其余特征值小得多，这表明只有一个草率或没有信息的方向。类似地，Ward和King的模型有两个特征值，其量级比其余特征值小得多，这表明两个方向很草率。

几何分析

可识别性和模型马虎性分析表明，格林斯潘模型中的几个参数无法从球体半径测量中识别出来，但是我们无法获得有关每个不可识别参数对数据特征的影响的进一步信息。为了进一步研究这一点，我们研究了格林斯潘模型与简单，可识别，逻辑和径向死亡模型之间的几何关系。

我们根据模型 i 中的参数定义一个映射，记作 p我，到可识别模型 j 中的参数，表示为 pj，在最小二乘意义上使得

(25)

哪里

(26)

p的解释j = fij(p我） 是观察到模型 I 的无噪声数据时模型 j 中参数的最大似然或最小二乘估计值。为了量化拟合优度，我们将其解释为模型之间对应关系的度量，我们计算了 R2统计

(27)

其中 E[?] 表示样本均值。在这项工作中，我们使用Nelder-Mead算法在一个覆盖几个数量级的真实参数的区域上以数值方式获取对数似然函数的上确界[51]。

在图4B中，我们显示了从格林斯潘模型生成的无噪声数据，其中p1 = [Q， Rd， γ， λ]?= [0.8， 150， 1， 1]?.在这种情况下，我们在逻辑模型和格林斯潘模型之间有很好的对应关系（R2= 0.998），p2= [λ， R.max]?= [1.21， 316]?.尽管两个模型共享一个参数λ，具有等效的生物学解释（每体积增长率），但该参数的估计值在模型之间有所不同。这一结果强调，尽管具有相似的生物学解释，但模型之间的参数估计不一定具有直接可比性[21]。在我们的例子中，格林斯潘模型和逻辑模型都假设细胞以无限小球体的速率λ呈指数增殖，但是模型之间的拥挤函数不同，因此逻辑模型无法捕获格林斯潘模型中的初始指数增长阶段（图4B）。鉴于有界龚珀茨模型和格林斯潘模型具有相当的拥挤函数，我们看到这些模型之间λ的估计值之间有更好的一致性（R2= 0.99997，p3= [λ， R.max]?= [1.00， 317]?).在所有情况下，最大半径的估计值 R.max，同意数值计算的格林斯潘模型的长期解（R.max= 320 μm）。

为了研究模型之间的敏感性，我们计算了f的雅可比矩阵ij(p我），表示

(28)

我们计算 Jij(p我） 在数值上，使用在标准化算法中实现的有限差分近似，该算法对用于计算 f 的优化算法引入的数值噪声具有鲁棒性ij(p我) [52]. J的行ij(p我） 对应于 p 中每个元素的梯度j，用 表示。这些向量垂直于模型 i 参数空间中的超平面，因此定义了超平面，该超平面局部给出在 p 附近的相同估计我.例如，我们可以使用 Jij(p我） 以可视化格林斯潘模型中给出相同 λ 和 R 估计值的参数组合.max在逻辑和有界的冈珀茨模型中。

虽然在几何上很有用，但很难解释J的元素ij(p我），因为每个参数的比例都有很大差异，即使在每个模型中也是如此。因此，我们引入了pj = fij(p我），表示

(29)

（k1， k2） 元素的灵敏度矩阵由下式给出

(30)

并且可以解释为模型J中参数的相对增加是由于模型I中的参数增加。对于从格林斯潘到物流模型的地图，我们有

(31)

在这里，我们看到模型之间λ几乎一一对应，例如，格林斯潘模型中Q增加1%与逻辑模型中λ降低0.0156%相关。此外，该分析表明，粗略地说，参数子集（Q，Rd，γ） 主要对应于最大椭球体尺寸。我们根据每行 S 中元素的相对大小得出此结论12(p1) (等式31）。换句话说，存在（Q，R）的三元函数d、γ） 映射到 R.max，以及推而广之的可能性。这就解释了为什么 （Q， Rd，γ）实际上是无法识别的图5，并且由于R.max是可识别的，我们期望（Q，R）之间的关系d、γ） 也是可识别的，而各个参数则不可识别。这种分析类似于用于通过分析[53，54]或FIM [55]建立可能性的可识别参数组合的现有技术。从方程（31）中，我们还看到每个模型中的每体积增殖率都对应。后一个观察结果与图5中的剖面似然分析完全一致，我们看到格林斯潘模型中λ的估计是可识别的。

使用逻辑模型进行几何分析。

由于格林斯潘模型只有四个参数，其中一个是实际可识别的（图5D），我们可以直观地探索格林斯潘模型和逻辑模型之间的几何联系，以深入了解这些模型之间的关系。为此，我们将可识别参数固定为真实值 λ = 1 h?1，并以数值方式计算其余参数值 [γ， Q， R 的坐标d]?对于其中 f12(p） 是常数;也就是说，格林斯潘模型中映射到逻辑模型中与真实值 p 处相同的参数集的参数1 = [Q， Rd， γ， λ]?= [0.8， 150， 1， 1]?.我们展示了相关的二维流形，它们给出了恒定的增殖速率 λ 和恒定的最大球体尺寸 R.max，在图6A中。这些流形的交点对应于一维流形，该流形在格林斯潘模型中给出了一组参数，这些参数映射到最小二乘意义上的逻辑模型的同一解曲线。由于逻辑模型与格林斯潘模型（R2= 0.998），我们期望这个交点对应于一条近似然恒定的曲线;位于此行上的参数集无法区分，导致单个参数无法识别。

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图6. 格林斯潘模型、逻辑模型和径向死亡模型之间模型间几何图形的可视化。

曲面对应于 （A–C） 格林斯潘和 （D） 径向死亡模型的参数空间中的流形，这些流形产生（红色）恒定体积增长率 λ 和（蓝色）恒定最大椭球体尺寸 R.max，与逻辑模型相比。在所有情况下，用于比较的参数集都显示为黑盘。在（A，D）中，黑色曲线对应于方程（32）的解，并给出近恒定似然的曲线。请注意，为了清晰起见，该曲线在歧管前面可视化。在（B）中，我们将流形（半透明）与对应于模型映射雅可比矩阵行的两个平面的线性化进行比较（方程（33））。我们显示马虎的方向v1（黑色）和模型映射雅可比行的交叉乘积（绿色虚线）。在（C）中，我们显示了对应于恒定最终坏死核心尺寸的第三个流形，这足以识别格林斯潘模型中的参数。

https://doi.org/10.1371/journal.pcbi.1010844.g006

该流形的维数对应于格林斯潘模型中无信息或草率方向的数量，如图 1D 所示。但是，由于相应的特征值很小但非零，因此该曲线不是常数似然曲线，而是近常常似然曲线。我们认为与F的最小特征值相关的特征向量1(p）（格林斯潘模型的 FIM），在每个点上用 v 表示1(p），定义参数空间中的草率方向;也就是说，模型相对不敏感的方向。从真值开始，我们通过求解常微分方程来遵循参数空间的草率方向

(32)

受制于 p（0） = p1，如图6A所示。正如预期的那样，这条曲线遵循常数 λ 和常数 R 的交点.max歧 管。在图 6B 中，我们使用从模型映射雅可比矩阵制定的每个流形的线性化来证明草率方向与两个流形正交，

(33)

在这里，你1给出逻辑模型中 λ 相对于格林斯潘模型中参数的梯度，与 u 类似2到 R.max.因此，u1和你2垂直于常数 λ 和常数 R.max流形在 p 处1，因此，在 p 处定义每个流形的切平面1.在图 6B 中，我们显示了两个切平面的交点，由向量叉积 u 给出1× u2，对应马虎方向v1.

我们已经确定，来自外半径测量的数据不足以识别格林斯潘模型中的参数。相反，我们只能将参数估计限制为对应于两个二维流形的交集的一维线。这些结果与我们之前的工作[14，18]一致，其中我们证明了需要测量球体的内部结构，特别是坏死核心的大小，以识别参数。我们在几何框架中通过考虑参数空间中的第三个二维流形来探索这一点，对应于格林斯潘模型的实现，该流形在我们的综合实验结束时给出了相同的坏死核心尺寸测量值（t = 21 d）。在图6C中，我们表明，正如预期的那样，三个二维流形的交点对应于一个零维点，表明参数可识别性。

使用径向死亡模型进行几何分析。

径向死亡模型有三个参数，在模型复杂性和可识别性方面介于逻辑模型和格林斯潘模型之间。因此，我们可以应用径向死亡模型来帮助解释格林斯潘模型中的参数，也可以使用逻辑模型了解径向死亡模型的特征。

从格林斯潘到径向死亡模型的地图的灵敏度矩阵由下式给出

(34)

首先，我们看到每个模型中的每体积增长率λ之间几乎是一一对应的。我们预计这一点，因为这两个模型都包括球体增长呈指数增长的有限时间段。其次，我们看到格林斯潘模型中的γ和λ与径向死亡模型中的ζ几乎一一对应。最后，我们看到 Q 和 R 之间几乎是一一对应的。d在格林斯潘的模型中和Rd在径向死亡模型中。虽然 Rd在两种模型中都有类似的解释，在径向死亡模型中，它必须同时捕获生长抑制的第二阶段和坏死的第三阶段，两者都与Q和R有关d.

我们研究了径向死亡模型和格林斯潘模型之间的映射，p5 = f15(p1），我们发现径向死亡模型中的参数等效于格林斯潘模型中的参数（图4）。灵敏度矩阵由下式给出

(35)

最大椭球体尺寸，R.max对径向死亡模型中的所有参数都很敏感，而每体积增长率 λ 在模型之间具有近乎 1 的对应关系。虽然径向死亡模型是可识别的，但我们仍然看到最草率的方向对应于常数 λ 和常数 R 的交点.max由从径向死亡模型到逻辑模型的映射定义的流形（图6D）。在这种情况下，我们使用径向死亡模型的FIM求解方程（32），并在三维参数空间中显示基于95%可能性的置信区域内的结果曲线。

预测不可识别性。

传统的可识别性和草率性分析在模型输出不敏感的参数空间中提供方向（如果有），而我们的几何分析提供了有关模型特征对参数变化的敏感性的信息。这使我们能够使用更简单的现象学模型的已知可识别性结果来预测不可识别性。例如，对于 R（t）/R.max? 1 逻辑模型的解对应于指数增长

(36)

不依赖于 R.max.我们得出的结论是，R.max无法从早期数据中识别。

在图 7 中，我们使用剖面似然分析在 22 ≤ t ≤ 0 d 进行 5 次等间距的早期观测的情况下，建立了逻辑模型、径向死亡模型和格林斯潘模型的实际可识别性。同样，我们从格林斯潘模型生成合成数据，但是将观测值的方差降低σ = 2 μm，以便逻辑模型中λ估计的置信区间与图5中的置信区间相当，图0中的测量时间为21 ≤ t ≤ <> d。正如预期的那样，R.max是不可识别的（特别是 R.max是单侧可识别的，因为我们可以确定最大椭球体尺寸必须大于观测到的椭球体尺寸）。

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图 7. 使用早期数据对逻辑模型、径向死亡模型和格林斯潘模型进行可识别性分析。

（中、丁）使用格林斯潘模型生成的合成数据，以标准偏差 σ = 2 μm 分析每个模型中参数的似然。合成数据如（B）所示。还显示了大约 95% 置信区间的阈值（黑色虚线）。对于格林斯潘模型，我们还显示了用于生成合成数据的参数值。

https://doi.org/10.1371/journal.pcbi.1010844.g007

径向死亡模型和逻辑模型之间映射的几何分析（方程（35））表明，逻辑模型中的λ对（ζ，Rd） 在径向死亡模型中。因此，由于只有λ可以从早期数据中识别出来，我们预计（ζ，Rd） 现在无法识别。我们在图7C中径向死亡模型的剖面似然分析中看到了这一点。从几何分析中，我们能够确定有关（ζ，Rd） 包含在后期数据中。类似地，对格林斯潘和逻辑模型之间的地图进行几何分析（方程（31））确定（Q，R）的变化d、γ） 对应于 R 中的变化.max，但不是 λ。同样，我们的分析表明，关于（Q，Rd，γ）无法从早期数据中获得。这些结果与剖面似然分析（图7D）一致，图<>D显示（Q，R）的剖面d，γ）是平坦的;而 （Q， Rd，γ）在直到t = 21 d的观测中也无法识别，有关早期数据参数的信息较少。

从复杂、不可识别的模型中获取见解。

在解释椭球体半径数据时，与基于 AIC 和模型马虎分析的其他模型相比，Ward 和 King 模型的性能较差（图 1C 和 1D）。由于明显更简单的模型可以提供可比较的拟合，我们得出结论，外半径测量中包含的信息不足以识别（已经简化的）Ward and King模型中的八个参数。Ward and King模型中参数数量的原因是它包含的生物学机制的数量：它是我们认为的唯一一个明确包含细胞对营养物质的消耗，营养物质从球体外部在球体内的通过，细胞死亡以及球体内细胞的初始空间分布的模型。

我们研究了沃德和金模型中参数对逻辑模型指示的特征的敏感性，p6 = f16(p1），其中在优化例程中使用初始猜测。灵敏度矩阵由下式给出

(37)

表1包含描述与每个参数相关的生物学解释和生物学机制的摘要。首先，我们看到模型之间的单位体积增长率是对应的。正如预期的那样，增加每体积细胞生长和死亡率对最大球体尺寸有相反的影响。有趣的是，我们发现增加相对养分消耗率（α）对生长速率几乎没有影响，但确实会导致最大球体尺寸减小。此外，我们看到增加生长抑制的营养阈值，c1，导致最大椭球体尺寸增加;如果细胞需要更多的氧气来增殖，它们会更慢地增殖，但总的来说，这可能会产生更大的球状体。

鉴于沃德和国王模型中有八个参数，因此很难可视化从沃德和国王模型到逻辑模型的地图几何。但是，我们可以将病房和国王的雅可比应用于逻辑模型图，J62(p6），以解释图 1D 中沃德和金模型的模型马虎结果。我们表示 J 的行62作为你1和你2，对应于相对于 λ 和 R 的梯度.max分别。回想一下FIM的特征值对应于每个相应特征向量方向上预期对数似然的曲率，我们将每个特征值的相对大小解释为相应方向的信息量度。在表 2 中，我们列出了 FIM 的特征值以及相应特征向量和单位向量之间的点积，方向为 u1和你2.点积绝对值接近零表示正交性，点积绝对值接近 1 表示方向之间的对应关系。这些结果证实，草率或无信息的方向与对应于λ和R的较大变化的方向正交.max.

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

表 2. 模型地图与无信息方向之间的正交性。

我们将 FIM 相对于最大特征值的特征值以及每个相应的特征向量和沃德和国王的雅可比行之间的点积制成表格，以求逻辑模型映射。

https://doi.org/10.1371/journal.pcbi.1010844.t002

模型映射的雅可比元素与参数的绝对变化有关，而灵敏度矩阵的元素与参数的相对变化有关。因此，我们可以使用敏感度矩阵的行，表示为1和 s2在 Ward 和 King 模型的参数空间周围移动，以实现体积增长率 λ 的相对变化和最大椭球体半径 R 的相对变化.max，（完整详细信息可在 S1 文件中找到）。我们在图8A和8B中证明了这一点，我们在Ward和King模型中选择调整后的参数，以实现λ和R的10%相对增加和减少。.max.

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图8. 使用模型图的灵敏度矩阵来实现模型特征的相对变化。

我们应用敏感度矩阵中的行来调整 Ward 和 King 模型中的参数，以实现逻辑模型中参数的近似相对变化。在 （A-B） 中，我们沿灵敏度矩阵相应行的每一行方向移动;在 （C） 中，我们沿第 1 行与第 2 行正交的投影方向移动，导致体积增长率的相对变化，但不是最大椭球体半径的相对变化。

https://doi.org/10.1371/journal.pcbi.1010844.g008

由于 s1和 s2不正交，沿 s 的相对方向移动1导致 λ 和 R 都增加.max.然而，可能更有用的是，我们可以沿着 s 的正交投影方向移动。1到 S2在不改变 R 的情况下实现 λ 的近似相对变化.max.我们在图8C中证明了这一点，与图8A中的结果相比，体积增长率有所增加，但最大球体半径的变化要小得多。

讨论

模型复杂性与数据数量和质量之间的联系是计算生物学中一个持续的挑战，通常是主观而不是客观地解决的。虽然新的实验技术正在迅速增加生物数据中可获得的细节和分辨率，但数学模型总是可以任意复杂。另一方面，鉴于提出的生物学问题，数据往往有限。已经开发了可识别性和草率分析来协调模型和数据的复杂性，指导模型选择和简化，以确保参数可识别性[19，56]。然而，数学和计算生物学中常见的复杂，高度详细，高度参数化的模型通常需要回答重要的生物学问题：肿瘤球状体生长模型必须包含营养依赖性，以深入了解营养素对生长的作用[8，57].正如我们所展示的，对于某些数据，只有简单的现象学模型，如逻辑和冈珀茨增长模型，是可识别的。这些模型可以为实验数据提供极好的一致性，允许对实验进行比较和解释，但不是建构主义的，只能提供对潜在生物学机制的有限见解。

在许多情况下，简单的现象学模型产生的拟合优度与复杂的机制模型相当（图1B和1C）。因此，传统的模型选择方法将有利于简单模型的简单性和可识别性，从而减少复杂模型中的参数数量。复杂机制模型中不可识别的参数带有实验科学家和生物学家最感兴趣的直接生物学解释（例如营养敏感性），简单模型中的可识别参数带有与数据特征相关的解释（例如，早期变化率或最大球体尺寸）。在这项工作中，我们利用这一关键差异，通过研究从复杂模型中的参数到可识别替代物中的参数的地图几何形状，从复杂的机制模型中汲取生物学见解。对我们方法的一种解释是提供一种中间解释模式，该模式介于模型参数和似然（或其他拟合优度指标）之间，该模式传统上在可识别性和模型草率分析中研究。与研究模型在整体拟合方面的敏感性相反，我们有效地将拟合分解为特征，并研究模型参数对这些特征的敏感性。这种方法使我们能够利用机制建模从数据中获得见解，否则如果直接研究一维拟合优度指标（例如可能性），这些数据就会丢失。

我们通过分析肿瘤球状体生长的常见模型和典型数据来展示我们的方法。肿瘤球状体实验的数学模型范围从简单的逻辑生长模型[11，58]，到可以捕获任意数量的细胞和营养物质密度的空间模型[13，17，59，60]，以及描述球体中每个细胞个体行为的基于个体的模型[61-63].尽管即使是这种简单的肿瘤生长实验模型也很复杂，但数据通常只包括整体肿瘤球体大小的测量值。更复杂的实验系统，如体内血管化肿瘤生长，伴随着相应的复杂模型[64-66]，但与无血管肿瘤生长的实验模型相比，这些实验的数据可能更加有限、嘈杂或稀疏[18].即使是相对简单的格林斯潘模型，它只包含四个未知参数，如果不测量内部球体结构，也无法识别[14]。我们在这项工作中的目标是从这些复杂度与可用数据不匹配的模型中获取见解。

模型-数据关系通常通过结构或实际可识别性分析来探索[26];前者在无限数据、仅模型的参考系中，后者考虑将模型与数据联系起来的嘈杂观察过程。虽然我们首先建立了每个模型的实际可识别性，但由于多种原因，我们的几何分析不属于这些分类中的任何一种。首先，模型映射是在最小二乘意义上定义的，并且没有明确合并数据。其次，由于代理模型不一定嵌套在感兴趣的复杂模型中，因此两者在有意义的无限无噪声数据限制中并不等价。因此，如果复杂模型被认为是现实的，则代理模型会产生有偏差的预测。在数据背景下，我们认为这是一个优势，因为即使是复杂的模型也是现实的抽象。当我们利用代理模型来表征数据的特征时，我们的方法总体上对这种偏差是稳健的。我们通过在正文中使用逻辑模型作为格林斯潘模型的替代项来证明这一点，尽管有界龚珀茨模型具有与格林斯潘模型更相似的拥挤函数。使用 Gompertz 和 Richards 模型（S1 文件）的分析与使用逻辑模型的分析类似。

基于FIM的可识别性和草率分析以及我们基于灵敏度矩阵的几何分析的限制是仅提供局部信息的限制。实际上，这些技术分别涉及复杂模型的MLE（或其他正在考虑的参数值）的二次逼近和线性化，因此在相应可能性为多模态的情况下非常敏感。虽然逻辑模型和格林斯潘模型之间的映射相关的流形（图 6A 和 6B）在感兴趣的参数组合附近是局部线性的，但全局范围内与 λ 相关的流形显示为双曲线。常似然曲线上的不同点有可能产生截然不同的灵敏度矩阵。解决这个问题的一种方法是结合先验知识来规范参数拟合问题。最近的工作考虑了直接基于贝叶斯方法（如马尔可夫链蒙特卡洛）估计的参数协方差矩阵的可识别性和草率性分析，以提供全局参数敏感性的整体快照[35]。但是，我们预计这种方法在我们的几何框架中会有问题，因为模型映射基于模型之间的等价性，这些模型可能仅适用于用于计算模型间灵敏度矩阵的点附近。

格林斯潘模型中相对较少的未知参数使我们能够使用代理模型直观地探索参数空间的几何形状，从而深入了解模型映射灵敏度矩阵未捕获的非线性。然而，与传统的可识别性分析（其中参数通常被分类为可识别或不可识别）相比，模型映射灵敏度矩阵能够进一步对不可识别的参数进行分类，这些参数与它们相关的特征。在感兴趣的参数值附近，通过将参数空间分解为与各个要素相关的低维子集，即使对于具有三个以上未知参数的模型，这种分类也可以允许图形几何分析。例如，在Ward and King模型中，与最大椭球体尺寸（λ，α，δ）最强的三个参数可以优先于完整的八维参数空间进行进一步分析[29]。

除了深入了解模型特征对参数的敏感性和预测不可识别性之外，我们还简单演示了如何使用模型-映射关系在参数空间中移动以对特定模型特征进行更改（图 8C）。类似于沿最草率方向移动，这些结果显示了如何约束参数空间中的运动以对特征流形进行建模。对于难以校准的参数化模型（例如，可能是由于多模态似然），将用于模型校准的优化算法中的运动约束到这些流形允许模型特征的连续匹配：例如，首先移动到产生所需最大椭球体半径的参数组合，然后在此流形上移动以匹配增长曲线的形状和尺度。更一般地说，应用本身就是候选模型的替代模型为未来的分析提供了有趣的可能性。逻辑模型的推广，例如三参数理查兹模型，提供了模型行为的低维总结，可以使用机器学习或高斯过程来表征[67]。在复杂模型和代理模型之间建立全局模型映射是克服我们方法定位限制的另一种方法，并且在计算昂贵的复杂模型的情况下可能在计算上具有优势。

鉴于它们提出的生物学问题，实验数据往往受到限制。同样，在数学和建模文献中，复杂模型数量众多，通常更适合感兴趣的生物学问题，但可能不适合根据现有数据进行参数化。在这项工作中，我们开发了一种几何分析，以使用简单的代理模型（参数与数据中的特征相关）从复杂的，不可识别的模型中获得见解。我们希望我们的分析适用于生物系统的任何不可识别和可识别模型的层次结构。

支持信息

支持材料文件。

跳到无花果共享导航

补充材料“几何分析能够从复杂的生物洞察使用简单替代物的不可识别模型”亚历山大·布朗宁1,2,3和马修·辛普森*1,21澳大利亚布里斯班昆士兰科技大学数学科学学院2昆士兰科技大学数据科学中心，昆士兰科技大学，澳大利亚3牛津大学数学研究所，英国牛津6月 2023， <>内容1 沃德和国王模型的数值解22 灵敏度矩阵43 格林斯潘对有界冈珀茨模型图的敏感性54 格林斯潘对理查兹模型图的敏感性5?通讯作者： matthew.simpson@qut.edu.au1

1 沃德和国王模型的数值解在这里，我们简要详细介绍我们的数值算法，以近似地解 Ward 和国王模型[1]，由偏微分方程耦合系统描述?n?吨+v?n?r=nDpr2??r(r2?n?r)+ (km(c)?kd(c))n， t >0,0< r < R(t),0 =1r2??r(r2?c?r)?k(c)n,t >0,0< r < R(t),0 =Dpr2??r(r2?n?r)+1r2?(r2v)?rt >0,0< r < R(t),n(r，t) =n0， r(t) =R0,t= 0,0< r < R(t),?n?r= 0,?c?r= 0- W= 0,t >0， r= 0,c= 1,?Dp?n?r=?Qp(1?p0?n),dR(t)dt=v,t >0， r=R(t).(1)我们的算法在 Julia 中实现，可在 GitHub 上找到Modules/SpheroidModels/models/spatial/wardandking.jl.首先，我们遵循 [1] 并将空间和时间变量非维度化，以便r=R0?r,R(t) =R0?R(t） 和t=?不适用.在不损失一般性的情况下，我们然后解决非对系统进行量纲化，并将结果重新量纲化，与实验数据进行比较。为了计算非维度化系统的解，我们接下来将增长域 0

下载

无花果分享

S1 文件。 支持材料文件。

https://doi.org/10.1371/journal.pcbi.1010844.s001

（英文）

确认

我们感谢Nikolas Haass和Gency Gunasingh培训APB进行肿瘤球状体实验，这激发了这项工作。

引用

1米利佩 J， 柯克 P， 菲利皮 S， 托尼 T， 巴恩斯 CP， 斯坦普夫 MPH.使用近似贝叶斯计算从系统生物学实验数据中进行参数估计和模型选择的框架。自然协议。2014;9(2):439 456.密码：24457334

查看文章PubMed/NCBI谷歌学术搜索

2米Gbor A， Banga JR. 生物系统动态模型中稳健有效的参数估计。BMC 系统生物学。2015;9(1):74.pmid：26515482

查看文章PubMed/NCBI谷歌学术搜索

3米Wolkenhauer O. 为什么是模特？生理学前沿。2014;5:21.pmid：24478728

查看文章PubMed/NCBI谷歌学术搜索

4米约翰斯顿ST，沙阿ET，肖邦LK，麦克尔韦恩DLS，辛普森MJ。通过使用费舍尔-柯尔莫果洛夫模型解释 IncuCyte ZOOM 测定数据来估计细胞扩散率和细胞增殖率。BMC 系统生物学。2015;9(1):38.pmid：26188761

查看文章PubMed/NCBI谷歌学术搜索

5米约翰逊JB，奥姆兰堪萨斯州。生态学和进化中的模型选择。生态学与进化趋势。2004;19(2):101–108.密码：16701236

查看文章PubMed/NCBI谷歌学术搜索

6米Toni T， Welch D， Strelkowa N， Ipsen A， Stumpf MPH. 动态系统中参数推断和模型选择的近似贝叶斯计算方案.英国皇家学会界面杂志。2009;6(31):187–202.pmid：19205079

查看文章PubMed/NCBI谷歌学术搜索

7米柯克P，索恩T，斯坦普夫议员。系统和合成生物学中的模型选择。生物技术的当前观点。2013;24(4):767–774.密码：23578462

查看文章PubMed/NCBI谷歌学术搜索

8米莫吉纳 A， 沃尔曼 R， 马歇尔 WF.细胞生物学中的定量建模：它有什么好处？发育细胞。2006;11(3):279–287.密码：16950120

查看文章PubMed/NCBI谷歌学术搜索

9米Raman DV， Anderson J， Papachristodoulou A. 在复杂模型中描述参数不可识别性。物理评论 E. 2017;95（3）：032314.密码：28415348

查看文章PubMed/NCBI谷歌学术搜索

10米德拉A，什蒂拉B，皮利斯Ld.数学模型的多方法全局敏感性分析。理论生物学杂志.2022;546:111159.密码：35577102

查看文章PubMed/NCBI谷歌学术搜索

11米萨拉帕塔EA，德皮利斯LG。内在肿瘤生长模型的比较和目录。数学生物学通报.2014;76(8):2010–2024.密码：25081547

查看文章PubMed/NCBI谷歌学术搜索

12米沃恩DJ，贝克RE，辛普森MJ。使用实验数据和信息标准来指导数学生物学中反应扩散问题的模型选择。数学生物学通报.2019;19(6):1760–1804.密码：30815837

查看文章PubMed/NCBI谷歌学术搜索

13米格林斯潘HP.通过扩散生长实体瘤的模型。应用数学研究。1972;51(4):317–340.

查看文章谷歌学术搜索

14米墨菲 RJ，布朗宁 AP，古纳辛格 G，哈斯 NK，辛普森 MJ。设计和解释 4D 肿瘤球状体实验。通信生物学。2022;5(1):91.密码：35075254

查看文章PubMed/NCBI谷歌学术搜索

15米默里·数学生物学。第3版. 柏林：施普林格出版社;2002.

16米Ward JP， King Jr. 无血管肿瘤生长的数学建模。IMA数学应用医学和生物学杂志。1997;14(1):39–69.密码：9080687

查看文章PubMed/NCBI谷歌学术搜索

17米Ward JP， King Jr. 无血管肿瘤生长的数学建模。二：增长饱和度建模。IMA数学应用医学和生物学杂志。1999;16(2):171–211.pmid：10399312

查看文章PubMed/NCBI谷歌学术搜索

18米Browning AP， Sharp JA， Murphy RJ， Gunasingh G， Lawson B， Burrage K， et al.肿瘤球状体结构的定量分析。电子生活。2021;10：e73020.密码：34842141

查看文章PubMed/NCBI谷歌学术搜索

19米劳埃 A， 克罗伊茨 C， 迈瓦尔德 T， 巴赫曼 J， 席林 M， 克林米勒 U， 等.通过利用剖面似然对部分观察到的动力学模型进行结构和实用的可识别性分析。生物信息学。2009;25(15):1923–1929.pmid：19505944

查看文章PubMed/NCBI谷歌学术搜索

20米麦克拉伦、尼科尔森·什么可以估计？可识别性、可估计性、因果推理和病态逆问题。arXiv.2019;第 1904.02826 页。

21米辛普森 MJ、布朗宁 AP、沃恩 DJ、麦克拉伦 OJ、贝克 RE。S形种群增长模型的参数可识别性和模型选择。理论生物学杂志.2022;535:110998.密码：34973274

查看文章PubMed/NCBI谷歌学术搜索

22米贝尔曼 R， 斯特姆 KJ.关于结构可识别性。数学生物科学。1970;7(3-4):329–339.

查看文章谷歌学术搜索

23米Chis OT，Banga JR，Balsa-Canto E.系统生物学模型的结构可识别性：方法的关键比较。公共科学图书馆一号。2011;6（11）：e27755.密码：22132135

查看文章PubMed/NCBI谷歌学术搜索

24米Villaverde AF，Barreiro A，Papachristodoulou A.动态系统生物学模型的结构可识别性。公共科学图书馆计算生物学。2016;12（10）：e1005153.pmid：27792726

查看文章PubMed/NCBI谷歌学术搜索

25米巴雷罗XR，维拉韦德AF。用于先验可识别性分析的基准工具。arXiv.2022;第 2207.09745 页。

26米Raue A， Karlsson J， Saccomani MP， Jirstrand M， Timmer J. 生物系统参数可识别性分析方法的比较。生物信息学。2014;30(10):1440–1448.pmid：24463185

查看文章PubMed/NCBI谷歌学术搜索

27米Transtrum MK， Machta BB， Sethna JP.非线性最小二乘法的几何形状及其应用于草率模型和优化。物理评论 E. 2011;83（3）：036701.pmid：21517619

查看文章PubMed/NCBI谷歌学术搜索

28米马赫塔 BB， 查克拉 R， 特兰特鲁姆 MK， 塞斯纳 JP.参数空间压缩是涌现理论和预测模型的基础。科学。2013;342(6158):604–607.密码：24179222

查看文章PubMed/NCBI谷歌学术搜索

29米Monsalve-Bravo GM， Lawson BAJ， Drovandi C， Burrage K， Brown KS， Baker CM， et al.模型模拟中的草率分析：揭示数学模型拟合到数据时的参数不确定性。科学进步。2022;8(38）：eabm5952。pmid：36129974

查看文章PubMed/NCBI谷歌学术搜索

30米古腾昆斯特 RN， 瀑布 JJ， 凯西 FP， 布朗 KS， 迈尔斯 CR， 塞斯娜 JP.系统生物学模型中普遍草率的参数敏感性。公共科学图书馆计算生物学。2007;3（10）：e189.pmid：17922568

查看文章PubMed/NCBI谷歌学术搜索

31米Transtrum MK， Machta BB， Brown KS， Daniels， Myers CR， Sethna JP.观点：物理学、生物学及其他领域的草率和新兴理论。化学物理学报.2015;143(1):010901.密码：26156455

查看文章PubMed/NCBI谷歌学术搜索

32米Lam NN， Docherty PD， Murray R. 参数化模型的实用可识别性：各种方法的优点和局限性的综述。模拟中的数学和计算机。2022;199:202–216.

查看文章谷歌学术搜索

33米杜弗雷斯内E，哈灵顿HA，拉曼DV。马虎的几何形状。代数统计学报.2018;9(1):30–68.

查看文章谷歌学术搜索

34米惠特克 DG， 王 J， 沙特尔沃思 JG， 文卡特沙帕 R， 肯普 JM， 克莱登 TW， 等.使用流形边界的离子通道模型约简。皇家学会界面杂志。2022;19(193):20220193.pmid：35946166

查看文章PubMed/NCBI谷歌学术搜索

35米沃勒特SA，德罗万迪C，蒙萨尔维-布拉沃总经理，亚当斯议员。通过分析模型草率来减少战略模型：珊瑚钙化的案例研究。环境建模和软件。2022;159:105578.

查看文章谷歌学术搜索

36米布朗宁 AP，哈里达斯 P，辛普森 MJ。贝叶斯顺序学习框架，用于参数化黑色素瘤侵入人体皮肤的连续体模型。数学生物学通报.2019-03;81(3):676–698.pmid：30443704

查看文章PubMed/NCBI谷歌学术搜索

37米Wallace DI， Guo X. 通过简单的数学模型展示的肿瘤球状体生长的性质。肿瘤学前沿。2013;3:51.密码：23508803

查看文章PubMed/NCBI谷歌学术搜索

38米墨菲 RJ， 古纳辛格 G， 哈斯 NK， 辛普森 MJ.具有时间依赖性氧可用性的肿瘤球状体的生长和适应机制。公共科学图书馆计算生物学. 2023;19（1）：e1010833。https://doi.org/10.1371/journal.pcbi.1010833

查看文章谷歌学术搜索

39米谢拉特，默里JD。表皮伤口愈合模型。伦敦皇家学会会刊B辑：生物科学。1990;241(1300):29–36.密码：1978332

查看文章PubMed/NCBI谷歌学术搜索

40米迈尼PK，麦克尔韦恩DLS，利维斯利DI。行波模型，用于解释人腹膜间皮细胞的伤口愈合细胞迁移测定。组织工程。2004;10(3-4):475–482.密码：15165464

查看文章PubMed/NCBI谷歌学术搜索

41米Murphy RJ， Maclaren OJ， Calabrese AR， Thomas PB， Warne DJ， Williams ED， et al.用于诊断、理解和预测双相人口增长的计算高效框架。2022.

查看文章谷歌学术搜索

42米Tsoularis A， Wallace J. 逻辑增长模型分析.数学生物科学。2002;179(1):21–55.密码：12047920

查看文章PubMed/NCBI谷歌学术搜索

43米莱尔德·肿瘤生长的动力学。英国癌症杂志。1964;18(3):490–502.密码：14219541

查看文章PubMed/NCBI谷歌学术搜索

44米格莉·模型混乱：寻找肿瘤生长规律。癌症研究。2013;73(8):2407–2411.密码：23393201

查看文章PubMed/NCBI谷歌学术搜索

45米内尔德·贾。逻辑曲线泛化的拟合。生物测定学。1961;17(1):89.

查看文章谷歌学术搜索

46米Kreutz C， Raue A， Timmer J. 基于可能性的可观察性分析和动态模型预测的置信区间。BMC 系统生物学。2012;6(1):120.pmid：22947028

查看文章PubMed/NCBI谷歌学术搜索

47米海恩斯·科，米登多夫，奥尔德里奇·确定非线性生物物理模型中的参数可识别性：一种贝叶斯方法。普通生理学杂志。2014;143(3):401–16.密码：24516188

查看文章PubMed/NCBI谷歌学术搜索

48米帕维坦·所有可能性：使用可能性进行统计建模和推理。牛津：牛津大学出版社;2013.

49米艾森伯格MC，林马尔。使用子集分析确定可识别的参数组合。数学生物科学。2014;256:116–126.pmid：25173434

查看文章PubMed/NCBI谷歌学术搜索

50米Royston P. 估计和置信区间的剖面似然。斯塔塔杂志。2007;7(3):376–387.

查看文章谷歌学术搜索

51米约翰逊.朱莉娅的NLopt模块;2021. 可用： https://github.com/JuliaOpt/NLopt.jl.

52米JuliaDiff/FiniteDifferences.jl;2022.

53米输入输出等价性和可识别性：微分代数方法的一些简单推广。arXiv.2013;第1302.5484页。

54米Maiwald T， Hass H， Steiert B， Vanlier J， Engesser R， Raue A， et al.将模型推向极限：基于配置文件似然的模型约简。公共图书馆一号。2016;11（9）：e0162366.密码：27588423

查看文章PubMed/NCBI谷歌学术搜索

55米斯蒂格特、莫莱娜·一种评估局部结构可识别性的快速算法。自动。2015;58:118–124.

查看文章谷歌学术搜索

56米阿尔伯斯DJ，莱文梅，马米金娜L，赫里普萨克G。参数 Houlihan：针对残酷病态问题的高通量可识别性不确定性的解决方案。数学生物科学。2019;316:108242.pmid：31454628

查看文章PubMed/NCBI谷歌学术搜索

57米Grimes DR， Kannan P， McIntyre A， Kavanagh A， Siddiky A， Wigfield S， et al.氧气在缺血性肿瘤生长中的作用。公共图书馆一号。2016;11（4）：e0153692.密码：27088720

查看文章PubMed/NCBI谷歌学术搜索

58米Laleh NG， Loeffler CML， Grajek J， Stakov K， Pearson AT， Muti HS， et al.用于预测化疗和免疫治疗反应的经典数学模型。公共科学图书馆计算生物学。2022;18（2）：e1009822.

查看文章谷歌学术搜索

59米阿劳霍RP，麦克尔韦恩DLS。实体瘤生长研究的历史：数学建模的贡献。数学生物学通报.2003;66(5):1039.

查看文章谷歌学术搜索

60米勒斯纳 D， 弗莱格 JA， 伯恩 HM， 克莱门茨 JA， 哈特马赫 DW.局限性癌症球体的生长：一种结合实验和数学建模的方法。综合生物学。2013;5(3):597–605.密码：23388834

查看文章PubMed/NCBI谷歌学术搜索

61米Ghaffarizadeh A，Heiland R，Friedman SH，Mumenthaler SM，Macklin P. PhysiCell：用于3D多细胞系统的基于物理的开源细胞模拟器。公共科学图书馆计算生物学。2018;14（2）：e1005991.密码：29474446

查看文章PubMed/NCBI谷歌学术搜索

62米Bull JA， Mech F， Quaiser T， Waters SL， Byrne HM. 数学建模揭示了肿瘤球体内的细胞动力学。公共科学图书馆计算生物学。2020;16（8）：e1007961.密码：32810174

查看文章PubMed/NCBI谷歌学术搜索

63米Klowss JJ， Browning AP， Murphy RJ， Carr EJ， Plank MJ， Gunasingh G， et al.具有实时荧光细胞周期标记的 4D 肿瘤球体的随机数学模型。皇家学会界面杂志。2022;19(189):20210903.pmid：35382573

查看文章PubMed/NCBI谷歌学术搜索

64米德尔加多-圣马丁 JA， 哈尔·吉， 德莫拉 APS， 耶茨 JWT.氧驱动的肿瘤生长模型：一种与病理学相关的数学方法。公共科学图书馆计算生物学。2015;11（10）：e1004550.密码：26517813

查看文章PubMed/NCBI谷歌学术搜索

65米维拉诺娃 G， 科洛米纳斯一世， 戈麦斯 H.肿瘤血管生成的数学模型：生长，消退和再生。英国皇家学会界面杂志。2017;14(126):20160918.密码：28100829

查看文章PubMed/NCBI谷歌学术搜索

66米尹 A， 莫斯 DJAR， 哈瑟尔特 JGCv， 斯文 JJ， 古切拉尔 H.实体瘤肿瘤动力学和治疗耐药性演变的数学模型综述.CPT：药物计量学和系统药理学。2019;8(10):720–737.pmid：31250989

查看文章PubMed/NCBI谷歌学术搜索

67米Kennedy M， O'Hagan A. 当快速近似可用时预测复杂计算机代码的输出。生物梅特里卡。2000;87(1):1–13.

查看文章谷歌学术搜索