无监督微生物组分析中的过度乐观：来自网络学习和聚类的见解
特蕾莎·乌尔曼 ，斯蒂芬妮·佩舍尔，菲利普·芬格，克里斯蒂安·穆勒 ，安妮-劳尔·布勒斯泰克斯
发布时间：2023 年 1 月 6 日
抽象
近年来，微生物组数据的无监督分析（例如微生物网络分析和聚类）越来越受欢迎。已经为这些任务提出了许多新的统计和计算方法。这种分析策略的多样性给研究人员带来了挑战，他们通常不确定使用哪种方法，并且可能会试图在他们的数据集上尝试不同的方法来寻找“最佳”的方法。但是，如果只选择性地报告最佳结果，则可能会导致过度乐观：“最佳”方法过度拟合特定数据集，并且结果可能无法在验证数据上复制。这种影响最终会阻碍研究进展。然而，到目前为止，这些主题在无监督微生物组分析的背景下很少受到关注。在我们的说明性研究中，我们的目标是量化在这种情况下过度乐观的影响。我们模拟了一个假设的微生物组研究人员的方法，他承担了四个无监督的研究任务：细菌属的聚类，微生物网络中的枢纽检测，差异微生物网络分析和样本聚类。虽然这些任务是无监督的，但研究人员可能仍然对什么是有趣的结果有一定的期望。我们将这些期望转化为假设的研究人员可能想要优化的具体评估标准。然后，我们将美国肠道项目中的示例数据集随机拆分为多次发现和验证集。对于每项研究任务，对发现数据尝试多种方法组合（例如，数据规范化、网络生成和/或聚类方法），并根据评估标准选择产生最佳结果的组合。虽然假设的研究人员可能只报告此结果，但我们也将“最佳”方法组合应用于验证数据集。然后将结果在发现和验证数据之间进行比较。在所有四项研究任务中，都有明显的过度乐观效应;与发现数据相比，验证数据集上的结果更差，发现数据在多次随机拆分为发现/验证数据时取平均值。因此，我们的研究强调了微生物组分析中验证和复制以获得可靠结果的重要性，并表明过度乐观的问题超出了统计测试和钓鱼重要性的背景。
作者摘要
微生物组研究的重点是微生物群落，例如生活在人类肠道中的微生物群落。为了确定这些群落的结构，构建代表不同微生物之间关联的微生物网络变得流行起来。微生物关联通常通过应用聚类算法进一步分析，即研究人员试图找到彼此密切相关的微生物组（簇）。同样，研究人员也有兴趣寻找细菌组成相似的样本簇，通常称为肠型。为了产生更广泛、更可靠的见解，基于一个特定数据集构建的网络和聚类结果也应推广到其他数据集。但是，这可能会受到可用于网络学习和聚类的大量统计方法的影响。由于不确定使用哪种方法，研究人员可能会在他们的数据集上尝试多种方法，并选择产生“最佳”结果的方法（例如，具有最多强连接微生物的网络）。当尝试许多这样的方法时，“最佳”方法可能过度拟合到手头的特定数据集，并且结果可能不会推广到新数据。我们的研究证明了这种过度乐观的影响，并给出了检测和/或避免过度乐观偏见的建议。我们的目标是提高人们对这个问题的认识，并提高未来微生物组研究的可靠性。
引文： Ullmann T，Peschel S，Finger P，Müller CL，Boulesteix A-L （2023） 无监督微生物组分析中的过度乐观：来自网络学习和聚类的见解。公共科学图书馆计算生物学19（1）： e1010820. https://doi.org/10.1371/journal.pcbi.1010820
编辑 器： 路易斯·佩德罗·科埃略， 复旦大学，中国
收到： 七月 19， 2022;接受： 12月 15， 2022;发表： 1月 6， 2023
版权所有： ? 2023 乌尔曼等人。这是一篇根据知识共享署名许可条款分发的开放获取文章，该许可允许在任何媒体上不受限制地使用、分发和复制，前提是注明原作者和来源。
数据可用性： AGP数据集可以在Zenodo上访问 https://doi.org/10.5281/zenodo.6652711。用于生成本手稿中呈现的结果和分析的源代码可在 Github 上找到 https://github.com/thullmann/overoptimism-microbiome。
资金： 这项工作得到了德国联邦教育和研究部（BMBF，www.bmbf.de）[授权号01IS18036A至A.-L.B.（慕尼黑机器学习中心）]和德国研究基金会（DFG，www.dfg.de）[授权号BO3139/7-1至A.-L.B.]的部分支持。本作品的作者对其内容承担全部责任。资助者在研究设计、数据收集和分析、发表决定或手稿准备方面没有任何作用。
竞争利益： 提交人声明不存在相互竞争的利益。
这是一篇PLOS计算生物学方法论文。
1 引言
近几十年来，微生物组研究的受欢迎程度激增。每年都有许多关于人类微生物组的假设，以及其他物种或各种环境中的微生物组。同时，不断引入用于分析微生物组数据的新统计和计算方法。微生物组分析产生了令人兴奋的结果，使人们对医学上新的治疗和预防选择寄予厚望[1，2]。
在这样一个快速发展且前景广阔的研究领域，验证对于确保新结果的可靠性至关重要。然而，这种做法有时可能会被忽视，而倾向于追逐新的假设。该领域存在一定的过度乐观的危险：新的和令人兴奋的结果可能是不可复制的，即它们无法在具有独立数据的研究中得到证实。虽然近年来微生物组研究中出现了关于验证和复制的讨论[3，4]，但它并不像心理学等其他领域那样先进，在这些领域，所谓的“复制危机”受到了相当大的关注[5]。缺乏研究来说明微生物组分析中的验证过程，并量化过度乐观和（非）可复制性。特别是，在无监督微生物组数据分析方面，例如网络分析和聚类，对这些主题的关注很少。
在本文件中，我们朝着填补这一空白迈出了一步。我们以四个无监督的“研究任务”为例说明了在无监督的微生物组分析中如何出现过度乐观：聚类细菌属，在微生物网络中寻找枢纽，差异网络分析和聚类样本。其基本思想是模拟“假设研究人员”的方法，他考虑到这些研究任务并面临各种方法可供选择。由于在本案中应用的适当方法的不确定性，研究人员可能会尝试不同的分析策略，并为每项任务选择“最佳结果”。我们通过验证验证数据（我们将在稍后定义）上的优化结果，以这种方式量化选择“最佳”方法可能产生的过度乐观偏差。我们的主要兴趣不在于四个具体研究任务中的任何一个，而在于证明验证的重要性和避免有问题的研究实践的必要性。通过这项说明性研究，我们旨在提高对微生物组分析中这些主题的认识。
现在，我们将解释我们对术语“过度乐观”、“验证”和“复制”的用法。从广义上讲，过度乐观可能是由两个多重性来源引起的：a）（经过测试的）假设的多重性或b）分析策略的多重性。众所周知，由于I型误差概率的累积，多次测试（即在数据集上测试多个假设）可能导致假阳性结果。这些问题可能会出现在微生物组研究中，例如，当测试微生物组相关变量与健康相关变量的许多关联并仅报告显着结果时[3]。然而，即使只考虑一个假设，分析策略的多样性[6]（我们在本文中重点关注）也可能导致不同的结果，并有可能选择性地只报告最佳结果。研究人员必须对他们的分析策略（一种称为“研究人员自由度”的机制，[7]）做出多种选择，包括数据预处理（例如，归一化）和狭义的统计分析。通常，多种分析策略是可能且明智的，这会导致方法不确定性[8]，因为不一定清楚哪种分析选择是最佳分析。例如，在微生物组分析中，存在大量估计和分析微生物关联网络的方法[9]，研究人员必须从中选择。
在这种情况下，研究人员很容易尝试不同的方法，然后选择产生最佳结果的方法。这种方法可能被认为是明智的：为数据找到“最佳”方法似乎是一个自然的目标。但是，当尝试的方法数量很多时，存在将分析“过度拟合”到当前数据集的重大危险。因此，性能最佳的方法可能在当前使用的数据上表现良好，但由于采样可变性，在验证数据集上可能表现不佳 - 换句话说，优化的结果无法（完全）验证或复制验证数据。在这里，我们将“复制”定义为将相同的研究方法应用于新数据[4];有关复制概念的更广泛讨论，请参见[10]。我们使用的“验证”是一个更广泛的术语：在验证数据集上重新评估结果，验证数据集可能是真正的新数据，也可以是通过将原始数据分成两部分（发现和验证数据）获得的数据集[11]。我们在研究中使用后一种方法。
文献中偶尔会提到分析策略的多样性与过度乐观之间的联系，主要与显著性检验有关[12]。例如，众所周知，尝试不同的分析选择可以更容易地找到具有统计学意义的结果[7，13]。如果研究人员有意地这样做（即，按顺序调整分析选择，直到达到“显着”的p值），这称为p-hacking[14]。然而，过度乐观的偏见也可能在没有有意识的“黑客攻击”的情况下出现：研究人员可能会以最好的意图尝试不同的方法，但随后进行选择性报告（只报告产生最佳结果的方法）。此外，这种效应不仅与显著性检验有关，而且在统计分析的结果被量化时（例如，使用性能度量或指数值）时都可能出现。
在本文中，我们专注于在无监督微生物组分析的背景下的过度乐观，而不是在经典的显著性测试设置之外。我们说明了分析策略的多样性与选择性报告相结合造成的过度乐观效应，并通过随后对乐观结果的验证来量化。作为示例数据，我们使用来自美国肠道计划（AGP）的OTU计数数据，这些数据通过16S扩增子测序获得[15]。众所周知，扩增子测序的技术差异（例如，针对不同实验室或不同机器的批次效应）或使用不同的聚类序列方法来获得OTU可能会导致OTU计数数据的生成和后续统计分析结果的变化[4，16-18].然而，在本工作中，我们关注的是统计分析方法的多样性（从处理后的OTU计数表开始），与来自不同技术方法的多重性相比，统计分析方法受到的关注要少一些。最近，一些研究强调，不同的统计分析方法或建模策略可能会产生不一致的结果，即在微生物组 - 疾病关联建模[19]，微生物组差异丰度方法[20]和分析微生物组干预设计研究[21]的背景下。与这些研究相反，a）我们专注于无监督统计方法的多样性，即网络学习和聚类的方法，b）我们的主要目标不是比较不同方法的结果，而是量化过度乐观的影响，这些效应源于选择“最佳”结果。我们考虑的统计方法的范围包括1）归一化以使样本之间的读取计数具有可比性并考虑成分（如果后续分析步骤需要），2）估计微生物网络，样本网络和（不）相似性矩阵，以及3）进一步处理网络/（非）相似性信息（如聚类）的方法。
我们说明性研究的关键思想包括将整个数据集拆分为发现集和验证集，对发现数据进行这三个分析步骤中的每一个尝试不同的方法，根据评估标准选择对发现数据产生最佳结果的方法组合，并将此组合应用于验证数据以检查评估标准是否具有相似的值。图 1 概述了这种方法，我们现在将更详细地描述这种方法。
缩略图 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图1. 我们研究的图形概述。
对不同的样本大小重复绘制 50 个发现和验证数据样本的过程：任务 1 和 2 为 n ∈ {100， 250， 500， 1000， 4000}，任务 3 为 n ∈ {100， 250， 500}，任务 4 为 n ∈ {100， 250， 500， 1000， 3500}。
https://doi.org/10.1371/journal.pcbi.1010820.g001
我们使用四个示例性的“研究任务”来说明分析策略的多样性的影响。想象一下，一位研究人员希望对微生物组数据进行无监督分析。尽管分析是无监督的，并且可能出于探索目的而进行，但研究人员通常对结果抱有希望。虽然这些期望一开始可能很模糊，但研究人员最终可能会专注于代表这些希望的具体评估标准，以便判断结果。研究人员尝试不同的统计方法，并根据评估标准选择产生最佳结果的方法。我们现在详细介绍了四项研究任务，我们假设的研究人员可能拥有的希望，以及他们可能使用的具体评估标准（因此我们选择这些标准进行说明性研究）：
细菌属聚类：细菌属可以根据它们的关联进行聚类，以便高度相关的属可能属于同一聚类。因此，将两个属分配给同一集群表明样本的共同变异，这反过来可能表明具有共享的功能。我们假设假设的研究人员希望找到细菌属的聚类，与该属的分类学分类非常一致。作为具体的评估标准，我们选择调整后兰德指数（ARI，[22]），这是一种比较两个分区的度量，对机会一致进行了标准化。ARI 的范围在 [?1， 1] 中，值越高表示分区的相似性越高。在这项研究任务中，一个分区由研究人员计算的聚类给出，另一个分区由属分类为科给出。ARI越高（即越接近1），计算的聚类与分类分类越相似，这表明聚类“更好”。虽然找到与分类学分类完全一致的聚类（即ARI等于1）通常是不现实的，但与分类法的某些一致性通常被认为是细菌聚类的良好特性[23]。当我们在属级别执行聚类时，相同的逻辑将适用于任何分类级别。这句话也适用于其他研究任务。
集线器检测：研究人员可能希望找到一个具有有趣的关键分类群（也称为“微生物中心”）的微生物网络，即高度连接的分类群，这些分类群被认为对网络的其余部分有强烈影响。近年来，为了更好地了解微生物相互作用，检测和分析基石类群变得很流行[24-26]。根据网络中心性测量被确定为枢纽的分类群（详见第4.3.2节）并不自动成为生物学上重要的基石分类群[25]。尽管如此，集线器检测仍可作为对检测到的集线器的作用进行进一步分析的起点[27]。例如，最近的一项研究[28]分析了来自水生环境的微生物组数据，其中许多微生物是“未知分类群”，即未表征。作者生成了微生物网络并进行了集线器检测。通常，检测到的枢纽是未知的分类群，这反过来又有助于确定这些特定分类群的优先级以进行进一步分析。
在我们的说明性示例中，我们假设我们的假设研究人员有兴趣产生尽可能多的有趣假设和方向以供进一步研究。因此，我们假设研究人员选择了一种产生相对高数量的集线器的方法，以最大化网络的“集线器性”。因此，将集线器的数量作为具体的评估标准。当然，选择带有集线器的“有趣”网络的其他标准也是可行的。
差分网络分析：微生物组研究人员通常对抗生素等治疗对肠道微生物群落的影响感兴趣（参见，例如，[29，30]的背景）。当为两组（一组用于去年未服用抗生素的人，另一组用于上个月服用抗生素的人）生成微生物关联网络时，研究人员可能会期望这些网络（作为微生物群落结构的代理）可能会发生变化。作为具体的评估标准，我们用网络之间的石墨相关距离（GCD）来衡量网络之间的差异[31]。选择在两个网络之间产生最大GCD的方法。GCD已在先前的研究中用于比较微生物网络[32-34]。
样本聚类：前面的三项研究任务都是基于微生物之间的关联。相比之下，第四个任务侧重于样本（个体）之间的相似性。目标是找到样本的聚类，使得同一簇中的样本具有相似的细菌组成，而不同簇的样本之间的组成不同。这项任务的灵感来自流行的“肠型”概念。2011年，一项研究[35]认为，个体可以分为三个不同的群体，代表不同的肠道微生物组类型（肠型）。肠道型是否真的存在（如果存在，有多少）已成为一个有争议的讨论话题[36-40]。一些研究已经指出，使用不同的方法对样本进行聚类（例如，计算样本之间相似性的不同方法）可能会导致不同的肠型结果[37，41]。然而，据我们所知，分析策略的多样性与过度乐观之间的关系尚未得到明确研究。对于这个示例性研究任务，我们假设假设的研究人员有兴趣在AGP数据集中查找肠型。作为具体的评估标准，我们使用平均轮廓宽度（ASW [42]）。ASW是一个集群验证指数，用于测量集群的同质性和分离性。索引范围为 [?1， 1]，值越高表示聚类越好。ASW先前已用于肠型研究，以评估样本聚类的质量[35，37，41]。
对于四个研究任务中的每一个，我们通过尝试不同的方法（即估计微生物网络，计算样本之间的相似性和/或聚类的方法）来模仿我们的“假设研究人员”并寻找最佳结果。假设的研究人员可能会在这一点上停止，并且仅根据相应的标准报告最佳结果。相反，我们感兴趣的是是否可以在验证数据上确认最佳结果：将发现数据的“最佳”方法获得的结果（即“最佳”ARI、集线器数量、GCD 或 ASW）与该方法在验证数据上获得的结果进行比较。发现和验证数据集是通过从完整的AGP数据集中随机采样两个不相交的子集来获得的，这个过程重复多次。
请注意，我们的分析仅用于说明性目的，以研究过度乐观的影响。我们的目标不是系统地评估或比较所选的方法组合。此外，我们并没有声称研究人员通常会像我们在这里所做的那样系统地将多种方法应用于数据集，也没有声称他们“优化”了恶意的最佳方法。然而，在较长的研究过程中，研究人员通常会在一个数据集上尝试多种方法，即使这是出于最好的意图，它仍然可能导致过度乐观的影响。
到目前为止，我们已经谈到模仿单个假设的研究人员或研究团队的行为。我们的研究也可以被解释为对多个研究团队的行为进行建模。每个团队尝试不同的分析策略，只有结果“最佳”的团队才能发表他们的发现（例如，由于发表偏倚）。
我们将分析结果放在第2节中。第3节包含讨论。在第4节中，我们详细概述了示例数据集，我们的研究设计以及我们应用于发现数据的不同统计方法。
2 结果
2.1 量化过度乐观效应
对于每个研究任务，我们绘制了不同大小的发现和验证集（每个样本大小为n）：前两个研究任务为n ∈{100， 250， 500， 1000， 4000}，第三个研究任务为n ∈ {100， 250， 500}，第四项研究任务为n ∈ {100， 250， 500， 1000， 3500}。对于第三个任务，由于需要有关抗生素使用情况的信息，最大样本量减少了。对于第四个任务，最大样本量为 3500 而不是 4000，因为仅保留来自成年人的样本进行分析。更多细节在第 4.2 节中给出。
对于每个n，图形发现和验证集的过程重复50次。随着采样变异性随着n的增加而降低，方法在发现和验证数据上的性能应该变得越来越相似。因此，我们预计过度乐观效应会随着n的增加而减少。
对于每项研究任务，我们对发现数据应用了多种方法组合。对于基于微生物关联的前三项研究任务，这涉及归一化方法（clr [43]，mclr [44]和VST [45]），关联估计（Pearson相关，Spearman相关，潜在[46]，SPRING[44]和比例[47]），稀疏化（t检验，阈值法和邻域选择），并且对于第一个研究任务， 聚类（分层聚类、光谱聚类 [48]、快速贪婪模块化优化 [49]、用于群落检测的鲁汶方法 [50] 和蝠鲼 [51]）。对于基于样本相似性对样本进行聚类的第四个研究任务，我们应用了归一化方法（clr，mclr和VST），相似性计算（艾奇森距离[52]，欧几里得距离，组成Kullback-Leibler散度（cKLD）[53]和Bray-Curtis相异性[54]），稀疏化（阈值法，K-最近邻）和聚类 （狄利克雷多项式混合物 （DMM） [55]、光谱聚类、围绕中心点的划分 （PAM） [56]、快速贪婪模块化优化和用于群落检测的鲁汶方法）。第 4.3 节中给出了这些组合的详细说明。
支持信息 S1、S2、S3 和 S4 文本中的补充图显示了将不同方法组合应用于不同样本量的发现数据的结果（任务 1：S1 文本中的图 A-J，任务 2：S2 文本中的图 A-E，任务 3：S3 文本中的图 A-C，任务 4： S4 文本中的图 A-J).值得注意的是，就样本量而言，所选的“最佳”方法组合发生了一些变化。特别是，稀疏化方法的性能取决于样本量。这些结果在 S1、S2、S3 和 S4 文本中详细讨论。
我们的主要兴趣在于选择方法组合，以产生发现数据上评估标准（ARI、集线器数、GCD 和 ASW）的最大值，将其应用于验证数据，并检查是否可以验证评估标准的值。如果验证数据上的评估标准值低于发现数据的结果，则表明过度乐观。n = 250的示例性结果显示在图2（研究任务1和2）和图3（研究任务3和4）中。所有其他样本量 n 的相应数字在支持信息中给出（任务 1：S1 文本中的图 K-O，任务 2：S2 文本中的图 F-J，任务 3：S3 文本中的图 D-F，任务 4：S4 文本中的图 K-O）。
缩略图 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图2. 研究任务1和2：对于n = 250，将发现数据的“最佳”方法组合产生的评估标准值与验证数据的相应结果进行比较。
在x轴上，显示了在50个样品中至少一个样品中表现最佳的方法组合。对于 50 个抽样中的每一个，发现数据上的评估标准值（属于最佳方法组合）和验证数据上的相应值通过一条线连接，总共产生 50 行。由于线条略微透明，重叠线条以较深的阴影显示。a） 用于聚类细菌属任务的 ARI 值，b） 用于中心检测任务的集线器数量。
https://doi.org/10.1371/journal.pcbi.1010820.g002
缩略图 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图3. 研究任务3和4：与图2类似（见那里的描述），在n = 250的发现和验证数据之间比较评估标准的值。
a） 差分网络分析任务的 GCD 值，b） 样本聚类任务的 ASW 值。
https://doi.org/10.1371/journal.pcbi.1010820.g003
在 x 轴上，仅显示 50 个抽样中至少一个中表现最佳的方法组合（即，并非所有尝试的方法组合;在至少一个抽样中表现不佳的方法组合不会出现在图中，因为这些方法组合从未应用于验证数据）。对于每个抽样，发现数据上的评估标准值（属于最佳方法组合）和验证数据上的相应值通过一条线连接。对于第一个和第四个任务，表示 ARI/ASW 值的点根据相应聚类结果中聚类的数量 k 进行着色。有关确定 k 的程序的详细信息，请参见第 4.3.1 节和第 4.3.4 节。对于其他两个研究任务，结果显示为发现数据的红色方块和验证数据的黑点。
在大多数情况下，线条指向下方，即验证数据的结果通常比发现数据的结果略差。这表明过度乐观的影响。为了进一步量化这些影响，表1（任务1和2）和表2（任务3和4）显示了差异的平均值，中位数和标准差，以及验证数据的评估标准值与发现数据的值之间的缩放差异（超过50个发现/验证数据的抽样）。虽然测试发现数据和验证数据之间的差异的重要性（以评估验证数据的结果是否“明显更差”）可能很有趣，但据我们所知，尚未为此目的提出适当的程序，需要在进一步的工作中加以探讨。对于聚类分析，最近讨论了与该问题相关的挑战[11]。我们不计算p值，而是报告表1和表2中的“效应大小”（平均值除以标准差）。
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
表 1. 对于研究任务 1 和 2：验证数据上的评估标准值与发现数据上的相应值之间的差异（未缩放和缩放）的平均值、中位数和标准差（超过 50 个发现/验证数据的抽样）。
此外，还报告效应大小（平均值除以标准差）。阿里迪斯科夫表示发现数据和 ARI 上的最佳 ARI。有效验证数据上的相应方法组合产生的 ARI。数量 #枢纽迪斯科夫， #集线器有效（集线器数）的定义类似。
https://doi.org/10.1371/journal.pcbi.1010820.t001
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
表 2. 对于研究任务 3 和 4：验证数据上的评估标准值与发现数据上的相应值之间的差异（未缩放和缩放）的平均值、中位数和标准差（超过 50 个发现/验证数据的样本）。
此外，还报告效应大小（平均值除以标准差）。最大公约数迪斯科夫表示发现数据和 GCD 上最大的 GCD有效验证数据上的相应方法组合产生的 GCD。反潜战的数量迪斯科夫、反潜战有效（平均轮廓宽度）的定义类似。
https://doi.org/10.1371/journal.pcbi.1010820.t002
正如预期的那样，所有四个研究任务和所有样本量的差异均值和中位数都是负的，这表明发现数据的结果有些过于乐观。效应大小（平均值除以标准差）对于所有研究任务都是值得注意的，尽管对于第三和第四个研究任务略小。现在，我们将依次更详细地讨论每个研究任务在不同样本大小n上的平均差异的行为。
研究任务1（细菌属聚类）：验证数据上ARI的平均绝对下降幅度不大，但当考虑尺度差异时，验证数据上的ARI平均减少约20-30%。请注意，平均值/中位数 ARI 差值（未缩放和缩放）的绝对值在 n = 100 时最大，在 n = 4000 时最小。这符合我们之前提到的假设，即当n很大时，过度乐观效应不那么明显。然而，在 100 和 4000 之间，绝对平均值/中位数 ARI 差异没有明显的线性下降趋势。此外，在效应大小方面没有明显的趋势。
研究任务2（中心检测）：均值和差值中位数的绝对值随着样本量的增加而减小。同样，这符合我们的假设，即过度乐观的偏差随着n的增加而减少。这种趋势在很大程度上也适用于效应大小，尽管由于n = 100时的标准偏差较大，因此n = 250时效应大小的绝对值略大于n = 100。
研究任务3（微分网络分析）：均值和中位数的绝对值不会随着n的增加而单调减小：对于n = 250，它们略大于n = 100。这可能是由于在n = 250时采样变异性仍然相当大。然而，在n = 500时，过度乐观效应似乎减少了，平均差异（未缩放和缩放）的绝对值下降证明了这一点。对于更高的样本量，我们预计过度乐观的偏差将继续下降，尽管由于数据有限，我们无法确认这一点。
研究任务4（样本聚类）：与第一个研究任务类似，评估标准（此处为ASW）对验证数据的平均绝对下降并不剧烈。当考虑相对下降时，对于较小的样本量，验证数据的ASW值平均减少约20%。对于较大的样本量，过度乐观的偏差往往不太明显。关于中位数差异和效应大小，在n = 3500的最大样本量中，偏差再次略有增加，但均值和中位数差异非常小。
我们不仅分析了过度乐观偏倚与样本量的关系，而且还预计，如果尝试的方法组合较少，过度乐观偏倚会减少。为了研究这一假设，我们重复了我们的分析，减少了方法组合的数量：第一个研究任务是5个而不是58个，第二个和第三个研究任务是3个而不是14个，第四个研究任务是5个而不是31个。所选组合子集以及结果在支持信息 S5 文本中详细描述。对于不同的研究任务和样本量，差异的均值和中位数大多保持负值（表明仍然存在一些过度乐观的偏差），但正如预期的那样，平均值/中位数差异的绝对值以及效应量往往较小。这支持了我们的假设，即尝试的方法组合越多，过度乐观的偏差就越明显。当然，过度乐观偏差的确切数量仍然取决于所选择的方法组合（子集）。
2.2 其他稳定性分析
虽然我们的主要重点是将发现数据的“最佳”结果与验证数据的相应结果进行比较（关于评估标准），但我们还报告了前两项研究任务的一些额外的稳定性结果，以进一步证明这些方法不一定在发现与验证数据上产生稳定的结果。对于聚类任务，我们将发现与验证数据的聚类与ARI进行了比较（而忽略了与分类分类的一致性）。此度量值表示为 ARI刺.结果报告在表3中。对于集线器检测任务，我们将发现与验证数据的集线器集与Jaccard指数（属级别）和余弦相似性指数（家族级别）进行了比较，如表4所示。索引在第 4.3 节中有更详细的描述。
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
表 3. ARI 的平均值、中位数和标准差刺，即发现和验证数据的聚类之间的 ARI，超过 50 次发现/验证数据的抽样。
https://doi.org/10.1371/journal.pcbi.1010820.t003
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
表 4. a） Jaccard 指数的平均值、中位数和标准差（超过 50 次发现/验证数据样本），该指数将发现数据上获得的集线器集与验证数据上的集线器集进行比较，以及 b） 比较这些集线器集的余弦相似性，但在族级别上。
https://doi.org/10.1371/journal.pcbi.1010820.t004
对于聚类任务，表3显示，对于较小的样本量，平均ARI与1相距甚远，这表明基于发现与验证数据的细菌聚类之间存在显着差异。随着样本数量的增加，聚类往往变得更加相似，但即使对于 n = 4000，大约 0.8 的平均 ARI 也表明聚类在某种程度上仍然存在差异。这表明，在验证数据上验证结果时，对发现数据选择的聚类在群集成员身份方面不一定是稳定的。
对于中心检测任务，表 4 演示了发现和验证数据之间的中心集可能有很大不同，如使用 Jaccard 索引（范围在 0 到 1 之间）测量的那样。对于较小的样本量，相似性特别小。Jaccard 值随着样本数量的增加而增加，但即使在 n = 4000 时，约 0.7 的平均值也表明中心集之间仍然存在明显的差异。对于家族水平上的相似性，我们期望更高的值（假设来自同一家族的两个在属水平上不同的集线器对于Jaccard指数不相等，对于余弦相似性，被计为相等）。事实上，余弦相似性（范围在 -1 和 1 之间）的值通常相当高。因此，如果仅在家族水平上解释枢纽（例如，关于细菌家族的典型功能），则与属水平的解释相比，发现和验证数据之间的不稳定风险较小。
我们重复了稳定性分析，减少了上一节所述的尝试方法组合的数量。结果在支持信息 S5 文本中报告。总体而言，稳定性结果与使用全套方法组合获得的结果非常相似。
3 讨论
我们使用四个示例性微生物组研究问题量化了分析策略的多样性与选择性报告相结合导致的过度乐观效应。我们的结果表明，所有四项研究任务都存在过于乐观的偏见。也就是说，当根据评估标准的最大化对发现数据选择“最佳”方法时，当应用相同方法时，该标准倾向于在验证数据上获得较低（“更差”）的值。过度乐观偏差的确切大小取决于研究任务和样本量。一般来说，过度乐观的偏倚往往在较小的样本量下更为明显，尽管在我们的分析中，样本量和乐观偏倚之间的关系并不总是严格单调地递减。此外，过度乐观的偏差还取决于尝试的方法组合的数量。当我们尝试较少的组合时，我们仍然检测到一些过于乐观的偏见，但这种偏见不那么明显。
前两项研究任务的其他稳定性分析表明，当将相同的方法应用于验证数据时，聚类解决方案和集线器集（通过发现数据的方法产生）不一定保持稳定。
总之，我们的研究表明，结果的过度乐观和不稳定的问题超出了统计测试和显着性的背景，也与无监督分析策略有关。
对于单个研究人员来说，所有组合的分析中尝试的方法组合数量（细菌属聚类为58，集线器检测和差分网络分析为14，样品聚类为31）似乎相当大。然而，我们认为这些数字并非不现实。方法组合并非彼此独立。相反，组合是通过沿分析管道的不同方法（例如，稀疏化类型）获得的。现代软件包使从一种方法选择快速切换到另一种方法选择变得非常容易。此外，正如引言中提到的，我们的研究也可以被解释为对多个研究团队的行为进行建模。许多研究人员研究了大型公共数据集，例如AGP数据。虽然单个研究人员或研究团队可能只尝试几种分析策略，但多个团队尝试的策略可以总结出更大的数字。
为了量化过度乐观，我们故意将单个数据集分成两部分，而不是使用独立的数据集作为验证数据。使用后一种方法，我们无法确定验证数据的较差表现是否确实源于分析策略的多样性与选择性报告（这是我们工作的重点），或者仅仅是由于发现和验证数据之间的实质性差异（例如，不同的人群）。当然，在我们的研究范围之外，使用外部数据对于检查结果的有效性和普遍性通常很重要。
我们研究的一个限制是，对于每个研究任务，我们将“假设研究人员”的期望转化为一个单一的固定评估标准。当然，研究人员可能会有不同的期望，因此会考虑多个标准。一方面，研究人员可能更难找到一个在多个标准方面同时良好的结果，从而有可能减少过度乐观的影响。另一方面，考虑多个标准可能允许研究人员根据获得良好的结果选择一个或几个标准。这构成了多样性的另一个来源（增加了本研究中考虑的多样性来源），这反过来可能会增加过度乐观的偏见。分析在今后的工作中考虑多种标准的效果会很有趣。
过度乐观会导致不可靠的结果，并可能最终阻碍研究进展。我们现在讨论一些策略，这些策略可以帮助研究人员避免在他们的应用研究中过度乐观的偏见。
正如我们使用减少方法组合数量的分析所表明的那样，如果尝试的方法较少，过度乐观的偏倚往往会减少。因此，第一种选择是在分析开始之前减少分析策略的多样性。研究人员应仔细考虑哪种方法最适合其应用。在这里，来自中性比较研究的指导可能是相关的。这些研究比较了现有方法（而不是引入新方法），并且该研究的作者是中立的，即他们对特定方法没有既得利益，显示出比其他方法更好的性能，并且作为一个群体大致同样熟悉所有考虑的方法。我们参考[57，58]来更详细地讨论这个概念。最好在微生物组分析方法学研究的背景下发表更中立的比较研究。例如，最近的两项研究已经在微生物差异丰度测试的背景下提供了如此受欢迎的努力[20，59]，并且还提出了微生物组分析方法基准基准的指南[60]。
另一个策略是预先注册研究人员的分析计划。预注册是指在观察结果之前定义研究假设和分析计划，并将该计划发布到注册表。这个概念近年来引起了广泛的关注[61]。一旦他们的分析计划被注册，研究人员可能会回避尝试许多其他分析策略，并选择性地只报告最佳结果。
然而，预注册可能并不总是可行或明智的：例如，在探索性研究中，研究人员通常无法提前确定确切的分析策略，并且按顺序尝试不同的方法是很自然的[4]。事实上，我们在研究中关注的无监督分析方法通常用于探索目的。在这种情况下，当分析策略的多样性无法避免时，研究人员应该诚实地报告他们的研究是探索性的，并且尝试了多种方法。他们不应该像预先固定单个分析管道一样呈现他们的分析，也不应该只报告“最佳”结果。
一般来说，我们建议研究人员尽可能使用验证数据来验证他们的结果。虽然我们在研究中包括了验证数据以量化过度乐观的影响，但研究人员也可以在他们的应用研究中使用验证数据，以检查发现数据的最佳结果是否仍然适用于验证数据。当无法事先减少可能的分析策略的多样性时，例如，在没有针对感兴趣的方法的相关中立比较研究的情况下，这一点尤其重要。对于聚类分析（研究任务1）的主题，之前已经详细讨论了验证验证数据聚类结果的不同策略[11]。微生物组研究中也出现了对验证数据重要性的更多认识（例如，在监督分析[62，63]和大规模队列研究[64]的背景下）。使用验证数据不会直接防止对发现数据的过度乐观，但有助于检测过度乐观的结果。对验证数据的评估可以被视为对结果质量的更现实的评估，从而纠正过于乐观的偏差。
有时，验证数据不可用，例如，因为数据集太小而无法拆分为发现集和验证集，并且不存在合适的独立验证集。对于这种情况，找到其他可能过度乐观的指标将是有趣的。例如，研究人员可能会检查不同测试方法的结果是否一致。结果的相似性表明方法选择的稳健性。然而，缺乏稳健性并不自动意味着结果（或“最佳”结果）也将过于乐观，因为它们无法在验证数据上进行验证。反之亦然，如果结果是稳健的，则不完全清楚这在多大程度上是不存在或小的过度乐观偏差的指标（尽管过度乐观程度的降低可能在某种程度上是可能的，因为获得非常相似的结果不允许研究人员选择明显优于其他结果的单一结果）。在进一步的工作中研究验证数据的稳健性和可复制性之间的关系可能会很有趣。
本研究的目的不是系统地评估任何所选方法组合的性能。特别是，我们不建议使用哪种方法。在未来的研究中，探索本研究中使用的设计是否可以适应方法评估和比较可能会很有趣。更准确地说，人们可能会像我们的研究一样重复对发现和验证数据集进行抽样，并根据它们是否a）在发现数据上具有良好的性能以及b）在验证数据上具有相似的性能来评估方法，即不倾向于过度拟合发现数据。
总之，我们希望我们的研究有助于提高对微生物组研究中过度乐观这一重要问题的认识，并激励更广泛地实施策略以避免过度乐观的偏见。如果研究人员坚持良好的研究实践，微生物组分析的结果将来可能会变得更加可靠和可复制。
4 材料和方法
4.1 数据集
我们使用了美国肠道项目[15]的数据，这是一项大型公民科学计划。该项目（主要）从美国、英国和澳大利亚的参与者那里收集了粪便样本。研究人员还收集了参与者的元数据，例如健康状况、疾病史和生活方式变量。使用高通量扩增子测序获得细菌丰度，靶向16S rRNA标记基因的V4区域，随后进行变异鉴定。
我们从项目网站 http://ftp.microbio.me/AmericanGut/ag-2017-12-04/ 下载了未稀疏细菌粪便样本（可追溯到2017年）的OTU计数表，以及有关样本的元数据。OTU 计数表最初包含 p = 35511 个 OTU 和 N = 15148 个样本。在[23]之后，我们执行了三个预处理步骤：1）去除测序深度小于10000计数的样品，2）去除剩余样品中存在的OTU，3）去除10%的剩余样品，即测序深度低于10%百分位数的样品。得到的OTU计数表包括p = 531个OTU和N = 9631个样本。
对于所有四项研究任务，分析都是对属的分类学等级进行的，数据被汇总到该属。具有未知属的OTU被分配了自己的属，这导致总体p = 323属。
4.2 发现和验证数据集的采样
我们通过从完整的AGP数据集中随机抽取两个不相交的子集来获得发现和验证数据集。对于每项研究任务，采样发现和验证数据的过程是沿着AGP数据的样本（即受试者）进行的，而不是沿着细菌进行的。这是因为在每个任务中，细菌形成了一组固定的特定感兴趣的实体。因此，对于发现和验证数据，该集合保持不变。对于聚类，[11] 中有更详细的讨论。
发现和验证集（每个样本大小为n）绘制了不同大小：前两个研究任务（细菌属聚类和枢纽检测）为n ∈{100， 250， 500， 1000， 4000}，第三个研究任务（差分网络分析）为n ∈{100， 250， 500}，第四项研究任务（样本聚类）为n ∈{100， 250， 500， 1000， 3500}。对于差异网络分析，最大样本量减少了，因为我们只考虑了去年未服用抗生素的样本以及上个月服用抗生素的样本。有6901个样本符合这些标准。此外，根据抗生素使用情况对采样进行分层;对于每个发现和验证数据，我们抽取了去年未服用抗生素的N/2个样本和上个月服用抗生素的N/2样本。由于上个月只有544人服用抗生素，因此最大n减少到500。对于样本聚类，最大 n 是 3500 而不是 4000，因为我们只保留了 20-65 岁成年人的样本（总共 7145 个样本）。我们之所以关注这个年龄组，是因为以前的研究表明，肠道微生物组的组成因年龄而异[65-67]，儿童和老年人的“肠型”可能更极端[40，68]。
4.3 无监督微生物组分析方法
在本节中，我们将讨论哪些方法组合应用于发现数据，以及如何在验证数据上评估结果。
4.3.1 研究任务1：细菌属聚类。
我们改变了聚类分析过程的不同步骤，产生了58种方法组合，这些方法组合在发现数据上进行了尝试。在本节中，我们将解释如何获得 58 种组合。
我们使用了两类集群算法。第一类算法基于（不）相似性矩阵：分层聚类和谱聚类[48]。第二类算法基于具有加权边缘的网络：快速贪婪模块化优化[49]，用于社区检测的鲁汶方法[50]和Manta算法[51]。
为了生成（不）相似性矩阵或加权网络，关联（rij)I，J必须计算微生物之间的情况。事先，通常需要对数据进行零处理和规范化。表 5 概述了用于计算关联 r 的方法组合ij供以后用于基于（非）相似性的聚类，即生成（不）相似性矩阵，这些矩阵稍后将用作分层和谱聚类的输入。我们使用了四种不同的关联测量方法。第一个是皮尔逊和斯皮尔曼相关性，它们需要归一化来解释组合性。在这里，我们使用了中心对数比变换（clr，[43]），修正的clr变换（mclr，[44]）或方差稳定变换（VST，[45]）。由于 clr 和 VST 方法无法处理计数数据中的零，因此在使用此方法进行规范化之前，将伪计数 1 添加到计数数据中（另一方面，mclr 可以处理零）。除了皮尔逊和斯皮尔曼相关性之外，我们还使用了基于秩的半参数相关性，它基于估计截断高斯copula模型的潜在相关矩阵（lattentcor，[46，69]）。由于 lattentcor 方法需要严格非负的归一化计数，因此它仅与 mclr 变换结合使用。最后的关联衡量标准是比例性[47，70]。比例性是一种组合感知方法，用于测量对数比变换变量之间的关联[47]。因此，我们使用了 [47] 中提出的 clr 转换，并将零计数替换为伪计数。
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
表 5. 用于生成微生物关联的方法组合，然后将其转换为（不）相似性矩阵。
（不）相似性矩阵用作分层和光谱聚类的输入。
https://doi.org/10.1371/journal.pcbi.1010820.t005
表6显示了用于计算关联r的方法组合ij供以后在基于网络的群集中使用。也就是说，这些方法用于生成加权网络。方法组合与表5中用于生成（不）相似性矩阵的方法非常相似。事实上，加权网络也基于（不）相似矩阵，但生成包含一个额外的稀疏化步骤，如下所述。同样，皮尔逊和斯皮尔曼相关性与各自的归一化和/或零处理方法一起使用。我们还使用了SPRING方法[44]，该方法将潜在相关性估计与稀疏图形建模技术相结合，即使用邻域选择技术[71]对部分相关性进行稀疏估计。最后，我们使用了比例度量。
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
表 6. 用于生成加权微生物缔合网络的方法组合。
这些网络被用作快速贪婪模块化优化、鲁汶群落检测和蝠鲼的输入。
https://doi.org/10.1371/journal.pcbi.1010820.t006
要生成加权网络，关联 rij（通常与零不同）不直接用作邻接矩阵 - 否则，网络将是密集的。因此，关联 rij通过将一些设置为零来转换为稀疏化值，以指示 i 和 j 未连接，否则。对于皮尔逊和斯皮尔曼相关性的稀疏化 rij，我们使用学生 t 检验或阈值方法。前者设置如果关联 rij根据 t 检验，与 0 没有显著差异。通过局部错误发现率对p值进行多次测试[72]。对于阈值方法，我们设置 if rij < c 表示一些固定阈值 c （我们使用 c = 0.15，它在初步分析中给出了合理的结果，未显示）。对于比例测量，我们使用阈值稀疏。SPRING已经带有邻域选择方法给出的内置稀疏。
计算出表 5 和表 6 中的关联后，将它们转换如下（管道和符号取自 [9]）：
对于基于（不）相似性的聚类（表5）：相异性矩阵D = （dij） 用于分层聚类，通过 计算。相似性矩阵 S = （sij） 用于通过设置 s 获得光谱聚类ij= 1 ? dij.
对于基于网络的聚类（表 6）：加权网络构造如下。对于边 ij（即稀疏后剩余的边），距离 dij和相似之处 sij按 a） 计算。最后，加权网络表示为邻接矩阵 A = （aij） 与ij = sij对于 ij 和ij否则 = 0。
然后将（不）相似性矩阵和网络用作聚类的输入。对于层次和光谱聚类，我们将聚类的数量固定在k = 10，这是受到数据中十个不同分类类别的启发。此外，k = 10 往往比低于10 的 k 产生更好的 ARI 结果（初步分析，未显示）。没有尝试高于 10 的 K S，因为我们的目标是模拟一位想要找到可解释、方便的聚类的研究人员（有 34 个不同的分类家族，但 34 个聚类不容易解释）。其他聚类算法都具有用于确定 k 的内置机制。对于这些方法，强制k为10通常不会改善结果（未显示）。然而，k可以通过稀疏化间接影响：网络越稀疏，发现的簇就越多。这是我们将阈值稀疏阈值设置为 c = 0.15 的原因之一，因为该值通常产生足够高的 k s 以找到良好的结果，但很少有 ks 如此之高以至于集群难以解释。
总体而言，方法组合在发现数据上产生了58个不同的聚类结果：16个基于（不）相似性聚类（表5中的8行乘以两个聚类算法），42个基于网络聚类（表6中的14行乘以3个聚类算法）。在58个聚类结果中选择了最好的一个，即在分类分类方面ARI最高的聚类。相应的方法组合应用于验证数据。计算验证数据聚类与分类分类之间的 ARI，并与发现数据上的最佳 ARI 进行比较。如果验证数据的 ARI 较低，则表明发现数据上的最佳 ARI 过于乐观。
作为额外的稳定性分析，我们将发现数据上的选定聚类与验证数据的聚类进行了比较，再次使用 ARI。
4.3.2 研究任务2：轮毂检测。
在这里，我们想生成稀疏加权微生物关联网络。为此，我们使用了与表6相同的方法。因此，对发现数据尝试了14种方法组合。
对于最终网络中的枢纽检测，枢纽被定义为具有最高程度、中介性和接近性中心的节点[25]。更准确地说，对于三个中心性度量中的每一个，我们将集线器确定为中心性值高于 95% 经验分位数的节点。中心性定义如下[73]：度中心性表示相邻节点的数量。中介中心性衡量节点位于所有其他节点之间的最短路径上的分数。节点的接近中心性是该节点与所有其他节点之间最短路径之和的倒数。所有中心性度量均被归一化，以便在不同规模的网络之间进行比较（详见[9]）。中心性仅针对每个网络的最大连接组件（即所有节点连接的网络的最大子图）计算;断开连接组件中节点的中心性值设置为零。我们假设网络中与大多数节点断开连接的一小部分中的“集线器”对研究人员来说不太感兴趣。此外，中介性和接近性中心性取决于最短路径，对于不同未连接子图中的节点，最短路径没有明确定义。
在应用 14 种方法组合并计算每个结果网络的集线器后，选择了产生最多集线器数的方法组合。如果有多个方法组合达到了中心的最大数量，我们选择产生较高中心性中心性值的组合。更具体地说，对于对应于方法组合的每组中心，在中心上计算三个中心性度量的平均值。然后，对于每个中心性度量，根据这些平均值对中心集进行排名。最后，选择了在所有三个中心性度量中产生最高平均等级的枢纽集（以及相应的方法组合）。
然后将“最佳”方法组合应用于验证数据。计算验证数据上微生物网络中的中心数量，并与发现数据上的最大中心数量进行比较。如果验证数据上的中心数量较少，则表明过于乐观。
此外，我们还报告了根据发现与验证数据确定的集线器集与 Jaccard 索引 [74] 的相似性：设 H迪斯科夫， H有效是发现和验证数据的中心集，然后 Jaccard 索引取 [0， 1] 中的值，并且集合越相似越接近 1。还利用余弦相似指数在较高的科分类水平上评估了轮毂组之间的相似性。更准确地说，假设并集 H 中的集线器（属）
迪斯科夫∪H有效总体上属于L个不同的家族。让我们成为 H 的族频率矢量迪斯科夫，即每个条目计算 H 中有多少个集线器迪斯科夫属于J家族。类似地，让 f(v)是 H 的族频率矢量有效.向量 f(d)和 f(v)然后将余弦相似性指数进行比较：余弦相似性指数的范围在 [0， 1] 中，值越高表示相似性越高。
4.3.3 研究任务3：差分网络分析。
如第4.2节所述，发现和验证数据集分别由两半组成：去年未服用抗生素的人（“非抗生素样本”）和上个月服用抗生素的人（“抗生素样本”）。如表6所示，生成加权微生物缔合网络的方法分别应用于发现数据的抗生素和非抗生素样品。
将所得网络与石墨相关距离（GCD，[31]）进行比较。这个距离测量基于小诱导子图（即所谓的石墨）的网络的相似性。考虑所有由最多四个节点组成的小图，并枚举这些小图的自同构轨道（轨道表示节点在小图中可以发挥的“作用”）。对于给定网络中的每个节点，可以计算节点在各自轨道上参与每个图的频率。这里只考虑11个非冗余轨道。基于所有节点的这些轨道计数，计算出 11 个轨道之间的 11 × 11 Spearman 相关矩阵，该矩阵表示一个稳健且与大小无关的网络汇总统计数据。为了比较两个网络，依次计算每个网络的斯皮尔曼相关矩阵。然后计算这些矩阵的上三角形部分之间的欧几里得距离，得到GCD。
在我们的研究中，在抗生素网络和非抗生素网络之间产生最大GCD的网络生成方法被选为“最佳”方法，并应用于验证数据中的抗生素和非抗生素样品。同样，将生成的网络与GCD进行比较。如果验证数据的GCD较小（即抗生素与非抗生素网络比发现数据更相似），则表明过度乐观。
4.3.4 研究任务4：样本聚类。
与第一个研究任务类似，基于（不）相似性和基于网络的聚类算法都应用于发现数据（总共产生31个聚类）。与第一个任务相反，计算了样品而不是微生物之间的差异，并估计了样品网络而不是微生物关联网络（即节点对应于样本而不是分类群的网络）。
我们考虑了围绕中心点（PAM）[56]的划分以及光谱聚类作为基于（不）相似性的聚类算法的实例。我们之所以选择PAM，是因为它经常用于肠型研究[35，37，41，68]。对于这项研究任务，我们排除了分层聚类，因为该算法经常导致聚类，几乎所有样本都包含在一个聚类中，而只有少数样本包含在其他聚类中（这种现象在细菌属聚类中没有发生相同的程度）。据推测，研究人员对这种聚类结果不太感兴趣。
从基于网络的聚类算法类别中，我们选择了快速贪婪模块化优化和鲁汶方法进行社区检测。没有选择蝠鲼算法，因为它是明确为聚类分类群而不是样本而开发的。
我们还纳入了基于狄利克雷多项式混合物（DMM）的聚类[55]。与上面列出的聚类算法相比，DMM不需要计算样品之间的差异，可以直接应用于微生物计数矩阵。DMM方法已被多项研究用于检测肠型[55，68，75]。
表7列出了计算相异性的不同方法（dij)I，J样本之间，然后用作PAM和光谱聚类的输入。我们使用了艾奇森距离[52]，它被定义为clr变换组合之间的欧几里得距离。我们还将欧几里得距离与 VST 和 mclr 归一化相结合。此外，我们应用了组合Kullback-Leibler发散（cKLD）[53]。cKLD测量适用于成分数据;因此，在应用度量之前，计数仅转换为分数（相对丰度）。最后，我们应用了布雷-柯蒂斯相异性度量[54]，它需要非负值作为输入，因此与mclr归一化相结合。
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
表 7. 用于相异性计算的方法组合。
相异矩阵用作PAM和光谱聚类的输入。
https://doi.org/10.1371/journal.pcbi.1010820.t007
差异 dij缩放到 [0， 1]，生成值（有关详细信息，请参见 [9]）。标度差异用作PAM的输入。 相似之处 sij对于光谱聚类，通过设置获得。
对于基于网络的聚类，使用了与表7中相同的方法来计算差异，但增加了稀疏化步骤。这显示在表 8 中。缩放的相异性被转换为稀疏化值，要么使用阈值方法（通过设置为1，即最大相异性，if），要么使用K-最近邻方法（每个节点以最小的相异性连接到K = 3个节点;如果节点i和j在此过程之后未连接，则设置为1）。然后将加权样本网络表示为邻接矩阵 A = （aij） 与 ，带ij= 0 表示稀疏边）。
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
表 8. 用于生成加权样本网络的方法组合。
这些网络被用作快速贪婪模块化优化和鲁汶群落检测的输入。
https://doi.org/10.1371/journal.pcbi.1010820.t008
DMM 聚类、快速贪婪模块化优化和鲁汶社区检测都具有确定聚类数 k 的内置机制。对于PAM和光谱聚类，我们尝试了不同的值k ∈{2， 3， ...， 10}，并选择了最大化聚类ASW的k。
为了计算聚类的ASW，需要一个相应的相异性矩阵。对于大多数聚类结果，我们使用在应用聚类算法之前一步计算的相异性矩阵。唯一的例外是DMM获得的聚类结果，它不需要事先计算差异。我们根据Bray-Curtis相异性矩阵计算了DMM聚类结果的ASW值，因为DMM方法的作者使用这种相异性度量来可视化他们的聚类结果[55]。
总体而言，所考虑的方法组合在发现数据上产生了31种不同的聚类结果：1种基于DMM聚类，10种基于（不）相似性聚类（表7中的5行乘以两种聚类算法），20种基于网络聚类（表8中的10行乘以两种聚类算法）。选择产生具有最高ASW值的聚类的方法组合并将其应用于验证数据，验证数据上的ASW值较低表示过度乐观的偏差。
4.4 技术实现
所有分析均使用R版本4.0.4和Python版本3.6.13进行。我们完全可重现的代码可在 https://github.com/thullmann/overoptimism-microbiome 获得。（不）相似矩阵和加权网络是用R包NetCoMi生成的[9]。光谱聚类是使用先前发布的R实现进行的[23]。对于快速贪婪模块化优化和用于社区检测的鲁汶方法，我们使用了 R 包 igraph [76]。对于使用 manta 进行聚类，我们访问了带有 R [77] 网状接口的 Python 实现 [51]。我们使用 R 包群集 [78] 进行 PAM 群集，使用 R 包 DirichletMultinomial [79] 进行 DMM 群集。用于计算GCD的轨道计数是用R包逆戟鲸[80]生成的。
支持信息
研究任务1（细菌属聚类）的完整结果和绘图。
显示 1/5： pcbi.1010820.s001.pdf
跳到无花果共享导航
S1：研究任务 1 的完整结果和绘图（集群细菌属）数字列表一个在发现数据上对细菌属进行聚类的结果，n= 100 . . .2B在发现数据上对细菌属进行聚类的结果，n= 250 . . .3C在发现数据上对细菌属进行聚类的结果，n= 500 . . .3D在发现数据上对细菌属进行聚类的结果，n= 1000 . . .4E在发现数据上对细菌属进行聚类的结果，n= 4000 . . .4F基于网络的细菌属聚类研究结果数据，通过稀疏方法分隔，n= 100 .5G基于网络的细菌属聚类研究结果数据，通过稀疏方法分隔，n= 250 .6H基于网络的细菌属聚类研究结果数据，通过稀疏方法分隔，n= 500 .6我基于网络的细菌属聚类研究结果数据，通过稀疏方法分隔，n= 1000 .7J基于网络的细菌属聚类研究结果数据，通过稀疏方法分隔，n= 4000 .7K在发现数据上对细菌属进行聚类的最佳ARI，与验证数据的结果相比，n= 100 .8L在发现数据上对细菌属进行聚类的最佳ARI，与验证数据的结果相比，n= 250 .8M在发现数据上对细菌属进行聚类的最佳ARI，与验证数据的结果相比，n= 500 .9N在发现数据上对细菌属进行聚类的最佳ARI，与验证数据的结果相比，n= 1000 .9O在发现数据上对细菌属进行聚类的最佳ARI，与验证数据的结果相比，n= 4000 . .101
图 A-E 显示了对发现数据应用不同聚类方法的结果对于样本量n∈ {100,250,500,1000,4000}.对于每个方法组合在x-axis，生成的 ARI，用于衡量与分类分类的一致性进入家族，通过箱线图对 50 个样本进行汇总。异常值由下式表示黑色十字架。此外，所有结果都显示为彩色点，颜色指示数字k的聚类在相应的聚类结果中。被选为50个样本之一中的“最佳结果”用红色方块边缘标记。对于基于网络的聚类方法，由皮尔逊生成的网络或斯皮尔曼相关，结果为t-显示测试和阈值稀疏总之，这些方法组合显示了50*2 = 100个结果。层次光谱的快速贪婪的模块化鲁汶蝠鲼?0.10.00.10.2Hierarch， Pearson， CLR层次结构，皮尔逊，VSTHierarch， Pearson， MCLR等级，斯皮尔曼，CLR等级，矛手，VSTHierarch， Spearman， MCLRHierarch， Latentcor， MCLR层次结构、Propr、CLR光谱，皮尔逊，CLR光谱，皮尔逊，VST光谱，皮尔逊，麦克勒光谱，斯皮尔曼，CLR光谱，矛手，VST光谱，斯皮尔曼，麦克勒光谱，潜在，麦克勒光谱，普罗普，CLRFG.Modular， Pearson， CLRfg.modular， pearson， VSTFG.Modular， Pearson， MCLRFG.Modular， Spearman， CLRfg.modular， spearman， VSTfg.modular， spearman， mclrFG.模块化，弹簧，MCLRfg.modular， propr， clr鲁汶，皮尔逊，CLR鲁汶，皮尔逊，VST鲁汶，皮尔逊，麦克勒鲁汶，斯皮尔曼，CLR鲁汶，斯皮尔曼，VST鲁汶，斯皮尔曼，麦克勒鲁汶， 春天， 麦克勒鲁汶，普罗普，CLR曼塔，皮尔逊，CLR曼塔，皮尔逊，VST曼塔，皮尔逊，麦克勒蝠鲼，斯皮尔曼，CLR蝠鲼，斯皮尔曼，VST蝠鲼，斯皮尔曼，麦克利尔蝠鲼， 春天， 麦克勒曼塔，普罗普，CLR阿里数量集群2345678910>10n = 100图A.在发现数据上对细菌属进行聚类的结果，n= 1002
1 / 5
下载
无花果分享
S1 文本。 研究任务1（细菌属聚类）的完整结果和绘图。
https://doi.org/10.1371/journal.pcbi.1010820.s001
（英文）
S2 文本。 研究任务 2（集线器检测）的完整结果和绘图。
https://doi.org/10.1371/journal.pcbi.1010820.s002
（英文）
S3 文本。 研究任务 3（差分网络分析）的完整结果和绘图。
https://doi.org/10.1371/journal.pcbi.1010820.s003
（英文）
S4 文本。 研究任务 4（样本聚类）的完整结果和绘图。
https://doi.org/10.1371/journal.pcbi.1010820.s004
（英文）
S5 文本。 使用更少的方法组合进行分析。
https://doi.org/10.1371/journal.pcbi.1010820.s005
（英文）
确认
我们感谢 Raphael Rehms 对 Python 代码的有益评论，感谢 Anna Jacob 对语言的宝贵更正。
引用
1.Zmora N，Soffer E，Elinav E.用微生物组改变医学。科学转化医学。2019;11（477）：eaaw1815.密码：30700573
查看文章PubMed/NCBI谷歌学术搜索
2.昆茨TM，吉尔伯特JA。将微生物组引入精准医学。药理学趋势。2017;38(1):81–91.pmid：27814885
查看文章PubMed/NCBI谷歌学术搜索
3.Kim D， Hofstaedter CE， Zhao C， Mattei L， Tanes C， Clarke E， et al.优化微生物组研究的方法并避开陷阱。微生物组。2017;5(1):52.密码：28476139
查看文章PubMed/NCBI谷歌学术搜索
4.识别和克服微生物组研究中对可重复性、可复制性、稳健性和普遍性的威胁。移动生物。2018;9（3）：e00525–18.密码：29871915
查看文章PubMed/NCBI谷歌学术搜索
5.开放科学合作。估计心理科学的可重复性。科学。2015;349（6251）：aac4716.
查看文章谷歌学术搜索
6.霍夫曼 S， 舍恩布罗德 F， 埃尔萨斯 R， 威尔逊 R， 斯特拉瑟 U， 布莱斯泰克斯 AL.分析策略的多样性危及可复制性：跨学科的经验教训。皇家学会开放科学。2021;8:201925.pmid：33996122
查看文章PubMed/NCBI谷歌学术搜索
7.Simmons JP，Nelson LD，Simonsohn U.假阳性心理学：数据收集和分析中未公开的灵活性允许呈现任何重要的东西。心理科学。2011;22(11):1359–1366.密码：22006061
查看文章PubMed/NCBI谷歌学术搜索
8.Klau S，Martin-Magniette ML，Boulesteix AL，Hoffmann S.采样不确定性与方法不确定性：应用于组学生物标志物选择的一般框架。生物识别杂志。2020;62(3):670–687.密码：31099917
查看文章PubMed/NCBI谷歌学术搜索
9.Peschel S，Müller CL，von Mutius E，Boulesteix AL，Depner M. NetCoMi：R.生物信息学简报中微生物组数据的网络构建和比较。2020;22（4）：bbaa290.
查看文章谷歌学术搜索
10.诺斯克 BA， 埃灵顿 TM.什么是复制？公共科学图书馆生物学。2020;18（3）：e3000691.密码：32218571
查看文章PubMed/NCBI谷歌学术搜索
11.Ullmann T， Hennig C， Boulesteix AL. 验证数据聚类分析结果的验证：一个系统框架。Wiley 跨学科评论：数据挖掘和知识发现。2022;12（3）：e1444.
查看文章谷歌学术搜索
12.约阿尼迪斯太平绅士。为什么大多数已发表的研究结果都是错误的。公共科学图书馆医学。2005;2（8）：e124.密码：16060722
查看文章PubMed/NCBI谷歌学术搜索
13.格尔曼 A， 洛肯 E.科学中的统计危机。美国科学家。2014;102(6):460.
查看文章谷歌学术搜索
14.首席ML，霍尔曼L，兰菲尔R，卡恩AT，詹尼翁医学博士。科学中p-hacking的范围和后果。公共科学图书馆生物学。2015;13（3）：e1002106.密码：25768323
查看文章PubMed/NCBI谷歌学术搜索
15.麦克唐纳 D， 海德 E， 德贝柳斯 JW， 莫顿 JT， 冈萨雷斯 A， 阿克曼 G， 等.美国肠道：公民科学微生物组研究的开放平台。Msystems。2018;3（3）：e00031–18.密码：29795809
查看文章PubMed/NCBI谷歌学术搜索
16.辛哈 R， 阿布-阿里 G， 沃格特曼 E， 福多 AA， 任 B， 阿米尔 A， 等.微生物组质量控制（MBQC）项目联盟评估微生物群落扩增子测序的变异。自然生物技术。2017;35(11):1077–1086.pmid：28967885
查看文章PubMed/NCBI谷歌学术搜索
17.Allali I， Arnold JW， Roach J， Cadenas MB， Butz N， Hassan HM， et al.用于肠道微生物组组成分析的测序平台和生物信息学管道的比较。BMC 微生物学。2017;17(1):194.密码：28903732
查看文章PubMed/NCBI谷歌学术搜索
18.Clausen DS，Willis AD.评估微生物组数据中的可复制性。生物统计学。2021;kxab048.
查看文章谷歌学术搜索
19.蒂尔尼 BT， 谭 Y， 杨 Z， 水 B， 沃克 MJ， 肯特 BM， 等.系统地评估微生物组 - 疾病关联确定了宏基因组研究中不一致的驱动因素。公共科学图书馆生物学。2022;20(3):1–18.密码：35235560
查看文章PubMed/NCBI谷歌学术搜索
20.Nearing JT， Douglas GM， Hayes MG， MacDonald J， Desai DK， Allward N， et al.微生物组差异丰度方法在 38 个数据集中产生不同的结果。自然通讯.2022;13(1):1–16.
查看文章谷歌学术搜索
21.Khomich M，M?ge I，Rud I，Berget I.分析微生物组干预设计研究：替代多变量统计方法的比较。公共图书馆一号。2021;16(11):1–20.密码：34793531
查看文章PubMed/NCBI谷歌学术搜索
22.休伯特L，阿拉比P.比较分区。分类杂志。1985;2(1):193–218.
查看文章谷歌学术搜索
23.Badri M， Kurtz ZD， Bonneau R， Müller CL. 收缩改善了不同归一化方法下微生物关联的估计。NAR基因组学和生物信息学。2020;2（4）：LQAA100.密码：33575644
查看文章PubMed/NCBI谷歌学术搜索
24.Berry D，Widder S.破译微生物相互作用并检测具有共生网络的关键物种。微生物学前沿。2014;5:219.密码：24904535
查看文章PubMed/NCBI谷歌学术搜索
25.Agler MT， Ruhe J， Kroll S， Morhenn C， Kim ST， Weigel D， et al.微生物枢纽分类群将宿主和非生物因素与植物微生物组变异联系起来。公共科学图书馆生物学。2016;14（1）：e1002352.密码：26788878
查看文章PubMed/NCBI谷歌学术搜索
26.Banerjee S，Schlaeppi K，van der Heijden MG.Keystone分类群作为微生物组结构和功能的驱动因素。自然评论微生物学。2018;16(9):567–576.密码：29789680
查看文章PubMed/NCBI谷歌学术搜索
27.罗特耶斯 L， 浮士德 K.从毛球到假设——来自微生物网络的生物学见解。FEMS 微生物学评论。2018;42(6):761–780.pmid：30085090
查看文章PubMed/NCBI谷歌学术搜索
28.扎姆科瓦娅 T， 福斯特 JS， 德克雷西-拉加德 V， 科内萨 A.一种网络方法，用于阐明微生物群落中的微生物暗物质并确定其优先级。ISME期刊。2021;15(1):228–244.密码：32963345
查看文章PubMed/NCBI谷歌学术搜索
29.Francino M. 抗生素和人类肠道微生物组：生态失调和耐药性的积累。微生物学前沿。2016;6:1543.密码：26793178
查看文章PubMed/NCBI谷歌学术搜索
30.科斯特洛 EK， 斯塔加曼 K， 德特莱夫森 L， 博汉南 BJ， 雷尔曼 DA.生态学理论在理解人类微生物组方面的应用。科学。2012;336(6086):1255–1262.密码：22674335
查看文章PubMed/NCBI谷歌学术搜索
31.Yavero?lu ?N， Malod-Dognin N， Davis D， Levnajic Z， Janjic V， Karapandza R， et al.揭示复杂网络的隐藏语言。科学报告。2014;4(1):1–9.pmid：24686408
查看文章PubMed/NCBI谷歌学术搜索
32.Mahana D， Trent CM， Kurtz ZD， Bokulich NA， Battaglia T， Chung J， et al.抗生素对小鼠肠道微生物组的扰动可增强与高脂肪饮食相关的肥胖、胰岛素抵抗和肝脏疾病。基因组医学。2016;8(1):1–20.密码：27124954
查看文章PubMed/NCBI谷歌学术搜索
33.Ruiz VE， Battaglia T， Kurtz ZD， Bijnens L， Ou A， Engstrand I， et al.单一的生命早期大环内酯类药物疗程对鼠微生物网络拓扑和免疫力具有持久影响。自然通讯.2017;8(1):1–14.密码：28894149
查看文章PubMed/NCBI谷歌学术搜索
34.梁明敏， 童X， 威尔金斯D， 张华华， 李PK. 个人和家庭属性影响个人皮肤微生物群及其关联网络的动态。微生物组。2018;6(1):1–15.密码：29394957
查看文章PubMed/NCBI谷歌学术搜索
35.Arumugam M， Raes J， Pelletier E， Le Paslier D， Yamada T， Mende DR， et al.人类肠道微生物组的肠型。自然界。2011;473:174–180.密码：21508958
查看文章PubMed/NCBI谷歌学术搜索
36.Jeffery IB， Claesson MJ， O'Toole PW， Shanahan F. 肠道微生物群的分类：肠型还是梯度？自然评论微生物学。2012;10(9):591–592.密码：23066529
查看文章PubMed/NCBI谷歌学术搜索
37.科伦 O， 骑士 D， 冈萨雷斯 A， 沃尔德隆 L， 塞加塔 N， 奈特 R， 等.人体肠型指南：人类微生物组数据集中微生物群落结构的荟萃分析。公共科学图书馆计算生物学。2013;9（1）：e1002863.密码：23326225
查看文章PubMed/NCBI谷歌学术搜索
38.Knights D， Ward TL， McKinlay CE， Miller H， Gonzalez A， McDonald D， et al. 重新思考“肠型”。细胞宿主和微生物。2014;16(4):433–437.密码：25299329
查看文章PubMed/NCBI谷歌学术搜索
39.Costea PI， Hildebrand F， Arumugam M， B?ckhed F， Blaser MJ， Bushman FD， et al.肠道微生物群落组成景观中的肠型。自然微生物学。2018;3:8–16.密码：29255284
查看文章PubMed/NCBI谷歌学术搜索
40.程敏，宁K.关于肠型的刻板印象：新旧观念。基因组学，蛋白质组学和生物信息学。2019;17(1):4–12.pmid：31026581
查看文章PubMed/NCBI谷歌学术搜索
41.吴国枫， 陈杰， 霍夫曼 C， 比廷格 K， 陈 YY， 凯尔博， 等.将长期饮食模式与肠道微生物肠型联系起来。科学。2011;334(6052):105–108.密码：21885731
查看文章PubMed/NCBI谷歌学术搜索
42.卢塞乌·剪影：用于解释和验证聚类分析的图形辅助工具。计算与应用数学杂志。1987;20:53–65.
查看文章谷歌学术搜索
43.艾奇森·成分数据的统计分析。皇家统计学会杂志：B系列（方法学）。1982;44(2):139–160.
查看文章谷歌学术搜索
44.Yoon G， Gaynanova I， Müller CL. SPRING中的微生物网络—定量微生物组数据的半参数秩相关和偏相关估计。遗传学前沿。2019;10:516.密码：31244881
查看文章PubMed/NCBI谷歌学术搜索
45.Anders S， Huber W. 序列计数数据的差异表达分析.基因组生物学。2010;11：R106.密码：20979621
查看文章PubMed/NCBI谷歌学术搜索
46.Yoon G， Carroll RJ， Gaynanova I. 混合类型数据的稀疏半参数规范相关分析.生物梅特里卡。2020;107(3):609–625.pmid：34621080
查看文章PubMed/NCBI谷歌学术搜索
47.Lovell D， Pawlowsky-Glahn V， Egozcue JJ， Marguerat S， B?hler J. 比例性：相对数据相关性的有效替代方案。公共科学图书馆计算生物学。2015;11（3）：e1004075.密码：25775355
查看文章PubMed/NCBI谷歌学术搜索
48.吴阿， 乔丹 M， 韦斯 Y.关于光谱聚类：分析和算法。神经信息处理系统的进展。2001;14:849–856.
查看文章谷歌学术搜索
49.Clauset A， Newman ME， Moore C. 在非常大的网络中寻找社区结构。物理评论 E. 2004;70（6）：066111.密码：15697438
查看文章PubMed/NCBI谷歌学术搜索
50.Blondel VD，Guillaume JL，Lambiotte R，Lefebvre E.大型网络中社区的快速展开。统计力学杂志：理论与实验。2008;2008（10）:P 10008.
查看文章谷歌学术搜索
51.R?ttjers L，Faust K. Manta：加权生态网络的聚类算法。Msystems。2020;5（1）：e00903–19.密码：32071163
查看文章PubMed/NCBI谷歌学术搜索
52.艾奇森·关于成分差异的测量标准。数学地质学。1992;24(4):365–379.
查看文章谷歌学术搜索
53.马丁-费尔南德斯，布伦· 巴塞罗-比达尔 C，帕沃洛夫斯基-格拉恩 V.基于背离度量的成分数据的差异度量。在：国际数学地质学协会第五届年会论文集。第1卷;1999.第211–215页。
54.小布雷，柯蒂斯·威斯康星州南部高地森林群落的任命。生态专著。1957;27(4):326–349.
查看文章谷歌学术搜索
55.Holmes I，Harris K，Quinnce C. Dirichlet 多项式混合物：微生物宏基因组学的生成模型。普洛斯一号。2012;7（2）：e30126.密码：22319561
查看文章PubMed/NCBI谷歌学术搜索
56.考夫曼 L， 卢塞乌 PJ.在数据中查找组。John Wiley & Sons， Ltd;1990.
57.布莱斯泰克斯，劳尔·呼吁在计算科学中进行中立的比较研究。普洛斯一号。2013;8(4）：e61562。密码：23637855
查看文章PubMed/NCBI谷歌学术搜索
58.Boulesteix AL，Wilson R，Hapfelmeier A.迈向循证计算统计：关于真实数据基准研究的作用和设计的临床研究的经验教训。BMC医学研究方法。2017;17:138.密码：28888225
查看文章PubMed/NCBI谷歌学术搜索
59.瓦伦ZD。使用来自 16S 扩增子测序的两个大型帕金森病肠道微生物组数据集的差异丰度测试方法的比较研究。BMC生物信息学。2021;22(1):1–29.pmid：34034646
查看文章PubMed/NCBI谷歌学术搜索
60.Bokulich NA，Ziemski M，Robeson MS II，Kaehler BD.测量微生物组：开发和基准测试微生物组学方法的最佳实践。计算和结构生物技术杂志。2020;18:4048–4062.密码：33363701
查看文章PubMed/NCBI谷歌学术搜索
61.诺斯克 BA， 埃伯索尔 CR， 德黑文 AC， 梅勒 DT.预注册革命。美国国家科学院院刊.2018;115(11):2600–2606.pmid：29531091
查看文章PubMed/NCBI谷歌学术搜索
62.Wirbel J， Zych K， Essex M， Karcher N， Kartal E， Salazar G， et al.SIAMCAT机器学习工具箱支持的微生物组荟萃分析和跨疾病比较。基因组生物学。2021;22:93.pmid：33785070
查看文章PubMed/NCBI谷歌学术搜索
63.Bien J， Yan X， Simpson L， Müller CL. 微生物组数据的树聚合预测建模。科学报告。2021;11(1):1–13.pmid：34267244
查看文章PubMed/NCBI谷歌学术搜索
64.Fromentin S， Forslund SK， Chechi K， Aron-Wisnewsky J， Chakaroun R， Nielsen T， et al.心脏代谢疾病谱系的微生物组和代谢组特征。自然医学。2022;28:303–314.密码：35177860
查看文章PubMed/NCBI谷歌学术搜索
65.帕尔默 C， 比克 EM， 迪朱利奥 DB， 雷尔曼 DA， 布朗 PO.人类婴儿肠道微生物群的发展。公共科学图书馆生物学。2007;5（7）：e177.密码：17594176
查看文章PubMed/NCBI谷歌学术搜索
66.克拉森 MJ， 库萨克 S， 奥沙利文 O， 格林-迪尼兹 R， 德韦尔德 H， 弗兰纳里 E， 等.老年人肠道微生物群的组成、变异性和时间稳定性。美国国家科学院院刊.2011;108:4586–4591.pmid：20571116
查看文章PubMed/NCBI谷歌学术搜索
67.德里恩 M， 阿尔瓦雷斯 AS， 德沃斯 WM.生命最初十年的肠道微生物群。微生物学趋势。2019;27(12):997–1010.密码：31474424
查看文章PubMed/NCBI谷歌学术搜索
68.钟华， 彭德斯， 施志， 任华， 蔡珂， 方春， 等.早期事件和生活方式对学龄儿童肠道微生物群和代谢表型的影响。微生物组。2019;7:2.密码：30609941
查看文章PubMed/NCBI谷歌学术搜索
69.Yoon G， Müller CL， Gaynanova I. 潜在相关性的快速计算。计算与图形统计杂志。2021;30(4):1249–1256.密码：35280976
查看文章PubMed/NCBI谷歌学术搜索
70.奎因TP，理查森MF，洛弗尔D，克劳利TM。propr：一个R包，用于使用成分数据分析识别成比例丰度的特征。科学报告。2017;7(1):1–9.密码：29176663
查看文章PubMed/NCBI谷歌学术搜索
71.Meinshausen N， Bühlmann P. 高维图和套索变量选择。统计年鉴。2006;34(3):1436–1462.
查看文章谷歌学术搜索
72.埃夫隆 B. 局部错误发现率。斯坦福大学;2005.
43米弗里曼·社交网络概念澄清的中心地位。社交网络。1978;1(3):215–239.
查看文章谷歌学术搜索
44米杰卡德·高寒带植物区系分布。新植物学家。1912;11(2):37–50.
查看文章谷歌学术搜索
75.Ding T， Schloss PD. 人体微生物群落类型的动态和关联.自然界。2014;509(7500):357–360.pmid：24739969
查看文章PubMed/NCBI谷歌学术搜索
76.Csárdi G， Nepusz T.用于复杂网络研究的igraph软件包。国际期刊。2006;复杂系统：1695.
查看文章谷歌学术搜索
77.Ushey K， Allaire J， Tang Y. reticulate： interface to 'Python';2022. 可用： https://rstudio.github.io/reticulate/.
78.梅希勒 M， 卢塞乌 P， 斯特鲁伊夫 A， 休伯特 M， 霍尼克 K. 聚类分析基础和扩展;2022. 可从： https://CRAN.R-project.org/package=cluster.
79.Morgan M. Dirichlet多项式：用于微生物组数据的狄利克雷-多项式混合物模型机器学习;2022. 可从： https://www.bioconductor.org/packages/release/bioc/html/DirichletMultinomial.html.
80.Ho?evar T， Dem?ar J. 稀疏图中节点和边的石墨轨道计算.统计软件学报.2016;71(10):1–24.
查看文章谷歌学术搜索