免费医学论文发表-随突袭波动：自由能原理与综合信息论综合的实证预研究
克里斯托弗·伦德巴克·奥勒森 ，彼得·塞斯特鲁普·瓦德 ，拉里萨·阿尔班塔基斯，克里斯托夫·马蒂斯
抽象
自由能原理（FEP）和集成信息论（IIT）是两种雄心勃勃的理论方法。第一个旨在建立一个正式的框架来描述一般的自组织和类似生命的系统，第二个尝试基于系统的内在属性的意识体验的数学理论。它们各自关注系统属性的互补方面，一个与生活和行为有关，另一个与意义和经验有关，因此将它们结合起来具有潜在的科学价值。在本文中，我们通过扩展早期发表的进化模拟研究的结果，朝着这种综合迈出了第一步，该研究显示了IIT测量与不同复杂度任务中的适应性之间的关系。我们将FEP的基本信息理论度量（surprisal）与该结果联系起来，发现模拟代理观察的意外与进化过程中适应性和整合的普遍增加呈负相关。此外，在审判时间内，隐蔽性与基于IIT的意识测量一起波动。这表明IIT中使用的意识措施间接取决于主体与外部世界之间的关系，因此应该可以将它们与FEP中使用的理论概念联系起来。最后，我们提出了一种从经验上研究这种关系的未来方法。
作者摘要
认知科学，神经科学和计算生物学中两个有影响力的理论框架是自由能原理和综合信息理论。第一种是基于统计物理学第一原理的自组织和适应性行为的正式方法——简而言之，生命。第二种是试图正式描述给定系统的内在体验，即成为该系统的感觉。通过这种方式，这两种理论为理解给定生物体的两个互补方面提供了工具;也就是说，它如何基于对世界的统计信念以目标导向的方式行事，以及在这个过程中成为那个系统的感觉。在本文中，我们提供了对这些理论框架潜在关系的初步数值研究。我们模拟了经历进化的代理，并表明随着它们的积分水平（Φ，来自集成信息论的度量）的增加，信息论的隐蔽性（自由能原理中使用的量）减少。我们还看到Φ和隐性波动在一起，这些波动取决于感觉输入。最后，我们提供了未来仿真工作的考虑因素，以及如何使这两个理论框架更紧密地结合在一起。
数字
Fig 9Fig 10图1表1图2Fig 3Fig 4Fig 5Fig 6Fig 7Fig 8Fig 9Fig 10图1表1图2
引文： Lundbak Olesen C， Waade PT， Albantakis L， Mathys C （2023） Phi 波动与超然：自由能原理和综合信息论综合的实证预研究。公共科学图书馆计算生物学19（10）： e1011346. https://doi.org/10.1371/journal.pcbi.1011346
编辑 器： 托马斯·帕尔，英国伦敦大学学院神经病学研究所
收到： 1月 30， 2023;接受： 七月 11， 2023;发表： 10月 20， 2023
版权所有： ? 2023 奥勒森等人。这是一篇根据知识共享署名许可条款分发的开放获取文章，该许可允许在任何媒体上不受限制地使用、分发和复制，前提是注明原作者和来源。
数据可用性： 所有代码和模拟数据都可以在 osf.io/uzpca 找到。
资金：洛杉矶得到了基础问题研究所和硅谷社区基金会捐赠基金Fetzer Franklin Fund的资助号FQXi-RFP-IPW-1909的支持。C.L.O.和C.M.得到了嘉士伯基金会的资助号CF21-0439。C.M.得到了奥胡斯大学Forskningsfond的资助号AUFF-E-2019-7-10的支持。资助者在研究设计、数据收集和分析、发表决定或手稿准备方面没有任何作用。
竞争利益： 提交人声明不存在相互竞争的利益。
介绍
近年来，出现了两个有影响力的理论领域，它们为理解任何给定系统中的自组织，复杂性，信念和经验之间的关系提供了工具。这些是综合信息理论（IIT）[1,2]和自由能原理（FEP）[3-5]。它们有很多共同点：两者都是与底物无关的理论，超越了人类大脑;他们采取分层和多尺度的视角;他们提供了起源于信息论的形式化和定量度量（FEP：[6,7]，IIT：[8,9]）。同时，它们具有潜在的互补前景。IIT基于现象意识的公理，FEP基于统计物理学的第一原理。个人所得税主要关注系统的内在因果结构和相应的概念结构和内在经验;FEP对系统的感觉运动环境交换以及它们所隐含的生成模型结构和统计信念具有外在的关注。在IIT中，存在是一种不可约的因果结构[10]，而在FEP中，它是稳定的马尔可夫毯和相应的（非平衡）稳态的存在[5]。虽然它们非常不同，但IIT和FEP的观点不一定相互排斥。事实上，这两种理论的综合可以为正式探索自组织系统中的经验与行为之间的关系提供工具。因此，本文从两种理论对理论建构之间的关系进行了初步的实证探索。我们首先从它们自己的角度概述这两种理论，并就这些理论如何相互补充或丰富给出一些初步的理论考虑。然后，我们提出了一个模拟研究，显示了与每个理论相关的定量度量之间的关系，即Φ和信息论在进化和行为时间尺度上。最后，我们讨论了进一步将自由能原理和综合信息理论经验联系起来的建议。
综合信息论
IIT中提出的基本问题是物理系统必须表现出哪些属性才能支持意识。因此，人们并不认为意识是大脑独有的。相反，IIT侧重于意识与物理系统之间的关系[1,11]。IIT的核心在于系统内在描述和外在描述之间的区别，即系统对自身是什么，对外部观察者是什么。这种说法是，意识经验只为具有经验的系统而存在，因此它不能被建模为外在属性，必须从系统的内在角度来解决。在本文中，我们使用IIT提供的意义上的术语内在和外在，其中从其内在角度对系统的描述可能仅涉及内部状态，并排除例如内部和外部状态之间的相关性。
与其他意识理论相比，IIT的新颖之处之一是，它首先在意识本身的现象学中提出五个公理，这些公理对于任何意识经验都必然是正确的（在逻辑上无可辩驳的意义上[10]）。然后将这些公理转化为一组相应的假设，这些假设是关于物理系统必须具有的特征，以便遵守每个公理，这反过来又构成了IIT形式化的基础（对于这些公理的完整技术描述和我们工作中使用的版本中的假设， 见[2]（“IIT 3.0”））。
从本质上讲，IIT声称内在存在和意识之间的同一性。该理论建立在这样一种观点之上，即存在就是施加因果力量，即为了使某物成为一个单一的连贯事物，它必须具有以某种方式影响某物的潜力（请注意，施加因果力量不一定是造成某事，而只是拥有这样做的力量）。根据这种观点，外在存在和内在存在的区别在于“事物”是对其他事物施加因果力量，在这种情况下，它是为他者而存在，还是对自身施加因果力量，在这种情况下，它为自己而存在。此外，要使某物作为一个连贯的整体存在，它必须是不可还原的各个部分。这是IIT尝试进行正式分析的关键。IIT的形式主义可以看作是从观察者的角度对这种内在存在进行建模的尝试。由于存在是用因果术语描述的，因此这种形式主义相当于对系统本身的因果结构的分析（而不是系统与其环境交互的方式）。由于分析特别需要代表系统的内在性质，因此仅使用传统的信息理论度量是不合适的，因为这些度量本质上是外在的[1,12]。相反，IIT定义了内在信息度量，松散地描述为“产生差异的差异” [2]。必须强调的是，这与其他信息措施有很大不同，不能直接比较。简单地说，IIT的内在信息在因果关系中衡量了某物在多大程度上限制了它所属系统的状态。
因此，有两个层次的分析：机制层面和系统层面。机制层面分析的目的是确定系统中以组合方式内在存在的所有部分。为了存在于系统内，各部分必须指定关于系统其他部分的不可约的内在信息（这些部分称为“概念”），这些信息由机制集成信息φ来衡量。集成信息φ背后的基本思想是找到系统内机制指定的约束与其任何可能的分区之间的内在信息的最小差异。如果有一种方法可以对它进行分区，而不会丢失内在信息，则可以将机制简化为这些部分。但是，如果没有这种划分，则意味着该机制指定了超出其组成部分的信息，因此对这些组成部分是不可简化的。接下来，必须评估由所有这些部分组成的因果结构本身是否不可约。系统的所有概念加在一起，构成了系统的联合因果结构，称为概念结构。在系统分析层面，根据刚才概述的相同综合信息原则评估这种结构。综合概念信息Φ量化了概念结构中的不可约性程度。
请注意，由于IIT的第五公理和意识假设（排除），因果结构不仅需要不可约，还需要是所有重叠集合中最不可约的，并且（原则上）跨越所有空间和时间颗粒。因此，根据IIT的说法，意识系统是一个指定最大不可约量的因果结构的系统。因此，对所有可能的候选系统（元素的子集）重复整个分析，同时将分析中的候选系统之外的元素视为背景条件（考虑大脑，感官输入，身体的其余部分和环境被认为是背景条件）。具有非零 Φ 且不与另一组具有较大 Φ 值（在时间和空间上）的元素重叠的系统称为“复数”。一般来说，复合体的Φ值被解释为意识的大小或数量，而概念结构被解释为意识状态的内容或丰富性，而单个概念是构成该内容的可区分事物或特征[1,13]。
请注意，计算Φ的计算过程成本很高，因为它在多个级别上迭代系统元素的所有可能组合，导致随着系统变大，计算Φ所需的时间激增[14]。这意味着在任何远大于约10个节点的网络上实际计算Φ通常是不可行的，远远低于人脑的大约1000亿个神经元。因此，目前还不可能将任何给定的IIT分析的结果与我们熟悉的具体现象学或具体的人类行为联系起来（但见[13,15]）。IIT评估系统内的因果约束。一般来说，IIT的内在度量与即使是简单系统的外在观察行为之间的关系还有待确定，这是将IIT与行为理论联系起来的动机。
自由能原理
自由能原理（FEP）是一个理论框架，基于统计物理学和信息论的第一原理，它试图弥合进化生物学、认知科学和心灵哲学等不同领域[5,16]它最初被提出作为理解大脑功能的统一框架[17,18]，但后来扩展到包括生物体和一般的自组织系统[4，5,19]。FEP建立在这样一种主张之上，即任何自组织系统不断返回到非平衡稳态，即从它可能居住的所有状态中选出一小组非平衡状态，以抵抗熵波动并以可识别的形式存在。这可以形式化为解决优化问题，基于隐式生成模型，最小化系统与外部世界感官交换的信息理论的长期平均值。然而，评估这种超额通常不可行，因此使用不同的、可计算的量，即变分自由能，它跟踪生成模型解释感觉的能力，以及超额的上限[3]。因此，任何生物，即自组织有机体，都可以被描述为好像它跟踪并最小化了其感觉状态相对于生成模型的变分自由能，从而为理解自组织系统和一般生命的行为提供了一般原则[19]。
FEP的一个关键组成部分是存在暂时稳定的马尔可夫毯。马尔可夫毯是系统的内部和外部状态之间的统计分离，由形成两者之间边界的另一组状态分隔。内部状态不受外部状态的影响，也不会影响外部状态，除非通过一揽子状态进行调解。当毯状状态影响内部状态并受外部状态影响时，它们表示为感觉状态，当因果方向相反时，表示为活动状态。有人提出，保持马尔可夫毯对于保持结构完整性是必要的，它来自简单的随机动力学过程，并且保持马尔可夫毯需要保持非平衡稳态并表现出隐含最小化变分自由能的行为[5]。在这个过程中，系统内部状态的动态在统计上模拟了外部状态的动态[20]。请注意，在最近的工作中，提出了FEP的路径积分重新表述，不需要假设稳态[21];然而，我们的起点是 FEP 的经典基于状态的版本）
然后，生物系统可以被解释为马尔可夫覆盖系统的嵌套层次结构，其中较小的系统构成了较大系统的组成部分。因此，马尔可夫覆盖的大分子的集合可能形成细胞壁，在上面的水平上形成稳定的马尔可夫覆盖层。这种情况可以继续向上，细胞形成覆盖的器官，而这些器官又形成人体、社会群体、城市、生态等，嵌套层次结构的每一层似乎都在通过现有的最小化其毯子感觉状态的变分自由能[6]。
系统感觉状态的变分自由能总是相对于外部（隐藏）状态的生成模型进行评估，该模型生成有关感觉状态的预测。最小化变分自由能的一种方法是（变分）进行状态估计，更新参数和推断模型结构，这分别对应于（感知）推理，学习和结构学习。减少自由能的另一种方法是作用于环境，以产生生物体所期望的感官输入，因此是首选的。在主动推理中，基于FEP的框架，其中代理选择最小化预期自由能的行动，偏好被实现为对感官输入的先验期望 - 这里称为目标先验 - 这是不可变的，因此必须实现以最小化自由能[20]。这些目标先验被认为反映了生物体通常遇到的感觉类型，一种统计“表型”，并且被认为是进化选择的。这提供了将进化解释为贝叶斯模型选择，其中变分自由能随着时间的推移通过产生意味着更具适应性的生成模型的生物体而最小化[7]。因此，FEP和主动推理可用于理解进化、发育和机制尺度上的过程[22,23]，以及生物体及其生态位如何相互适应和建模[24]。最后，重要的是要指出，基于FEP和主动推理的工作通常采用工具主义方法，只是声称某些给定的系统可以被描述为好像它执行主动推理[25]。然而，关于对FEP的计算主义结构的现实主义解释在多大程度上是必要的，正在进行讨论[26-28]，并且认为FEP和主动推理与计算和表征现实主义的其他理由兼容，例如计算的机械描述[29]和目的论[30]。
已经采取了几种不同的方法来将FEP应用于意识问题。首先，已经开发了各种主动推理马尔可夫决策过程（MDP）模型，其中代理将世界建模为离散状态转换，并选择最小化变分自由能的动作[31]。这些可以作为抽象模型，描述系统行为中隐含的关于世界的信念;然而，人们认为系统的内部状态将这些模型参数化[32]，并且它们可能与预测编码的变分消息传递方案有关[33]。因为关于世界的推论被认为是意识体验的基础，MDP模型被认为反映了暗示它们的系统的主观体验（例如[34]）。一般来说，有人认为意识体验是推理过程而不是感觉过程的产物，当系统的隐含生成模型在时间和反事实上是深度时，它就会出现，也就是说，包括对未来会发生什么以及过去在不同行动下可能发生的推论[35,36].此外，有人认为，意识暂时与系统模型对内感受信息的反应有关[37]，以及复杂主体将高确定性归因于中级预测，同时允许更高层次的信念变化，从而在世界本身和直接体验之间造成鸿沟[38]。].也有人认为，意识与情感有关，而情感与向变分自由能最小值移动有关，这表明当需要明确评估与行动政策相关的预期变分自由能时，而不是当行为是自动或反身时，意识就会产生[39,40]。已经制定了意识的全局神经元工作空间理论的主动推理版本[41]，并且已经提出了同样基于现象学的主动推理神经计算投射意识模型，以解释第一人称体验的透视和综合质量[42,43].也有人尝试在现象学经验上采用生成建模技术，将“原始”直接经验与主动推理代理的观察联系起来，并将总经验与给定这些经验的最佳解释或最有可能的模型联系起来[44]。关于FEP的数学结构如何与意识潜在相关的更详细的讨论可以在[32]中找到，要点是心物质二元性可以基于内部状态概率进化的内在信息几何与由内部状态参数化的关于外部状态的概率信念的外在信息几何之间的差异（注意“内在”和“外在”在这里的使用方式与我们使用的基于 IIT 的 BY IT 不同）。这些描述，即使它们有很大的不同，也都是基于大脑功能的预测处理，这被认为是识别意识神经相关性的富有成效的框架[45]。
本文没有深入探讨IIT与FEP之间的理论关系，而是重点对两种理论的一些核心结构进行数值研究。然而，我们将首先花点时间概述一些关于综合信息理论和自由能原理之间相互丰富潜力的考虑因素。
将FEP和IIT联系起来的动机
个人所得税和FEP似乎有多种兼容方式，并且似乎有相互贡献的潜力。在简短的讨论中，[32]认为这两种方法之间存在构造有效性，声称IIT的五个公理都与FEP下概念化的马尔可夫覆盖变分自由能最小化系统兼容。据推测，将FEP与IIT联系起来可能有助于区分有意识和无意识类型的主动推理过程，并且可能是朝着意识的单一概念迈出的一步。他们还指出，这两种理论都建立在因果相关系统的划分之上，除了进一步表明这些理论可能是相互理解的之外，还强调了可能的研究途径。参见 Albantakis （2020） 对这些说法的简要讨论和批评。
FEP和IIT采用不同但可能兼容的本体论起点。IIT是物理主义的，因为它忙于描述系统内物理状态之间的因果关系，它是内在的，因为它只考虑系统内的因果关系，并且只考虑单个时间点（在特定的时间粒度）。FEP是功能主义的，因为它考虑抽象的计算信念及其在行为中的表达，并且通常是外在的，因为它对系统与其周围环境之间的关系感兴趣。更好地理解这种内在/物理主义和外在/功能主义账户之间的关系可以为IIT和FEP提供价值。对于IIT来说，它可能提供了一种基于情境行为的外在解释（这通常是真实生物系统唯一可访问的帐户）对系统的内在视角进行推断的方法。对于FEP，它可以提供一种方法，将系统中的行为和隐含计算（无论是否理解工具）与其内在因果结构和集成水平相关联。
当某物作为“事物”存在时，两种不同的概念化，在FEP中意味着随着时间的推移保持马尔可夫毯，在IIT中意味着在环境影响背景下最大限度地整合的因果结构，可能是互补的概念（另见[46]）。可以推测，复合体通常不会穿过稳定的马尔可夫毯，因此意识通常包含在生物体的动态维持边界内，而不是跨越动态维持的边界。IIT的方法也可以通过确定嵌套马尔可夫毯意识层次结构的哪个级别来补充FEP，即内在整合最高的级别。
这两种理论可能相互促进的另一个地方是意识体验与外部世界之间的关系。IIT关注的是系统的体验，无论其周围环境如何（但考虑到其背景条件），但在FEP下，自组织系统必须暗示环境模型（由其内部状态参数化）才能持久。这表明，基于IIT的系统内在体验的形式描述可能在某种程度上反映了其外部环境。甚至可以证明，一个系统的隐含生成模型和信念在某种程度上反映在其概念结构中，这是一种对FEP的综合表征主义解释。此外，在FEP中，生物通常被认为通过与它们的同种（社会）相互作用来调整其隐含的生成模型（以及因此参数化它们的内部状态），这可能涉及其内部因果结构，概念结构和内在经验的对齐。
最后，IIT对于一个有意识的系统是否自组织是不可知的（尽管[46]将整合与自我维护联系起来）。然而，FEP指出，自组织系统通过最小化变分自由能来维持其结构并返回到稳定的状态子集。有人可能会推测，最小化变分自由能可能与保持稳定、自我相似和空间束缚的意识在时间上有关，也就是说，也许是一种自我意识。
[32]也提出，对于给定的系统，人们可能会发现Φ和变分自由能之间的关系，因此最小化变分自由能同时导致Φ的增加。鉴于[47]表明更整合可能具有进化优势，这应该导致更好的能力来最小化变分自由能，这种关系似乎确实有可能。然而，这种关系可能会变得更加复杂，因为隐含的统计信念和隐性，以及进化产生的整合量，都随着给定任务的复杂性和对系统的约束而变化，而不仅仅是系统执行任务的程度[47]。因此，在本文中，我们迈出了对两种结构之间关系进行实证研究的第一步。重要的是，我们还没有将Φ与系统的变分自由能进行比较，而是将其与与系统的感觉状态相关的超然性的经验近似进行比较，因为这是变分自由能最小化最终寻求最小化的量。然后，我们将它留给未来的工作，以正确合并FEP的更多方面，例如通过计算在已知的世界生成模型下执行主动推理的系统Φ（请参阅限制和进一步的工作）。
值得注意的是，[48]试图将IIT，FEP和全球神经元工作空间理论综合成一个新的综合世界建模理论。有人认为，主动推理和自由能原理可以用来弥合其他两种理论的外在和内在观点，并且这种综合在许多领域都有应用。然而，为综合理论的理论工作做出贡献超出了本文的范围。相反，我们专注于研究Φ与经验近似超验之间的数值关系，并讨论未来可能导致的研究类型。
不断发展的动画
为了研究IIT和FEP测量之间的关系，我们复制了[47]中提出的进化模拟，其中发现，与更简单和更容易的任务相比，当任务环境更复杂和困难时，animats（人工自适应代理）平均进化出更多的概念和更高的Φ值。模拟中的动画被进化为执行简单的感知分类任务，如图1所示。在这个世界中，动画居住在俄罗斯方块状空间底排的 3 个正方形中。在每次试验中，一个具有一定宽度的块会从顶部落到底部，最终在试验结束时击中或错过动画。每次试验，块在下降时都会向左或向右移动（每个时间步长一个平方）。动画的任务是在试验结束时根据方块的宽度捕捉或避开方块。这与块的不同下降方向一起，给出了四种不同的任务类型（右捕获，右避免，左捕获和左避免）和总共128次试验（给定最多4种不同的块大小）。在内部，动画是一个马尔可夫大脑[49]，一个由2个感觉节点，2个运动节点和4个隐藏节点组成的网络。每个感官节点在看到其正上方的块时都会做出反应，并被放置在动画的最外层正方形上（因此，没有从动画中间上方接收到感官输入）。隐藏节点和电机节点都有一个内部逻辑，用于确定不同的输入组合如何导致节点的激活或停用。电机音符控制动画如何在空间中移动，这样当一个电机节点处于活动状态时，它将沿与该节点相对应的方向（左或右）移动，当没有或两个节点处于活动状态时，动画不会移动。有关 animat 和模拟环境的更多详细信息，请参阅方法部分，我们建议访问 http://integratedinformationtheory.org/animats.html 以获取任务和 animat 的可视化演示。
缩略图 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图1. 仿真中捕获块任务的示意图。
一个块从上到下落下，要么向左，要么向右。动画有两个感官节点，当块位于它们上方时，它们会被激活。它还具有两个电机节点，允许它向右或向左移动。根据块的大小，动画的任务是捕捉或避开块。转载自[47]。
https://doi.org/10.1371/journal.pcbi.1011346.g001
在[47]中，有4个任务，这些任务因下落块的大小而异，每个任务的难度都在增加。在这里，我们只模拟了最简单的任务（任务 1）和最难的任务（任务 4）。我们进化了 150 条下降线 （LOD），50 条用于简单任务，100 条用于困难任务。每个LOD都从一个未连接的网络开始发展了60000代。对于每一代，一组动画将通过稍微改变隐藏节点的连接和逻辑而变异，而表现最好的动画将构成下一代的基础。每个LOD代表一个独立的进化模拟，因此可以被视为不同的物种，独立进化以完成相同的任务。同样，方法部分中提供了更多详细信息。除了比较易任务和困难任务动画外，我们还分别分析了上一代具有完美健身的 8 个困难任务动画。这样做是为了与 [47] 保持一致，并且因为完美的健身动画更容易解释，因为它们实际上正确地执行了任务。由于超过三分之二的动画在简单任务中达到了完美的适应度，并且平均达到了整体的高适应度，因此我们没有在简单任务中分离出完美的健身动画。
最后，我们考虑如何提取每个时间点的 animat 的 FEP 相关度量，以便将它们与 Φ 进行比较。这里直接的挑战是，变分自由能（以及它上界的超限）在理论上是基于动画的隐含生成世界模型，我们无法先验地获得该模型。在文献中，模拟代理通常使用其周围环境的生成模型构建，在此基础上，它们计算给定不同行动策略的预期自由能并选择具有最低期望的策略（如[34]）。在这种情况下，可以跟踪代理与环境相互作用时的信念和变分自由能。然而，动画被构造为确定性逻辑网络，并且不通过构造拥有生成模型。如果人们能够重建动画必须具有的生成模型，以便生成他们观察到的行为 - 即他们隐含的生成模型 - 人们可以直接访问他们在每个时间步上的隐含信念和自由能。然而，可靠地重建这样一个生成模型并不是一项简单的任务，所以我们不在这里做（尽管有关如何做到这一点的建议，请参阅限制和进一步的工作）。我们不是直接从生成模型中获得变分自由能，而是构建模型条件超验的经验近似，即通过最小化变分自由能最小化 FEP 中的数量。这种近似不需要访问动画的隐含生成模型，因此可以实现 IIT 和 FEP 的初始数值关系。
Surprisal计算为给定animat的生成模型的观察（即感觉状态）发生的负对数概率：
其中 i 是超验，P（o|m） 是给定生成模型 m 的情况下，结果 o 在时间步上发生的概率 P。计算 P（o|m） 需要访问 animat 的生成模型，因此在这里无法访问，因此我们改为先验经验目标来近似它。我们通过使用（完美）自适应动画的观察到的感觉状态的分布来构建这些经验目标先验。完美动画样本的感官状态应该是动画所期望的观察类型，假设他们先验地期望很好地执行任务，并且有一个有用的环境模型。因此，当对自适应行为下不常见的感官状态进行采样时，动画会感到“惊讶”，即与完美动画所遇到的不同。重要的是，我们为四种任务类型（右捕获，右避免，左捕获和左避免）中的每一种以及试验中的每个时间步构建了不同的概率分布，因为自适应动画在不同的任务类型和时间步长上应该有不同的期望。我们还使用来自完美动画的感觉状态分布来计算隐蔽，从而产生最低的隐蔽。这意味着，相对于与自身最相似的完美行为来评估隐蔽性，避免了罕见但仍然完美的策略导致高隐蔽性。我们在这里使用的隐蔽测量与动画的适应性有着内在的联系，从FEP的角度来看应该是这种情况，但前提是行为的任务最优性实际上反映在特定试验中animat的感觉状态中。因为它是为试验内时间定义的，并且因为它取决于感觉状态而不是决定适应度的运动状态，所以模型条件隐蔽不仅仅是一种适应度测量。此外，隐蔽性取决于先验经验目标的熵，因此偏离更不确定的期望比偏离更确定的期望导致的惊喜更少。
有趣的是，在近似的animats的surprisalal之前使用经验目标，可以让我们完全绕过变分自由能的步骤。然而，这也意味着，我们的测量，即使不考虑它可能是FEP的模型条件的伪像的不良近似方式，也不能直接反映变分自由能的认识分量（尽管它可能隐含地通过使动画期望认识行为达到完美动画表现出的程度）。我们这里的比较应该主要被视为初始比较，直到可以使用直接基于（重建的）生成模型的度量。
在下文中，我们将介绍进化模拟的结果，其中动画执行所描述的任务。我们复制了Albantakis等人[47]的一些发现，并进一步表明，随着进化时间的流逝，隐蔽性会减少。此外，我们评估了Φ和隐蔽在试验时间内的变化，以及这些波动如何以探索性的方式交叉关联，并以探索性的方式将这些交叉相关性与Φ和隐蔽波动的一般模式联系起来。
结果
在下文中，我们首先研究进化时间尺度上平均Φ，超然和适应度的变化。接下来，我们考虑Φ和surprial的试验内每个时间步长的波动，以及它们如何在非聚合水平上协同变化。
最后，我们根据相关性曲线（Φ和surprial之间的负，正或无相关性）将动画分为3组，并研究这些组在进化和试验时间方面的差异。
我们的数据集由两个任务环境（简单和困难）组成，分别具有 50/100 个独立进化（表 1）。Φ和最后一代的超然分布如图2所示。可以看出，Φ的均值和中位数在困难的任务中更高，对于完美的动画甚至更高。相比之下，在困难的任务中，surprisal 更高，但对于完美的动画来说则较低。我们还看到，均值和中位数捕获分布之间的差异不同。为了与阿尔班塔基斯等人的可比性。al [47]，我们随后在正文中给出了平均值（参见S1和S2以及S3，使用中值进行相同的分析）。
缩略图 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
表 1. 数据的描述性统计。
请注意，这两个任务中完美动画的数量都比Albantakis等人大得多[47]。这可能是由于从那时到现在对用于进化模拟的MABE框架进行了优化。
https://doi.org/10.1371/journal.pcbi.1011346.t001
缩略图 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图2. Φ和上一代进化的分布，用半小提琴图和半箱线图描绘。
显示了每个任务的分布，以及进化出完美适应度的困难任务动画的分布。带有水平线的灰色点表示分布的计算平均值。
https://doi.org/10.1371/journal.pcbi.1011346.g002
进化时间的变化
图3显示了Φ和超额随进化时间的变化，在每一代LOD上都是平均值。图3A和3B显示了我们对Albantakis等人的主要发现的复制[47]。体能随着进化时间的增加而增加，并且在简单任务中比在困难任务中更高。红线显示了困难任务中的 8 个完美动画，它们在模拟进行到一半时达到了近乎完美的行为。我们还看到，Φ在困难任务中高于在简单任务中，而在进化结束时的困难任务中，完美动画的Φ略高。与Albantakis等人[47]的结果相比，我们看到在所有条件下的适应度和Φ平均值更高。此外，这些值在进化过程中增加得更快，并且在任务之间更相似。这可能是由于MABE进化算法的效率最近有所提高[50]。
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图3.
简单任务（黑色）、困难任务（蓝色）和困难任务（红色）中完美动画的平均适应度 （A）、φ （B） 和隐蔽 （C） 随进化时间的变化。变量首先在每个动画中的所有值上取平均值，然后在每一代的所有LOD上取平均值。线条周围的功能区显示跨 LOD 求平均值的标准误差。
https://doi.org/10.1371/journal.pcbi.1011346.g003
我们在这项研究中的目标是比较在动画进化过程中IIT数量的变化与FEP相关数量。如图3C所示，隐蔽性随着进化时间的流逝而减少，并且在简单任务中低于在困难任务中。在困难任务中的 8 个完美动画的子集中，隐蔽性比平均水平减少得更多。但是，它永远不会像在简单的任务中那样低。
试用时间的波动
图4显示了进化结束时（60000代）在试验时间（36个时间步长）绘制的Φ和超额（试验和LOD的平均值）。图4A显示，随着试验时间的延长，隐蔽性逐渐减少。简单的任务总体上具有较低的隐蔽性，并且在试验进行到一半时进一步减少。在困难任务中，意外性更高，但在试验中期后，完美动画的意外性会迅速下降，并以与简单任务中的动画相似的水平结束。这表明在试验结束时，目标先验中熵向较小的熵转变（有关这一点的更多信息，请参阅方法部分）。图4B显示了当试验时间以动画对块的第一次观察为中心（用虚线标记）时，是偶然的。在这里可以看出，当观察到块时，隐蔽性急剧增加，但之后减少。由于在试验结束时目标先验的熵要小得多，因此偏离目标先验的动画比早期时间步具有更高的隐蔽性，导致困难任务中的动画再次增加。完美困难任务动画的意外性在看到块后会降低，再次以类似于简单任务的动画的水平结束。
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图4. 简单任务（黑色）、困难任务（蓝色）和困难任务（红色）的完美动画在试用时间内的平均 Φ 和意外。
A）审判时间的平均隐蔽性。B）试验时间内的平均隐蔽性，以块的第一次观察为中心。C） 试验时间内的平均 Φ。D）试验时间内的平均Φ，以块的第一次观察为中心。线条周围的阴影是平均值的标准误差。有关 LOD 之间的可变性，请参见 S5 图。请注意，B 和 D 的平均值基于随着相对时间步长离 0 越来越远而减少的试验次数。为了使相对时间步长达到 30，在给定的试验中，animat 需要在前几个实时时间内看到块。
https://doi.org/10.1371/journal.pcbi.1011346.g004
在图4C中，我们看到了试验时间内的平均Φ。在这里，两个任务的线条几乎是平坦的，在试验开始时，难度任务略高，这与我们在进化时间结束时看到的Φ水平的差异相对应（图3B）。对于完美的动画，在试验的中间，Φ 普遍增加，之后再次降低。这表明，完美动画相对较高的平均 Φ 可以归因于试验中间发生的事情，而不是这种类型的动画 Φ 水平的普遍增加。图4D显示了试验的平均Φ，试验时间集中在动画第一次观察块上。在感应块时，简单任务中的动画 Φ 略有增加，困难任务中的完美动画的 Φ 会略有增加，而在困难任务中包含所有动画时似乎没有平均差异。这表明我们在图4C中看到的完美动画的Φ增加与动画对块的观察有关。请注意，尽管平均 Φ 和超验存在差异，由于大量模拟试验，平均值的标准误差非常小，但单个动画之间仍然存在很大差异（参见 S5 和 S6 以及 S7 图）。
Φ与超额的相关性
在介绍相关性分析之前，我们展示了一些单个试验中Φ和意外之间每个时间步长波动的示例（图5）。在这里，我们看到了解决任务的不同策略的示例。自适应动画最常见的是“跟随策略”，其中动画跟随块后面或下方，这取决于它们是否必须抓住或避开它（图 5B 和 5D 和 5F）。第二种是“传递策略”，其中动画让块通过它们，这在捕获试验中同样具有适应性（图5A，5C和5E;参见完美动画行为可视化方法）。这些例子也举例说明了 Φ 和 surprisal 在 animat 观察块时经常变化的方式。最后，我们可以看到特定单次试验的Φ和意外之间的正相关（图5C和5D和5F），负相关（图5B）和缺乏相关性（图5A和5E）的例子。
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图5.
A-F）示例动画行为，Φ和surprial的试验内表示。每个图的灰色框显示有关试验和动画的信息，以及 Φ 和 surprial 之间的相关性。x 轴显示试验中的时间步长。橙色线表示隐蔽，绿线表示Φ。每个都绘制在任意 y 轴上，以便更好地比较，其中仅指示零点。每个图的下半部分显示左右感觉状态（SR，SL）和运动状态（MR，ML），黑线表示激活。当感知到阻滞时，感觉状态是活跃的。运动状态由动画激活，并使其沿给定方向移动;如果两个电机状态都处于活动状态，则 Animat 将静止不动。选择图以显示各种行为模式，Φ和超然。所有示例均取自困难任务中的动画。
https://doi.org/10.1371/journal.pcbi.1011346.g005
图6显示了Φ和超相关在最后一代所有LOD试验中的互相关分布。对于接近零的时间滞后，有许多相关性在正向和负方向上都远非 0，这表明这两个度量之间存在关系，但在试验和 LOD 之间有所不同。一般来说，在困难的任务中，完美的动画有一个正偏斜，而在简单的任务中，动画有一个更强的正偏斜。在较大的时间滞后，相关分布越来越以 0 为中心，这表明当 Φ 和 surprisal 相关时，它们通过同时波动而不是滞后方式来做到这一点。此外，多级线性回归证实，Φ 的波动（即与上一个时间步的绝对变化）与滞后 0 时的意外变化之间存在显著关系（β = 0.123，SE = 0.013，p<0.001，动画的随机斜率 （SD） = 0.018）。
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图6. Φ和超强之间的相关强度分布，在上一代所有LOD的所有试验中。
显示的时间滞后约为 0，在每个图表上方表示。显示简单任务中的所有动画（黑色）、困难任务中的所有动画（蓝色）和困难任务中仅完美动画（红色）的相关性。滞后变量是Φ，这意味着对于负滞后，相关性测量Φ与未来超时之间的关系，反之亦然。请注意，Φ = 0 的试验被排除在此分析之外。
https://doi.org/10.1371/journal.pcbi.1011346.g006
关联配置文件
为了探索 Φ 和 surprial 之间不同相关方向（正和负）背后的机制，我们在这里再次介绍执行困难任务的动画的结果，但现在根据相关配置文件分为三组（Φ 和 surprial 之间的负、中性和正相关）。
图7显示了进化时的结果。在这里，相关配置文件基于进化结束时动画的平均相关系数。三组的平均适应度相似（图7A），但是，对于具有阳性特征的动画，Φ和surprisal平均较低（图7B和7C）。我们还看到，具有负面配置文件的动画似乎平均比具有中性配置文件的动画具有略高的隐蔽性，后者再次略高于正相关配置文件动画。
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图 7.
适应度 （A）、Φ （B） 和隐蔽 （C） 在进化时间上的变化平均在 LOD 上根据上一代的动画相关配置文件分组。这些组是：负（紫色）、中性（灰色）和正（棕色）相关性。
https://doi.org/10.1371/journal.pcbi.1011346.g007
在图 8 中，我们看到了试验时相关配置文件之间的差异。在这里，相关配置文件直接基于每个试验的相关系数。由于给定的 animat 在某些试验中可能具有正相关关系，而在另一些试验中具有负相关关系，因此这些图无法与之前图 7 中的进化终点相提并论。考虑到隐蔽性（图8A和8B），两组之间几乎没有差异，除了正相关试验在结束时具有较低的平均隐蔽性。然而，在Φ中，组之间的差异要明显得多（图8C和8D）。最显着的差异在图8D中可以看到，其中试验时间以块的第一次观察为中心。我们看到，在具有正相关的试验中，Φ通常处于低基线。当观察到该块时，平均Φ上升，并再次下降到稳定水平。在负相关的试验中，模式正好相反。平均 Φ 是第一个区组观测值和平均 Φ 恢复到基线水平之间的时间段内相关剖面图组之间最相似的值。这就解释了为什么在第一个块观察（图4D）的困难任务中包括所有动画时，我们没有看到Φ的平均波动，同时仍然得到广泛的相关系数分布。正相关和负相关试验的反模式在统一平均值中相互抵消。此外，正相关和负相关谱之间平均Φ基线水平的一般差异解释了这两组在进化时间（图7B）和试验时间（图8C）方面的相对较大差异。
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图8.
Φ和试验时间上的平均波动分为Φ和超高相关性为负（紫色，系数<-0.1，N = 4489），中性（灰色，系数在（-0.1,0.1），N = 1532）和正（棕色，系数>0.1，N = 5611）的试验。A）审判时间的平均隐蔽性。B）试验时间内的平均隐蔽性，以块的第一次观察为中心。C） 试验时间内的平均 Φ。D）试验时间内的平均Φ，以块的第一次观察为中心。线条周围的阴影是平均值的标准误差。
https://doi.org/10.1371/journal.pcbi.1011346.g008
讨论
我们在简单任务中进化了 50 个动画，其中 34 个达到了完美健身，100 个动画在困难任务中达到了完美健身，其中只有 8 个达到了完美健身（见表 1）。这表明任务之间的难度存在实质性差异，这似乎影响了Φ。与简单任务相比，在困难任务的最后一代中没有积分的动画更少，在最后一代的所有试验中，只有8.3%的试验在困难任务中的平均Φ值为0，而简单任务在此类试验中的比例要高得多（22%）。在困难任务中找到的 Φ 最大值 （Φ = 4.11） 远高于在简单任务中找到的最大值 （Φ = 2.49）。在最后一代时，Φ值的分布存在细微但明显的差异（图2），这似乎是由任务之间零Φ状态数量的差异驱动的，而不是Φ值较高的一般水平。因此，与简单的任务相比，艰巨的任务似乎给集成的存在而不是集成的水平带来了更大的进化压力。
在演化时间尺度上，我们看到Φ的结果与Albantakis et相似。AL [47]，尽管任务之间的差异要小得多。请注意，当使用中位数时（参见 S1、S2 和 S3），任务之间的差异要明显得多，但困难任务的完美动画与组的其他部分更相似。试验时间中的Φ水平也是如此。Φ 有上限和下限，因此在观察块时与低基线或高基线的偏差可能是由于向平均值的回归，其中具有较高基线的动画在其内部状态发生变化时平均减少 Φ，反之亦然。然而，这仍然很有趣，而且不是先验的，根本没有一个基线，并且动画似乎在看到块后会回到它。
在进化和试验时间，关于我们的秘密测量的结果在很大程度上符合FEP的预期。平均隐蔽性随着适应度在进化时间的增加而降低，这反映了平均隐蔽性测量与经验观察到的稳定最优行为的差异。在动画首次观察到块的时间点，隐蔽性也增加了;即使是完美的动画也无法控制这种情况何时发生，这会导致更多的差异，因此更加隐蔽，这也使这成为给定试验中信息量最大的时间，在经典的香农信息意义上。在试验结束时，平均而言，隐蔽性下降，因为动画能够使它们的感官更类似于自适应代理，并且熵也更少。在简单的任务中，隐蔽性也较低;它更容易意味着更多的动画成功地按照先验的经验目标行事。
结果表明Φ与超层之间存在关系。在进化时间尺度上，这种关系可能是由于这两个测量都与适应性有关，因此随着适应度的增加，意外下降和Φ增加，导致有效最小化意外的能力与平均更高的内在因果积分之间存在相关性另一方面。在试验内的时间尺度上，我们发现Φ和隐蔽性同时波动，即当动画首次观察到块时。这为系统感觉状态的变化（外表）与其内在因果结构的变化有关的说法提供了一些初步证据。或者，换句话说，根据这两种理论，感觉的变化会导致体验的变化。
应用自由能原则
为了将我们的结果与自由能原理联系起来，重要的是要考虑动画是否满足其应用标准。动画显然具有稳定的马尔可夫毯，由感觉和运动节点组成。然而，他们并没有通过自己的内部动力积极维护他们的马尔可夫毯。因此，很难确定声称它们拥有非平衡稳态是否合理，我们不会在这里正式这样做。然而，根据经验，我们观察到，在进化过程中，动画行为会向稳定的模式收敛，这表明向NESS移动。同样，在一次试验中，成功的动画也设法进入一种稳定的感觉运动状态，即看到或看不到块，具体取决于任务。至少从经验上讲，动画似乎既拥有马尔可夫毯，又以使它们进入并保持进化适应性非平衡稳态的方式行事;确实，正是在这些稳定状态下，我们的测度是最低的，这进一步表明该测度是基于生成模型的测度的良好近似，该测度在自由能原理中以变分自由能为上限。这是有用的，因为重建给定系统动作所隐含的生成模型，这是直接获得变分自由能所必需的，但很少容易。
重要的是，从某种意义上说，在我们的模拟中发生的唯一概率连续适应发生在进化时间尺度上，因为动画是试验时间尺度上的确定性系统。这就提出了一个问题，即应用自由能原理，以及随之而来的系统作为概率贝叶斯信念更新器的解释，在确定性试验时间尺度上是否有意义。我们不会在这里做出强有力的结论，只是要注意的是，即使 animats 是确定性逻辑网络，它们可能看起来仍然像，或者可以很好地描述，好像它们在做概率贝叶斯推理。事实上，很难不将动画的块识别和跟随行为解释为目标导向的、基于计划的和推理的过程，尽管知道它们的确定性内部结构。换句话说，动画在行为上似乎是目标导向的贝叶斯信徒，即使他们只是内部的简单网络。这似乎是对纯机械系统的不合理的拟人化，但应该被解读为对系统功能相关性的解释。在FEP下，系统与其说是拟人化的，不如说是统计化的，也就是说，故意解释为进行统计推断。这有时可能是对机械系统的有用重构，部分原因是当系统的整个内部结构未知时，它仍然可以使用，部分原因是它为网络的行为和结构提供了功能和面向目标的解释，否则它只是一组任意连接的节点给外部观察者。在这里，动画的内部机制结构是众所周知的。此外，多种机制实现可以在块捕获任务中导致完美的适应度和类似的行为。将单个动画的重建生成模型与其实际的机制实现进行比较，可以阐明应如何更普遍地解释生成模型。
个人所得税和联邦经济计划
在将个人所得税和FEP联系起来时，一个重要的问题是它们在概念上是否兼容。IIT明确关注内在的物理因果相互作用（以内在的物理因果视角识别意识体验）。使用 FEP 时的概念立场更加多样化：它是功能主义的（专注于承担行为的抽象计算过程），而不是物理主义;它通常是工具主义的（将计算结构视为描述行为的工具），有些人主张现实主义立场（计算本身被认为是真实的）;它在重要方面是外在的（就其面向内部状态或信念与外部环境之间的表征关系而言），尽管它同时强调（更类似于内在叙述）主体的信念和思想在技术上只是马尔可夫毯中感觉运动交换的功能，将现实世界隐藏起来。如果对FEP采取工具主义观点，其中自由能最小化被认为是对系统行为的有用解释，那么这两种方法显然在概念上是兼容的。这些理论在现实主义的解释下可能仍然是兼容的，也许特别是如果计算过程（在IIT中通常不被认为是真实的）可以被确定为因果整合（因此是真实的）机制;然而，对FEP的现实主义解释的一些理由往往基于现实主义的外在描述，例如基于表征主义[30]或对客观目标的贡献[29]。本体论承诺在IIT中通常更强大，更深思熟虑，这意味着两种方法之间的概念兼容性可能最终取决于与FEP兼容的不同可能本体论立场中的哪一种选择承诺。
因此，当将这两个框架联系起来时，一个明显而重要的经验问题是：一个系统的内在经验是否与其行为中隐含的统计信念同态？这，甚至是两者之间的完全同一性，经常被功能主义的意识理论随意假设。然而，至少在理论上，也许在实践中，情况并非总是如此。根据IIT的说法，具有不同内部因果结构的系统，因此具有不同的内在体验，在功能上可能是相同的[2]，因此似乎具有相同的贝叶斯信念。然而，可能有充分的理由相信，至少在大多数时候，内在经验和功能上隐含的统计信念是密切相关的。在给定环境中看起来功能相同的系统可能具有截然不同的环境约束，例如能源成本，因为不同的内部结构，这意味着它们无法同样地在给定环境中保持存在。除了使这些系统在这个更长的时间尺度上具有功能异构性之外，这表明更有效的解决方案（例如最低能耗）可能是最有可能的，从而减少自然界中实际存在的功能相同但内部不同的系统的数量。FEP的发现是，系统的内部结构变得类似于环境[20,51]，这也表明共享环境中的系统可能具有类似的内在体验。然而，尽管在相同的环境和相同的约束下进化，但我们研究中的动画显示出不同的Φ基线水平，这表明这种集成系统的内在因果结构可能会以对体验质量的潜在实质性方式变化（尽管很难评估Φ值差异的大小）。
IIT本身并不声称内在经验必然直接取决于感官输入。然而，感官输入有助于确定系统的内部状态，而内部状态又决定了系统的状态依赖性因果结构和Φ值。在FEP下，更具体地说，感官观察应该以反映观察最可能原因的方式影响内部状态的配置，这反过来又可能促进情境化感官输入与内在体验之间更牢固的关系。在我们的模拟中，我们看到了这方面的初步证据：当对块的观察影响内部状态时，Φ确实会波动（这也应该是animat的感觉状态具有高外在信息含量的时候）。
进一步工作的地点
内在经验和由隐性统计信念引导的适应性行为之间的关系是困难而重要的，但现代认知科学和神经科学经常随意假设或忽略。与FEP和IIT合作可能有助于阐明这种关系。一个明显的方向是获得主动推理代理的生成模型，其中也可以计算 Φ。这首先需要构建一个主动推理模型，该模型可以在块捕获任务上重现动画的行为。鉴于环境、动作空间和时间都是离散的，这可以作为马尔可夫决策过程（MDP）模型来完成。将这种最佳主动推理代理置于与给定动画完全相同的感觉运动交换中，将在这种情况下提供主动推理代理的最佳贝叶斯信念、精度和变分自由能，然后可以将其与 Φ 和概念结构进行比较。这也是一种选择，可以将这种基于 MDP 的主动推理模型与动画的行为相匹配，就像人类参与者一样（如 [31]）。像这样比较不同的模型将允许推断哪些动画似乎具有哪些模型结构，例如将Φ与具有更长的时间和反事实深度的概念结构相关联（正如Karl Friston [36]所建议的那样），这似乎与更高级的animat行为确实显示出区分更多上下文的能力这一事实相容， 并及时提前计划。
总的来说，将FEP和IIT联系起来的工作，可能还有意识科学和神经科学的大部分工作，将从一些彻底的概念工作中受益匪浅，这些工作澄清了不同理论中术语和概念之间的关系。在这两种理论中，复杂性、内在性和“事物”等词可能具有不同的含义，或者至少具有不同的操作化。在调查IIT和FEP中结构之间的概念和形式关系方面，有很多工作要做，但这有可能带来巨大的收益。例如，在实践中，稳定的马尔可夫毯与系统主复合体的边界之间可能存在关系——也许保持像马尔可夫毯这样的因果边界也经常导致复合体不会超出该边界。也许不是。外在和内在因果边界之间的关系，即对外部观察者来说，成为事物意味着什么，对自己来说意味着什么，到目前为止还不清楚。总的来说，为了将这两个框架联系起来，还有很多工作要做，更不用说在每个框架内为进一步分别发展和改进它们所做的大量工作。
方法
模拟详细信息
仿真是使用仿真框架MABE [52]完成的。该框架以及实施的特定设置和环境已在进化背景下用于研究IIT[53]。我们的研究基于[47]中使用的代码;所有代码和模拟数据都可以在 osf.io/uzpca 的时间戳存储库中找到。
任务环境是一个二维空间，宽度为 16 平方单位，高度为 36 平方单位。环境的左侧和右侧是相连的，因此如果某些东西在环境的边缘移动，它将出现在另一侧。在每次试验中，不同长度的水平块将以一系列时间步在任务环境中移动。在每个时间步长中，块将向下移动一个单元，将一个单元向一侧移动，直到到达任务环境的底部。在每次试验期间，区块将在35个时间步内持续且单向地移动到底部。第一个时间步，其中animats在相同的全关闭状态下初始化，最后一个时间步，animat不再执行任务，而是进入输赢状态，没有使用，这意味着分析的试验由33个时间步组成。
在环境中，animat 表示为任务环境底部的三个单元块。它构成了一个小的马尔可夫大脑[49]，由两个感觉节点，两个运动节点和四个隐藏节点组成，它们都具有两种可能的状态（开和关）。animats的传感器位于animat块的最外层单元上。如果一个块在其上方的直线上，它们将激活相应的感觉节点。然后，当相应的电机节点被激活时，动画将向左或向右移动。如果两个电机节点处于相同状态（打开或关闭），则 animat 将不会移动。在动画马尔可夫大脑的网络中，可以在所有节点之间形成连接，除了感觉节点不能有输入，运动节点不能有输出。隐藏节点和电机节点将根据特定逻辑的输入激活，该逻辑也在演化过程中进行调整。
当下落块到达任务环境的底部时，如果 animat 与块重叠，它将被视为捕获，否则 animat 将避开该块。任务是让动画捕捉一定长度的块并避开其他长度的块。在 [47] 中，有 4 种不同的任务条件，但这里我们只关注任务 1（块长度 1：捕获和 3：避免）和任务 4（块长度 3、6：捕获和 4、5：避免），在我们的论文中，为了简单起见，这被称为“简单任务”和“困难任务”。
模拟了150次进化运行。每次运行由 60,000 代和每代 100 个动画组成。在第一代中，动画在其系统节点之间没有连接。每一代之后，下一代的动画都是从当前一代的动画中抽取的，并进行替换。与其他动画相比，动画执行得越好，采样的次数就越多。在对下一代动画进行采样后，它们将根据遗传算法发生突变，从而导致节点的内部逻辑及其连接发生变化。对于每次运行，每 500 代在性能最佳的 animat 下降线 （LOD） 上记录数据。因此，为 150 个 LOD 中的每一个记录了 121 个动画。每个动画进行了128次试验，每个试验有33个时间步（不包括第一个和最后一个时间步）。根据任务难度，动画会遇到两个或四个不同长度的方块。在 150 次模拟运行中，有 50 次运行了简单任务，这与 [47] 中的模拟数量相同。但是，我们模拟了 100 次运行困难任务，以便在对数据进行分组时获得更好的样本量并获得大量完美的动画。有关模拟环境和进化算法的更多详细信息，请参阅 [47] 的方法部分。
计算 Φ
IIT分析是使用PyPhi包在python中进行的[54]。这里我们使用 IIT 形式化（“IIT 3.0”）的第三次迭代，如 [2] 中所述。以下部分将简要描述计算Φ的过程，总结在图9中。目前，只有离散时间的离散系统才能计算Φ[55]。必须为每个感兴趣的时间步长计算 Φ，因此与状态相关。首先制作一个转移概率矩阵（TPM），表示系统元素的内部逻辑。然后，将较大系统中的每组元素评估为候选系统，包括整个系统。每个候选系统之外的元素称为背景条件，并在分析每个特定候选系统期间固定在其当前状态。然后计算每个候选系统的集成概念信息Φ，其中Φ最高的候选系统是系统的主复合体。原则上，非重叠的元素集可以形成额外的复合体，这些复合体也被认为是有意识的。
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图 9. 计算Φ的过程摘要。
https://doi.org/10.1371/journal.pcbi.1011346.g009
在分析候选系统时，首先从整个系统的 TPM 派生其 TPM。从候选系统的TPM中，可以计算出其不受约束的因果关系。原因库是前一个时间步跨系统状态的（乘积）概率分布，每个状态的概率是它先于当前状态的概率（有关详细信息，请参见 [2]）。效应库是给定当前状态的情况下，系统在下一个时间点发生的可能性的（乘积）概率分布。不受约束的因果曲目是在没有关于当前状态的信息的情况下计算的。
接下来，找到候选机制的幂集，即候选系统的所有可能子集，包括整个系统。然后，对于每个候选机制，评估该机制的所有可能权限。范围由当前时间步的机制和上一个时间步（原因范围）或下一个时间步（效果范围）的相同或不同的元素集组成。评估范围是为了找到范围，其中为因果关系分别指定了最大集成信息φ的范围（φ原因和φ影响).φ计算为推土机在最小信息分区下的因果范围（给定范围的概率分布）与最小信息分区下的分区因果范围（与非分区范围的最小距离）之间的距离。通过遍历所有可能的分区并计算此距离来找到最小信息分区。与因果关系范围相关的元素集指定了最大φ，分别是机制的核心原因或核心结果。机制本身的总体φ值是φ的最小值原因和φ影响.在这是一个非零值的情况下，机制及其因果汇构成一个概念。
当找到候选系统的所有概念时，这些概念构成了一个概念结构。为了计算综合概念信息Φ，以所有可能的方式对候选系统进行分区。分区现在是单向的，因此可以剪切元素的输入或输出，但不能同时剪切两者。对于每个分区系统，将派生概念结构。然后，使用推土机距离的扩展版本，将Φ计算为最小信息分区下非分区系统的概念结构与系统概念结构之间的距离。同样，此处的最小信息分区是分区系统的方法，因此存在最小距离。请注意，无论是在这里还是在机制层面，使用最小信息分区来量化机制或系统不能简化为部分的程度，从而量化了它被整合为高于其部分的“东西”的程度。
近似隐蔽
为了计算超验，我们首先构建了经验目标先验，即自适应动画将具有的预期感官状态的经验近似值。基于这个概率分布，我们计算每个试验中每个动画在每个时间步的超额。
具体来说，先验的经验目标是在进化结束时在完美动画中观察到的感觉状态的概率分布（四种可能的状态是活动或非活动感觉节点的四个星座）。分布是通过计算所有具有完美适应性的动画在最后一代的试验中每种感官状态发生的频率来创建的。为每个完美动画、任务类型（捕获或避免）和块移动（左或右）的每个组合以及试验期间的每个时间步创建单独的概率分布。我们为每个完美动画制作单独的概率分布，因为有多个最优策略，因此对它们进行平均将导致任何一个动画都不会出现的概率分布。同样，我们为不同的任务类型和块方向创建不同的概率分布，因为这些上下文条件导致不同类型的感觉状态与适应性行为相关。最后，我们对每个时间步进行不同的概率分布，因为与试验结束时相比，试验开始时的感觉状态模式有质的不同，在试验结束时，自适应动画能够收敛到感觉状态的模式。我们不区分不同的块起始位置，也不区分同一试验类型中不同的块长度，因为这些不会影响与适应性行为相关的观察类型。
然后，在给定时间步长、任务类型和块方向的情况下，将 Surprisal 计算为给定感官状态发生的负对数概率： I 是 surprisal，o 观察值和 P（o） 给定时间步长、任务类型和块方向时，经验观察到的感觉状态概率。对于属于每个完美动画的每个概率分布，将单独计算超然。然后，在试验中，导致一个动画在一代中的平均最低平均隐蔽的分布被用作每个时间步的隐蔽分数，确保相对于最接近该动画所采用策略的完美策略计算出隐蔽。图 10 显示了这些目标先验的描述，相对于这些先验计算经验惊喜。在这里，我们看到了每种完美动画在四种类型的试验中，在试验时间内的感官状态概率分布。我们看到随着试验的结束，目标先验的熵要小得多，因为动画能够更好地确保他们的感官保持与适应性行为相关的状态。我们还清楚地看到了 animats 采用的不同策略：大多数 animat 使用以下策略，在推断块的大小后，他们在整个试验中看到或看不到块（取决于任务类型）;或者他们使用传递策略，在那里他们看到块两次。从技术上讲，先验目标意味着进化选择的期望，用于接收与自我维持和自我复制行为相对应的感官输入。在这个例子中，这将是对试验成功的期望，从中捕捉或跟踪块的期望将随之而来，反过来又会产生对特定感觉运动模式的期望。然而，我们的经验目标先验是直接针对感官状态定义的，而不是对与生存相关的内容（任务成功）的技术期望。然而，它们隐含着对试验成功的期望，因为它们是对完美执行任务的代理中观察到的行为的期望。
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图 10. LODs在困难任务中的经验目标先验（EGP），达到了完美的适应度。
对于每个完美的动画，基于区分先、捕捉和避免试验以及左试验和右试验构建了 4 个 EGP。顶行块表示避免 EGP，底行表示捕获 EGP。基于左边试验的在左边，那些基于右边试验的在右边。每个块由 8 个热图组成，每个热图对应一个 LOD。热图有 33 列，每个时间步长一列（减去第一个和最后一个），4 行，每个可能的感官状态一行。感觉状态由两个二进制数字表示，第一个表示左侧传感器，第二个表示右侧传感器（0 = 关闭，1 = 打开）。热图中的每个单元格表示给定时间步长给定感官状态的概率。颜色编码的构造使得白色表示 0.25 概率。当概率降低到0.25以下时，颜色变得越来越灰，当概率增加到0.25以上时，颜色变得越来越橙色。值为 1 的概率具有深紫色，表示确定性状态。
https://doi.org/10.1371/journal.pcbi.1011346.g010
这些经验目标先验用于计算与遇到一组给定感官状态的动画相关的超似值，如果它要在其环境的生成模型下执行主动推理。这样的模型只是环境状态、感官状态和动画动作状态之间关系的概率规范：P（o， s， u， θ）。这里，o是animat的观察（感觉状态），s是环境的状态（块长度，块方向，块位置，自身位置等），u是animat的活动状态（向左或向右移动或静止不动），θ是每个之间的概率关系，生成模型的参数。请注意，s 和 u 将在试验时间内由 animat 推断，而参数 θ 将在进化时间内学习。另请注意，生成模型不一定与环境中的生成过程完全对应，因为模型除了变得更加准确之外，还随着自由能最小化而变得更加简单，抽象出环境中不相关的部分。
在大多数情况下，产生P（o）所需的P（o，s，u，θ）的边缘化在计算上是难以解决的。 这就是使用变分自由能上限的原因，形成了自由能原理下主动推理的核心。我们在这里通过经验近似P（o）来规避这一步。这使我们能够在不重建其生成模型P（o，s，u，θ）的情况下研究动画的超然性，但也使我们在两个方面与自由能原理拉开了一定的距离。 首先，近似不一定是完美的。最能解释 animat 行为的实际生成模型可能会有所不同，要么是它们的目标先验，因此某些 animat 可能会期望任务失败，要么是它们期望环境状态如何交互，以便 animat 可能对其行为的后果有不好的预测。前一种情况当然会被进化所消除，而后一种情况正是自适应动画与非自适应动画的区别，因为那些具有指定不良生成模型的动画通常会有不正确的期望，导致更高的隐蔽性，尽管他们试图最小化它。我们偏离自由能原理的第二种方式是变分自由能是超额的上限，其中变分自由能和超然能之间的差异是相对于给定感官的贝叶斯最优模型与动画当前世界模型的背离。隐蔽自由能和变分自由能之间的差异也没有被我们的近似捕获;然而，这不一定是一个问题，因为FEP中自由能最小化的目标毕竟是隐含的最小化。
同样值得注意的是，还有其他正式的框架来描述和产生任务优化行为，其中一些也可能与我们的秘密措施有关。也许最相关的是KL-control，这是一种控制理论方法，其中代理选择的行动使目标与（感知或推断）状态的预期分布之间的分歧最小化[56]。主动推理通过额外最小化感官观察的模糊性来推广KL控制[25]，但由于当前任务中没有歧义，因此基于KL控制和主动推理的行为可能非常相似。这应该意味着我们的秘密措施也可能反映KL控制的各个方面，例如预期的控制成本。然而，这种结构与我们的秘密措施不同，因为它与感官观察无关，而是作为行动计划和选择的一个组成部分。更重要的是，虽然主动推理以FEP为基础，并被用作理解自组织和生活的理论框架，但控制理论方法更常用于机器学习和工程环境。我们在这里的兴趣是研究IIT作为一种意识理论和FEP之间的关系，作为基于自组织的适应性行为的认知可解释的解释（而不是一种可能有用也可能没有用的机器学习方法）。因此，我们的重点是作为反映FEP的代理措施的隐蔽性，而不是它与KL-control等控制理论方法的关系。
Φ与超然关系的计算分析
计算Φ和surprial之外的计算分析，以及所有图的产生，都是用编程语言R[57]编码的。所有分析脚本都可以在项目的OSF页面找到：osf.io/uzpca。
使用tsibble包的ccf函数进行互相关分析[58]。计算所有上一代动画的每个试验的滞后范围在 -16 到 16 之间的互相关（有关所有滞后的分布，请参见 S4）。由于当其中一个变量始终为 0 时，相关系数无法相关，因此排除了所有 Φ 常量值为 0 的试验（简单任务中 24.8% 的试验和困难任务中 8.9% 的试验）。滞后变量是Φ，这意味着对于负滞后，相关性测量Φ与未来超时之间的关系，反之亦然。相关曲线由 0 个滞后相关系数得出。中性剖面的相关系数在-0.1和0.1之间，负剖面的系数低于该范围，正剖面的系数高于该范围。为了在试验时间进行分析，每个试验都被分配了一个相关配置文件，而与它所属的LOD或animat无关。为了分析进化时间，每个LOD都被分配了一个基于最终生成动画所有试验的平均相关系数的配置文件。
我们执行了多级线性回归，以测试上一代 Φ 中的波动（即与上一个时间步的绝对变化）与滞后 0 处的意外变化之间的相关性，动画 a 和试验 τ 的随机截距，以及动画 a 的随机斜率。在这里，每个试验的第一个时间步被排除在外，因为在试验开始时无法计算与上一个时间步长的变化。
对于试验时间的分析，仅使用属于最后一代动画的试验。对于进化时间的分析，首先在每个动画的所有时间步长上平均所有 Φ 和超值，以为每个 LOD 创建一个进化时间序列。这些是通过对前 5 代平均每一代来平滑的。这样做是为了类似于[47]中的方法。然后对每一代的所有LOD进行平均，以创建平均进化运行。整个过程是为每个小组单独完成的。尽管在整个分析过程中，以完美适应结束的困难任务的动画师是一个独立的群体，但他们也被包括在一般的困难任务动画组中。
支持信息
图3的中位数版本。
显示 1/7： pcbi.1011346.s001.pdf
跳到无花果共享导航
1 / 7
下载
无花果分享
S1 图 图3的中位数版本。
文本中使用中位数而不是平均值的核心数字版本。
https://doi.org/10.1371/journal.pcbi.1011346.s001
（英文）
S2 图 图4的中位数版本。
文本中使用中位数而不是平均值的核心数字版本。
https://doi.org/10.1371/journal.pcbi.1011346.s002
（英文）
S3 图 图8的中位数版本。
文本中使用中位数而不是平均值的核心数字版本。
https://doi.org/10.1371/journal.pcbi.1011346.s003
（英文）
S4 图 所有滞后的相关图。
超相关图和 Φ 之间的互相关图，所有滞后大小。
https://doi.org/10.1371/journal.pcbi.1011346.s004
（英文）
S5 图 LOD 的试用时间波动单独拆分。
显示的试用时间波动，每条下降线单独显示。
https://doi.org/10.1371/journal.pcbi.1011346.s005
（英文）
S6 图 每个动画的平均相对 Phi。
显示的试用时间波动，每条下降线单独显示。
https://doi.org/10.1371/journal.pcbi.1011346.s006
（英文）
S7 图 每个动画的平均相对隐蔽性。
显示的试用时间波动，每条下降线单独显示。
https://doi.org/10.1371/journal.pcbi.1011346.s007
（英文）
引用
1.Tononi G，Boly M，Massimini M，Koch C.整合信息理论：从意识到其物理基质。自然评论神经科学。2016;17.密码：27225071
查看文章PubMed/NCBI谷歌学术搜索
2.大泉 M， 阿尔班塔基斯 L， 托诺尼 G.从现象学到意识机制：综合信息理论3.0。公共科学图书馆计算生物学。2014;10：e1003588。密码：24811198
查看文章PubMed/NCBI谷歌学术搜索
3.弗里斯顿·自由能原理：统一的大脑理论？自然评论神经科学。2010;11: 127–138.密码：20068583
查看文章PubMed/NCBI谷歌学术搜索
4.弗里斯顿·贝叶斯大脑未来的历史。神经影像。2012;62: 1230–1233.pmid：22023743
查看文章PubMed/NCBI谷歌学术搜索
5.弗里斯顿·特定物理场的自由能原理。2019. 可用： http://arxiv.org/abs/1906.10184
查看文章谷歌学术搜索
6.基尔霍夫 M， 帕尔 T， 帕拉西奥斯 E， 弗里斯顿 K， 基弗斯坦 J.马尔可夫生命的毯子：自主性、主动推理和自由能原理。皇家学会界面杂志。2018;15.pmid：29343629
查看文章PubMed/NCBI谷歌学术搜索
7.赫斯普 C， 拉姆斯特德 M， 康斯坦特 A， 巴德科克 P， 基尔霍夫 M， 弗里斯顿 K.生命涌现复杂性的多尺度视图：自由能源提案。施普林格，占;2019.第195–227页。https://doi.org/10.1007/978-3-030-00075-2_7
8.马歇尔W，阿尔班塔基斯L，托诺尼G.黑拳和因果力量。公共科学图书馆计算生物学. 2018;14：e1006114。密码：29684020
查看文章PubMed/NCBI谷歌学术搜索
9.Albantakis L. Sentience和意识的起源：从笛卡尔二元性到马尔可夫一元论。在：有意识的现实主义[互联网]。2020-10-6 [引用时间：2023-07-25]。可用： https://consciousnessrealist.com/sentience-and-the-origins-of-consciousness/
10.阿尔班塔基斯 L， 巴博萨 L， 芬德利 G， 格拉索 M， 豪恩 AM， 马歇尔 W， 等.综合信息论（IIT）4.0：用物理术语表述现象存在的性质。arXiv;2022.
查看文章谷歌学术搜索
11.科赫 C. （2019）.生命本身的感觉：为什么意识很普遍，但无法计算（插图版）。麻省理工学院出版社。
12.巴博萨 LS， 马歇尔 W， 斯特赖佩特 S， 阿尔班塔基斯 L， 托诺尼 G.内在信息的度量。科学代表 2020;10: 18803.pmid：33139829
查看文章PubMed/NCBI谷歌学术搜索
13.豪恩、托诺尼·为什么太空会有这种感觉？对空间经验进行有原则的描述。熵。2019;21.
查看文章谷歌学术搜索
14.Sevenius Nilsen A， Juel BE， Marshall W. 评估综合信息的近似和启发式度量。熵。2019;21: 525.密码：33267239
查看文章PubMed/NCBI谷歌学术搜索
15.艾莉亚 F， 亨德伦 J， 格拉索 M， 科兹马 C， 明特 G， P. 朗 J， 等.意识和错位客观性的谬误。意识的神经科学。2021;2021： NIAB032.密码：34667639
查看文章PubMed/NCBI谷歌学术搜索
16.霍维·预测思维。牛津大学出版社;2013. https://doi.org/10.1093/acprof:oso/9780199682737.001.0001 pmid：36389024
17.弗里斯顿·自由能原理：大脑的粗略指南？趋势科学2009;13: 293–301.密码：19559644
查看文章PubMed/NCBI谷歌学术搜索
18.弗里斯顿 K， 基尔纳 J， 哈里森 L.大脑的自由能原理。J 生理巴黎。2006;100: 70–87.密码：17097864
查看文章PubMed/NCBI谷歌学术搜索
19.拉姆斯特德 MJD， 巴德科克 PB， 弗里斯顿 KJ.回答薛定谔的问题：自由能公式。生命物理学评论。2018;24: 1–16.密码：29029962
查看文章PubMed/NCBI谷歌学术搜索
20.弗里斯顿·皇家学会界面杂志。2013;10.密码：23825119
查看文章PubMed/NCBI谷歌学术搜索
21.弗里斯顿 K， 达科斯塔 L， 萨克蒂瓦迪维尔 DAR， 海因斯 C， 帕夫利奥蒂斯 GA， 拉姆斯特德 M， 等.路径积分，特定种类和奇怪的事物。arXiv;2023. pmid：37703703
查看文章PubMed/NCBI谷歌学术搜索
22.巴德科克 PB， 弗里斯顿 KJ， 拉姆斯特德 MJD， 普洛格 A， 霍维 J.等级机械思维：人类大脑、认知和行为的进化系统理论。Cogn 影响行为神经科学。2019;19: 1319–1351.密码：31115833
查看文章PubMed/NCBI谷歌学术搜索
23.巴德科克PB，弗里斯顿KJ，拉姆斯特德MJD。等级机械思维：人类心理的自由能量公式。物理生活修订版 2019;31: 104–121.密码：30704846
查看文章PubMed/NCBI谷歌学术搜索
24.康斯坦特 A， 拉姆斯特德 MJDD， 维西埃·斯普林， 坎贝尔·乔， 弗里斯顿 KJ.利基构建的变分方法。2018年4月，第20170685页。
查看文章谷歌学术搜索
25.帕尔 T， 佩祖洛 G， 弗里斯顿 KJ.主动推理：思想、大脑和行为中的自由能原理。麻省理工学院出版社;2022. https://doi.org/10.7551/mitpress/12441.001.0001
26.拉姆斯特德 MJ，基尔霍夫医学博士，弗里斯顿 KJ。两个密度的故事：主动推理就是主动推理。适应性行为。2019. pmid：32831534
查看文章PubMed/NCBI谷歌学术搜索
27.安德鲁斯·数学不是领域：导航自由能原理。生物学菲洛斯. 2021;36: 30.
查看文章谷歌学术搜索
28.Van Es T，Hipolito I.自由能原理，计算主义和现实主义：悲剧。2020-12-7 [引用时间：2023-07-25]。可用： http://philsci-archive.pitt.edu/18497/
查看文章谷歌学术搜索
29.维斯 W， 弗里斯顿 KJ.考察生命与心灵的连续性：自生意向性和表征性之间是否存在连续性？哲学。2021;6: 18.
查看文章谷歌学术搜索
30.Mann SF，Pain R. Teleosemantics和自由能原理。生物学哲学. 2022;37: 34.
查看文章谷歌学术搜索
31.史密斯 R， 弗里斯顿 KJ， 怀特 CJ.关于主动推理及其在经验数据中的应用的分步教程。数学心理学杂志。2022;107: 102632.pmid：35340847
查看文章PubMed/NCBI谷歌学术搜索
32.弗里斯顿 KJ， 威斯 W， 霍布森 JA.知觉和意识的起源：从笛卡尔二元性到马尔可夫一元论。熵。2020;22.密码：33286288
查看文章PubMed/NCBI谷歌学术搜索
33.史密斯 R， 弗里斯顿 K， 怀特 C.关于主动推理及其在经验数据中的应用的分步教程。心理战警;2021.
查看文章谷歌学术搜索
34.弗里斯顿 K， 施瓦滕贝克 P， 菲茨杰拉德 T， 穆图西斯 M， 贝伦斯 T， 多兰 RJ.选择的剖析：主动推理和代理。人类神经科学前沿。2013. PMID：24093015
查看文章PubMed/NCBI谷歌学术搜索
35.弗里斯顿·K. 意识不是一个东西，而是一个推理的过程 |永旺散文。在： 永旺 [互联网].2017 [引用日期：2023-03-30]。可用： https://aeon.co/essays/consciousness-is-not-a-thing-but-a-process-of-inference
查看文章谷歌学术搜索
36.弗里斯顿· 我有自我意识吗？（或者自我组织需要自我意识吗？心理学前沿。2018;9.可用： https://www.frontiersin.org/articles/10.3389/fpsyg.2018.00579
查看文章谷歌学术搜索
37.尼科洛娃 N， 瓦德 PT， 弗里斯顿 KJ， 艾伦 M.内感受推理可能揭示了关于意识的什么？RevPhilPsych。2022;13: 879–906.
查看文章谷歌学术搜索
38.克拉克A.，弗里斯顿K.和威尔金森S.（2019）。贝叶斯质量：意识作为推理，而不是原始数据。意识研究杂志，26（9-10），19-33。
查看文章谷歌学术搜索
39.Solms M.， & Friston K. （2018）。意识是如何以及为什么产生的：物理学和生理学的一些考虑。意识研究杂志，25（5-6），202-238。
查看文章谷歌学术搜索
40.索尔姆斯·隐藏的泉水：意识之源之旅。纽约州纽约：W.W.诺顿公司;2021.
41.怀特CJ，史密斯·预测性全局神经元工作空间：视觉意识的正式主动推理模型。神经生物学进展。2021;199: 101918.密码：33039416
查看文章PubMed/NCBI谷歌学术搜索
42.鲁德劳夫 D， 本内昆 D， 格拉尼克 I， 兰迪尼 G， 弗里斯顿 K， 威利福德 K.具身意识的数学模型。理论生物学杂志.2017;428: 106–131.密码：28554611
查看文章PubMed/NCBI谷歌学术搜索
43.威利福德 K， 本内昆 D， 弗里斯顿 K， 鲁德劳夫 D.投射意识模型和现象自我。心理学前沿。2018;9.可用： https://www.frontiersin.org/articles/10.3389/fpsyg.2018.02571
查看文章谷歌学术搜索
44.Ramstead MJ， Hesp C， Sandved-Smith L， Mago J， Lifshitz M， Pagnoni G， et al.从生成模型到生成通道：（神经）现象学的计算方法。心理战警;2021.
查看文章谷歌学术搜索
45.Hohwy J，Seth A.预测处理作为识别意识神经相关性的系统基础。哲学与心灵科学。2020;1.
查看文章谷歌学术搜索
46.马歇尔 W， 金 H， 沃克 SI， 托诺尼 G， 阿尔班塔基斯 L.因果分析如何揭示生物系统模型中的自主性。皇家学会哲学学报A：数学，物理和工程科学。2017;375: 20160358.密码：29133455
查看文章PubMed/NCBI谷歌学术搜索
47.Albantakis L， Hintze A， Koch C， Adami C， Tononi G. 暴露于日益复杂环境的动画中集成因果结构的演变。公共科学图书馆计算生物学。2014;10：e1003966。密码：25521484
查看文章PubMed/NCBI谷歌学术搜索
48.萨夫隆·意识的集成世界建模理论（IWMT）：将集成信息和全局神经元工作空间理论与自由能原理和主动推理框架相结合;走向解决难题和表征代理因果关系。人工智能前沿。2020;3.可用： https://www.frontiersin.org/articles/10.3389/frai.2020.00030
查看文章谷歌学术搜索
49.Hintze A， Edlund JA， Olson RS， Knoester DB， Schossau J， Albantakis L， et al. Markov Brains： A Technical Introduction.arXiv;2017.
查看文章谷歌学术搜索
50.Schossau J，Hintze A.小的实现差异会对可进化性产生很大的影响。在： Banzhaf W， Cheng BHC， Deb K， Holekamp KE， Lenski RE， Ofria C， et al.， editor.行动中的进化：过去，现在和未来：纪念埃里克·古德曼的节日。湛：施普林格国际出版社;2020.第423–434页。https://doi.org/10.1007/978-3-030-39831-6_28
51.弗里斯顿 K， 海因斯 C， 乌尔茨霍费尔 K， 达科斯塔 L， 帕尔 T. 随机混沌和马尔可夫毯子。熵。2021;23.密码：34573845
查看文章PubMed/NCBI谷歌学术搜索
52.Bohm C， Lalejini A， Schossau J， Ofria C. MABE 2.0：MABE简介和MABE未来发展路线图。遗传和进化计算会议伴侣的论文集。美国纽约：计算机协会;2019.第1349–1356页。https://doi.org/10.1145/3319619.3326825
53.朱尔·贝，科莫拉蒂· 托诺尼·什么时候从内部引起动作？量化导致模拟代理中动作的因果链。麻省理工学院出版社;2019.第477–484页。https://doi.org/10.1162/isal_a_00207
54.Mayner WGP，Marshall W，Albantakis L，Findlay G，Marchman R，Tononi G. PyPhi：综合信息理论的工具箱。公共科学图书馆计算生物学。2018;14：e1006343。密码：30048445
查看文章PubMed/NCBI谷歌学术搜索
55.Gomez JD， Mayner WGP， Beheler-Amass M， Tononi G， Albantakis L. 计算具有多值元素的离散动力系统中的集成信息 （Φ）。熵。2021;23: 6.密码：33375068
查看文章PubMed/NCBI谷歌学术搜索
56.托多罗夫E.可解决的马尔可夫决策问题。神经信息处理系统的进展。麻省理工学院出版社;2006. 可用： https://papers.nips.cc/paper_files/paper/2006/hash/d806ca13ca3449af72a1ea5aedbed26a-Abstract.html
57.R 核心团队。R：用于统计计算的R项目。[引用日期2023年7月25日]。可用： https://www.r-project.org/##
58.王娥， 库克 D， 海德曼 RJ.新的整洁数据结构，支持时态数据的探索和建模。计算与图形统计杂志。2020;29: 466–478.
查看文章谷歌学术搜