免费医学论文发表-从智能手机视频中自动识别异常婴儿运动
抽象
脑瘫 （CP） 是儿童期身体残疾的最常见原因，发生率为每 1000 例活产 2.1 例。早期诊断是改善脑瘫患儿功能结局的关键。一般运动 （GMs） 评估对 CP 的检测具有很高的预测有效性，并且通常用于高危婴儿，但只有 50% 的 CP 婴儿在出生时有明显的危险因素。实施 CP 筛选计划是一项重要的工作，但可行性受到训练有素的 GM 评估员的限制。为了促进实现这一目标的进展，我们报告了一个用于自动化 GM 评估的深度学习框架。我们收集了 503 个视频，这些视频由父母和看护人在家中使用 12 至 18 周的足月矫正年龄的婴儿使用专用的智能手机应用程序拍摄。使用深度学习算法，我们自动标记和跟踪每个视频中的 18 个关键身体点。我们设计了一个自定义管道来调整相机运动和婴儿大小，并训练了第二种机器学习算法来预测身体点运动的 GM 分类。与黄金标准的人工注释相比，我们的自动身体点标记方法实现了人类水平的准确性（平均±标清误差为婴儿身长的 3.7 ± 5.2%）。使用体点跟踪数据，我们的预测模型在看不见的测试数据中实现了 0.80 ± 0.08 的曲线下交叉验证面积（平均值 ± SD），用于预测专家 GM 分类，对异常 GM 的敏感性为 76% ± 15%，阴性预测值为 94% ± 3%。这项工作凸显了自动转基因筛查计划的潜力，即使用数字技术最早在三个月足月矫正年龄时检测婴儿的异常运动。
作者摘要
脑瘫 （CP） 是儿童期身体残疾的最常见原因，是一种永久性的终生疾病。为了改善功能结局，早期诊断对于促进早期干预至关重要。一般运动 （GMs） 评估对 CP 的检测具有很高的预测有效性，通常用于高危婴儿。然而，只有 50% 的 CP 患儿在出生时有明显的危险因素。需要 CP 筛查计划，但获得训练有素的评估员限制了其可行性。为了解决这个问题，我们开发了一种深度学习方法，用于从智能手机视频中自动评估 GM。我们获得了 503 个由足月校正的 12 至 18 周婴儿的父母在家中拍摄的视频。我们的深度学习算法在整个视频中跟踪了婴儿身上的 18 个关键身体点，具有人类水平的标记精度。设计了一个自定义数据处理管道，以考虑婴儿的大小、摄像机的移动和不同的视频格式。第二种机器学习算法被训练来预测GM分类，并在早产儿（高危）和足月出生儿队列中进行了验证。我们的工作突出了如何使用数字技术来自动化转基因评估，使婴儿早在三个月大时就可以在家中接受异常运动筛查。
数字
图7图1图2图3图4图5图6图7图1图2图3
引文： Passmore E， Kwong AL， Greenstein S， Olsen JE， Eeles AL， Cheong JLY， et al. （2024） 从智能手机视频中自动识别异常婴儿运动。PLOS 数字健康 3（2）： 电子邮件：e0000432。 https://doi.org/10.1371/journal.pdig.0000432
编辑 器： Danilo Pani，卡利亚里大学：意大利卡利亚里大学
收到： 2023年8月31日;接受： 2023年12月17日;发表： 2月 22， 2024
版权所有： ? 2024 Passmore et al.这是一篇根据知识共享署名许可条款分发的开放获取文章，该许可允许在任何媒体上不受限制地使用、分发和复制，前提是注明原作者和来源。
数据可用性： 数据可用性：可以向默多克儿童研究所数据办公室（data.requests@mcri.edu.au）提出支持本研究结果的数据请求。由于隐私和道德限制，数据不公开。代码可用性：我们使用 DeepLabCut 来跟踪视频中的正文点。用于身体点跟踪的模型、用于在 DeepLabCut 之后预处理身体点数据的代码、训练机器学习模型、结果分析可在我们的 GitHub 存储库 https://github.com/epassmore/infant-movements 中找到。
资金： 这项工作得到了默多克儿童研究所（EP临床医生科学家奖学金）、Rebecca L Cooper医学研究基金会（PG2019421到英国）、国家健康与医学研究委员会研究者资助（1194497到英国;2016390到JC）、NVIDIA公司硬件资助计划和墨尔本皇家儿童医院基金会的支持。资助者在研究设计、数据收集和分析、发表决定或手稿准备方面没有任何作用。
利益争夺： 艾丽西亚·斯皮特尔（Alicia Spittle）是General Movement Trust的导师。所有其他作者均无利益冲突需要声明。
介绍
脑瘫（Cerebral Palsy， CP）是指一组影响运动发育、运动和姿势的疾病，可归因于1岁前发育中的大脑出现非进行性障碍或损伤[1]。脑瘫是儿童期躯体残疾的最常见原因，全球发生率为2.1/1000活产[2]。虽然早产儿或低出生体重儿发生脑瘫的风险更高，但近50%的脑瘫患儿足月出生时没有明显的危险因素[3,4]。
早期诊断对于改善脑瘫患儿的临床和功能结局至关重要[5]。在出生后的前 6 个月内检测异常运动发育可以进行有针对性的干预，这与神经发育可塑性和肌肉骨骼发育的快速时期相吻合。研究表明，早期干预可以改善儿童的运动和认知发育以及父母的幸福感[5,6]。然而，脑瘫诊断的平均年龄为19个月[3]，只有21%的脑瘫患儿在6月龄前被诊断出来[3,7]，因此许多婴儿错过了早期干预的关键窗口。
一般运动（General Movements， GMs）评估可以准确预测出生后最初几个月内脑瘫风险最高的人群[8,9]。一般运动是涉及全身的自发运动，手臂、腿部、颈部和躯干运动的顺序不断变化[10]。在9-20周龄期间，自发性运动的特征是持续的小运动，具有中等速度和可变的加速度，称为“烦躁”运动[11]。这些“烦躁的动作”通常通过训练有素的评估员的格式塔感知来识别，而婴儿则清醒地仰卧，没有直接的处理或互动[11]。该评估最好通过婴儿的视频记录完成，对神经发育结局具有较高的预测有效性和出色的评估者间可靠性[9,12,13]。在“烦躁期”使用 GMs 评估有可能成为诊断 CP 的重要筛查工具。
GM评估员需要接受专业培训，这意味着许多初级保健服务和医院不提供常规GM评估，这限制了GM评估作为筛查工具的广泛采用[14]。使用视频记录评估全球机制的能力提高了改善生活在偏远地区或资源匮乏环境中的人们获得公平医疗保健的机会的潜力。最近，智能手机应用程序的开发允许婴儿的主要照护者使用手持设备对视频进行标准化录制，这已被证明可以改善GM评估的可及性，并允许在临床环境之外识别高危婴儿[12,13,15,16]。从视频中对 GM 进行自动评分可以提供一种克服这些瓶颈的机制，并为筛选项目提供高通量评估。
计算机视觉和深度学习的最新优势导致了姿态估计技术的出现，这是一类算法，旨在从视频或图片中估计一组身体点的空间位置，并高精度地跟踪运动[17\u201220]。姿态估计工具不需要任何专门的设备、运动传感器或标记，一旦训练，就可以很容易地应用于跟踪新视频中的运动。一些开源的姿态估计工具，在大型人体运动数据库上进行了预训练，可以直接应用于新的数据集[17,21\u201223]。然而，研究发现，此类算法的标准实现在婴儿视频中表现不佳，这可能是由于身体节段大小和尺度存在显著差异[24,25]。因此，需要对姿势估计模型进行微调或重新训练，以适应婴儿的解剖比例[24,26,27]。此外，在受控、临床或研究实验室环境之外获取的视频在摄像机角度、长度、分辨率和与受试者的距离方面可能存在显著差异，在分析前需要额外的处理步骤[24,28]。
最近的几项研究利用姿势估计工具的运动跟踪数据预测了婴儿的运动结局[24,28–32]。使用半自动方法对临床视频进行手动关键点注释，Ihlen 等人。经证实，基于计算机的运动评估在预测CP方面可以与基于观察的GM相当（AUC曲线下面积（AUC）=0.87）[31]。Chambers 等人使用在专业实验室环境中获得的视频和婴儿适应的 OpenPose 模型。采用关节运动学的贝叶斯模型来识别运动障碍高风险的婴儿[24]。最近应用深度学习模型对运动数据进行分类也报告了良好的性能，其中一个示例在实验室环境中以88%的准确率检测了5秒视频片段中是否存在烦躁的动作（n=45名婴儿）[30]。一项针对高危婴儿（15%为脑瘫）的大型多中心研究显示，Groos等人使用应用于临床视频的图卷积网络（Graph Convolutional Networks， GCN）集合，对后期脑瘫诊断的阳性预测值为68%（阴性预测值为95%）[29]。同样，Nguyen-Thai等人将GCN应用于OpenPose跟踪数据，在235个智能手机视频中创建了婴儿关节运动的时空模型，报告预测异常坐立不安运动的平均AUC为0.81[28]。
尽管取得了初步进展，但这项技术的应用和采用仍然存在重大挑战。迄今为止，许多研究都受到样本量小（通常<100名婴儿）的限制，很少有研究是在临床或实验室环境之外进行的[32–34]。在这项研究中，我们使用通过专用智能手机应用程序远程捕获的大量婴儿运动视频（n = 503），我们使用深度学习方法测试自动姿势估计和运动分类的有效性，以预测 GM 分类。此外，我们还设计了一个定制处理管道，以适应从手持设备捕获的视频，识别对自动身体点标记准确性产生不利影响的因素，并定位预测个体异常结果的显着运动特征。
结果
具有人类水平精度的自动身体点标记
我们使用专用的智能手机应用程序Baby Moves从341名12-18周足月矫正年龄的婴儿中获取了503个3分钟的视频[12]。为了微调婴儿视频的姿态估计模型，我们使用 100 个视频中的 n = 500 帧（每个视频 5 帧，请参阅方法）创建了一个训练数据集。我们手动注释了 18 个身体部位（头顶、眼睛、下巴、肩膀、肘部、手腕、臀部、膝盖、脚后跟和脚趾;S1附录中的图A）并训练了一个完全可定制的姿态估计模型，Deep Lab Cut （DLC） [35]，以自动检测每个身体点（图1）。使用经过训练的 DLC 模型进行体点标记非常准确（图 1E），手动和自动注释之间的平均差异为婴儿身长的 3.7% （SD： 5.2）。DLC性能与两个注释者的评分者间信度（IRR）相当（平均±SD：婴儿身长的3.6%±3.7%;图1E）。贴标准确度在身体各部位之间差异适中，眼睛的准确度最高（平均±标清：手动/自动 1.6 ± 1.3% 婴儿身长;IRR 1.0 ±婴儿身长的 0.5%）和臀部的最低精度（平均 ± SD：手动/自动 6.3 ± 5.1% 婴儿身长;IRR 7.2 ± 3.1% 婴儿身长）（图 B，S1 附录中的表 A）。不同视频分辨率的标记性能无显著差异（S1附录表B）。
缩略图 下载：
PPT的PowerPoint幻灯片
巴布亚新几内亚放大图像
TIFF的原始图像
图 1. 数据采集和分析管道。
一个。使用专用的 Baby Moves 智能手机应用程序采集了 503 个视频 [12]。B. 选择 100 个视频进行 DLC 培训，按视频采集年龄、性别和 GM 分类进行分层。C. 从 100 个训练视频中的每一个中，选择 5 帧使用 k-means 聚类算法进行手动标记（参见方法;DLC 训练数据集总数：500 帧）。D. 使用经过训练的 DLC 模型标记所有视频中的所有帧。这构成了完整的数据集，其中包含用于 GM 分类 E 的身体点位置数据，在训练数据集中未包含的 50 帧子集中评估标记准确性。计算两个注释者的手动和自动标记（手动/自动）和评分者间信度 （IRR） 之间的差异，并将其表示为婴儿身长的百分比。
https://doi.org/10.1371/journal.pdig.0000432.g001
在标记过程中，DLC 模型为每个点分配了一个预测置信度度量。在去除低置信度标记的点（参见方法）后，我们发现标记的帧平均百分比为 92%（SD：16%）。手腕（平均 ± SD 左：81 ± 21%、右 78 ± 24%）和脚后跟（平均 ± SD：左：69 ± 24%，右 77 ± 20%）（S1 附录中的图 C），部分原因是这些身体点在整个视频中被其他身体部位遮挡并表现出更大的运动范围。我们进行了敏感性分析，以确定与标记失败相关的潜在因素（见方法）。我们发现，婴儿穿的衣服数量对模特的表现有中度影响，覆盖手和脚的服装对四肢的标签产生不利影响（F = 5.180，p = 0.006;S1附录中的表C）。作为质量控制步骤，只有平均每帧至少有 70% 的身体点被自信地标记的视频才被纳入进一步分析。经过质量控制，我们的最终队列包括来自 327 名独特婴儿的 n = 484 个视频。
从视频数据中预测 GM
由于视频不是在标准化的临床或实验环境中采集的，因此在分类之前，使用自定义管道对位置数据进行预处理，以考虑不同的视频采集参数和相对于受试者的潜在摄像机移动。这包括去除身体点错误标签、填补间隙、调整相机移动、根据婴儿大小缩放到单位长度和帧率归一化（见方法）。预处理后，每个视频被表示为一个 46 × 4500 个特征的逐帧矩阵，包括每个身体点的标准化 x 和 y 坐标以及每帧中 10 个关节的 2D 关节角。
在整个视频中，以不同的频率和运动发生的不同时间点可能会出现烦躁的一般运动，因此我们旨在使用滑动窗口方法识别存在区分运动的短时间段（图 2）。我们训练了一个卷积神经网络，根据一段时间内位置数据的短实例（大约 5 秒）预测 GM 分类（图 2C），通过对给定视频的所有剪辑进行积分来计算视频级预测。对分类模型进行训练以预测正常或异常 GM 的结果。就我们的模型而言，被归类为异常或不存在的 GM 的婴儿视频被合并为异常类别。
缩略图 下载：
PPT的PowerPoint幻灯片
巴布亚新几内亚放大图像
TIFF的原始图像
图 2. GM根据运动数据进行预测。
A. 对来自 DLC 标记视频的逐帧位置数据进行预处理，以得出每个视频的一组特征时间序列（46 个特征× 4500 帧）。湾。分类模型在 128 帧剪辑上进行了训练，用于整个时间序列（顶部）。在训练期间，数据增强步骤（幅度缩放和时间扭曲;底部、中间和右侧）应用于每个剪辑。对于每种增强方法，灰色虚线表示增强步骤之前的时间序列位置。三.模型架构。将一维卷积层与注意力模块相结合，对 GM 进行分类，应用因果卷积（插图）来解释数据的时间结构。D. 25 个交叉验证重复中每个重复的接收者-操作员曲线 （ROC）。平均曲线覆盖在蓝绿色中。E. 对每个交叉验证重复的性能统计信息进行建模。重复序列的平均值和标准偏差以黑色覆盖。AUC = 中华民国下的面积;NPV = 阴性预测值;PPV = 阳性预测值。
https://doi.org/10.1371/journal.pdig.0000432.g002
在25次交叉验证重复（70%训练/15%验证/15%测试）中平均，训练后的模型在看不见的测试数据中实现了0.795±0.080的AUC（平均±标准差），平衡精度为0.703±0.083（图2E）。对于异常/缺失的 GM，阳性预测值 （PPV） 为 0.277 ± 0.077，阴性预测值 （NPV） 为 0.941 ± 0.035。敏感性和特异性分别为 0.755 ± 0.150 和 0.651 ± 0.078（图 2E）。每个视频在25个折叠中平均4次（SD：2）次包含在保持测试集中（S1附录中的图D）。
在一系列模型参数上，包括批量大小、学习率和权重正则化，性能一致（S1附录中的图E）。与仅使用视频数据进行分类相比，包含视频元数据、视频采集年龄和出生队列（极早产儿或足月出生婴儿）显着提高了模型性能（S1附录中的图E）（AUC = 0.749±0.077）。利用在不同交叉验证重复中训练的多个模型实例，我们发现在交叉验证中，GMs预测在不同的数据拆分中通常是一致的（图2D-2E，图3）。
缩略图 下载：
PPT的PowerPoint幻灯片
巴布亚新几内亚放大图像
TIFF的原始图像
图 3. 来自 25 倍交叉验证的 GMs 预测值的变化。
当婴儿运动包含在保持测试集中时报告的预测值，按预测值中位数排序。排名靠前（橙色）的婴儿视频被专家评分为异常或不存在的 GM，n = 73 个婴儿视频。底部（蓝色）婴儿视频被专家评分员评为正常 GM，n = 396 个婴儿视频。带有水平线的框分别表示四分位距和中位数，误差线表示 95% 置信区间，点表示异常值。0.5 处的虚线表示预测类别之间分类器的截止值。
https://doi.org/10.1371/journal.pdig.0000432.g003
我们将性能与替代基线模型进行了比较：l2-正则化逻辑回归应用于从每个视频中提取的一组时间序列特征[36]。基线模型的AUC为0.706±0.098（没有视频元数据为0.604±0.106）。非线性、核化的逻辑回归模型实现了交叉验证的 AUC = 0.720 ± 0.100。
在预测过程中检查空间和时间模型注意力
为了确定对模型预测很重要的潜在特征，我们计算了每个视频的时空显著性图[37]（图4）。该值突出显示了输入变化会引起模型预测最大变化的特征（对于单个视频帧中的给定身体点），并可用作模型对输入数据敏感性的度量[37,38]。图 4 中显示了单个主题的显著性图示例。显著性在视频长度上有所不同，与模型注意力的变化相对应（白线，图 4）。相对于测试集中的所有受试者而言，具有高显著性的片段在输入特征时间序列上用黄色条突出显示，说明模型对分布在整个视频中的不同长度的时间段的关注。对每个身体点的所有夹子的总显著性进行平均，可以发现模型对下半身点位置的敏感度更高（图 4 中间），包括膝关节和踝关节的运动。
缩略图 下载：
PPT的PowerPoint幻灯片
巴布亚新几内亚放大图像
TIFF的原始图像
图 4. 特定于主题的模型对输入特征的关注示例。
特征时间序列（顶部）和显著性图（底部），用于来自具有正常 GM 的婴儿的单个正确分类的视频。黄色条表示模型关注度高的剪辑 （75第所有科目的百分位数）。计算每帧中每个特征的显著性，并对每个剪辑中的帧（n = 547 个剪辑）求和。地图已上采样和平滑，以匹配时间序列的长度（帧 = 4500）。颜色越浅表示显著性越高（任意单位）。从注意力模块派生的剪辑注意力（上采样和平滑）以白色覆盖。显示了整个视频中每个身体点（中间）和关节角度（右）的平均显著性。颜色越浅，尺寸越大，越显眼。模型预测显示在右上角，其中 0 表示正常的 GM 预测。
https://doi.org/10.1371/journal.pdig.0000432.g004
在所有参与者中都观察到相似的模型显著性模式。图 5A 显示了组平均特征显著性图（片段、参与者和交叉验证重复的平均值）。模型显著性在下半身最高。这种模式在交叉验证重复（S1附录中的图F）以及正常和异常/不存在的GM预测（S1附录中的图G）之间是一致的。
为了进一步表征模型预测敏感的特征，我们将剪辑中的时间序列数据与高（90第百分位数）和低 （10第百分位数）总显著性（图 5B-5C）。高显著性片段的数量在正常（平均± S.D. = 55.21 ± 33.93）和异常/缺失（51.74 ± 35.56）GM视频之间没有差异（S1附录中的图H）。对于每个剪辑，我们计算了身体点相对于平均位置的平均（绝对）位移，以及帧上位移的标准偏差。我们发现，与低显著性夹子相比，高显著性夹子的特征是体点位置更接近平均身体位置（图 5B），并且关节位移随时间变化的标准偏差较低（图 5C）。
缩略图 下载：
PPT的PowerPoint幻灯片
巴布亚新几内亚放大图像
TIFF的原始图像
图 5. 所有婴儿的身体点显著性。
a. 所有视频的平均显著性，颜色越浅，尺寸越大，显著性越高。湾。左图为高（实线，填充）和低（虚线）显著性剪辑期间每个主体点与其各自平均位置之间的平均距离。密度图显示了高片段和低片段在所有视频和交叉验证重复中的位移分布。右图，高位和低位移之间的中位差。c. 左图，高显著性剪辑中高显著性剪辑中平均位置的标准偏差 （std），在所有视频和交叉验证重复中。右图为标准差分布的中位数差。
https://doi.org/10.1371/journal.pdig.0000432.g005
GM在2年内的预测和发展
我们将模型 GM 预测与参与者在 2 岁矫正年龄时的运动、认知和语言结果进行了比较，这些结果由 Bayley 婴幼儿发育量表 3 评估RD路版本 （Bayley-III） （图 6;图I，S1附录中的图J）。我们发现，当元数据（获取年龄和出生队列;极早产儿或足月儿）被纳入模型时，具有不同预测GM分类（正常与异常\不存在）的婴儿之间2年运动综合评分存在差异，平均差为10.70（95%CI=[6.77,14.62]，t（255）=5.368，p<0.001）。当单独使用运动数据时，这些差异减少，平均差异为1.74（95%CI = [-2.52,5.99]，t（255）= 0.805，p = 0.421）（图6A）。还有强有力的证据表明，预测的 GM 分类在 2 年认知和语言综合得分方面存在差异（图 I，S1 附录中的表 D）。
缩略图 下载：
PPT的PowerPoint幻灯片
巴布亚新几内亚放大图像
TIFF的原始图像
图 6. GM 预测和 2 年时的运动发育。
一个。Bayley-III 运动结果按 GMs 预测（n = 252 个婴儿视频）和使用视频运动和元数据（均 = 采集和出生队列时的年龄）和单独的运动数据（无）训练的模型变体分层。对于所有图形，蓝色表示 GMs 预测 = 0（正常），橙色表示 GMs 预测 = 1（异常/不存在）。* 表明 GM 分类预测与独立双样本 t 检验之间存在差异的有力证据。湾。顶部，出生队列和 GM 预测的运动结果的密度函数。底部，密度峰值函数。足月儿用虚线表示，早产儿用实线表示。
https://doi.org/10.1371/journal.pdig.0000432.g006
讨论
利用应用于智能手机视频的深度学习，我们跟踪了 12-18 周足月矫正年龄的婴儿运动，在受控临床环境之外预测 GM 分类。我们的论文说明了通过家庭视频采集实现的异常婴儿运动的早期自动检测的潜力。
我们在预测专家 GM 分类方面表现最好的模型是一个深度学习模型，由一维卷积和一个注意力模块组成。我们的模型实现了0.80的AUC （SD： 0.08），与Ihlen等人和Groos等人的结果相当，后者在临床环境中使用固定摄像机的视频记录直接预测了高危婴儿队列的CP[29,31]。我们的模型优于其他基线模型，并且在各种超参数设置下都具有鲁棒性。我们证明，纳入受试者元数据对于改善模型预测至关重要，这突出了早产儿异常运动的风险增加[8]。在训练有素的评估员评分的 41 名 GM 异常婴儿中，35 名 （85%） 来自早产儿，6 名 （15%） 来自足月出生婴儿。我们发现，包括元数据（出生队列和年龄）将模型性能从仅基于运动数据的AUC = 0.70提高到AUC = 0.80。值得注意的是，仅对出生队列进行分类将导致 AUC 为 0.69，量化运动数据的附加值。
我们预测的 GM 与 2 岁时较差的神经发育结局相关。我们发现这种影响很大程度上取决于早产，尽管无论出生队列如何，预测GM异常的婴儿的平均得分较低（平均差10.70）。然而，大多数受试者的Bayley's III.运动评分在公布的标准范围内（>85）[39]。早产与不良神经发育结局之间的关联已得到充分证实[8,13]，这一发现反映了GM评分对2年运动和认知结局的预测效度相对较低，因此模型预测也相对较低。
GM分类是CP的强预测因子[8,9]。我们使用异常或不存在的 GM 作为 CP 风险的替代指标。在这个发育窗口期，异常或不存在的烦躁不安的GM都与神经发育障碍有关[8,13]。将可能具有不同运动特征的异常和缺失组合并为一组可能会影响模型性能，但数量太少，无法进一步拆分组（分别为 n = 40 和 36）。对于在 12 周时间点 （n = 11） 没有 GM 的足月出生婴儿，其中大多数在 14 周 （n = 8） 时恢复正常，这可能影响了我们的 GMs 预测模型的性能。未来研究的一个领域是训练直接预测CP或其他神经发育障碍的分类模型[29,31]。我们为 GM 分类器利用了一个灵活的框架，以便将来可以做到这一点。由于两年随访的婴儿数量减少（252/371），并且只有6名被诊断为CP的婴儿，而其他神经发育障碍没有报告，因此在我们的数据集中排除了这一点。为了推进这一领域的研究，需要获得在高危和低危婴儿以及神经发育结果中多样化的大型数据集。由于婴儿视频的可识别性，共享数据以形成这些大型数据集通常具有挑战性。虽然我们无法提供视频以开放访问该领域的进展研究，但我们已经公开了我们训练有素的 DLC 婴儿姿势估计模型和 GM 分类模型。
为了跟踪婴儿的运动，我们使用了一种姿态估计算法Deep Lab Cut [35,40]，该算法的优点是可以使用最小的训练数据集[40]跨物种、年龄和感兴趣的特征进行定制。我们的模型实现了人体水平的身体部位标记精度，平均差异为婴儿身长的 3.7% （SD： 5.2）。由于采集视频的设置不受控制，我们进行了敏感度分析，确定了可能影响家庭视频录制中标签准确性的视频特征。身体点标签对背景和视频照明很有效，但受婴儿所穿衣服的影响不大，特别是遮住手或脚的衣服。使用家庭录像带来了额外的数据处理挑战，包括相机相对于婴儿的移动和不同的视频格式（帧速率、分辨率、与婴儿的距离）。为了适应这一点，我们开发了一种新的框架，该框架具有多功能性，并支持在标准化临床环境之外拍摄的视频。人们越来越意识到预训练姿势估计模型的固有偏差，偏向于肤色较浅的成年男性[41]。我们用来训练姿势估计模型的数据集具有均匀的性别分布，但我们缺乏肤色的多样性，部分原因是研究地点在澳大利亚墨尔本，并且只包括会说英语的家庭[12]。这当然是我们的姿态估计模型未来可以改进的领域。我们选择仅在姿势估计模型中标记手腕、脚后跟和大脚趾，部分原因是视频的帧速率和分辨率。然而，在GM评估期间，更详细的手和足解剖学注释可能有助于识别这些身体部位在识别烦躁运动中的作用[11]。
我们使用 5 秒的剪辑来训练我们的模型，这使我们能够识别对模型预测有用的运动周期。通过分析模型显著性，我们能够提取有关模型关注哪些运动特征的信息，区分异常和正常 GM。我们发现下肢运动对分类器的输出贡献更大，较高的显著性归因于婴儿位置更接近平均位置的视频剪辑，忽略了婴儿从仰卧位置显着移动的时期（即：帧外运动、滚动）。其他研究使用高分辨率视频注释来识别视频中异常运动的时期[31]。虽然这种方法可能会改善自动运动识别，但它需要大量的手动注释和标记，这在更大的队列中很难实现。
最近的几项研究在预测婴儿的运动结果方面取得了有希望的结果。然而，迄今为止，这些研究的样本量较小（通常<100例），仅纳入高危婴儿，很少在临床或实验室环境之外进行[32]。我们研究的一个优势是将极早产儿和足月出生的婴儿纳入我们的数据集。如果要在人群筛查计划中实施这些自动化方法，就必须在早产儿和足月儿身上验证这些自动化方法。我们的研究提供了一种评估 GM 的自动化方法，能够适应临床环境之外的视频录制。我们的工作强调了在人群水平上筛查脑瘫的自动化方法的潜力，这将使这些儿童能够更多地获得早期干预。
材料和方法
研究设计
这是一项回顾性二次分析，分析了前瞻性、多中心、基于人群的队列研究Baby Moves[12]。本研究开发并评估了一种深度学习算法，用于跟踪婴儿运动并从婴儿运动视频中预测 GM 分类（图 1）。在纳入研究之前，已获得婴儿父母/照顾者的书面知情同意书。该研究获得了皇家儿童医院伦理委员会（HREC35237）的批准。研究方案的全部细节可以在Spittle及其同事[12]中找到。
参与者数据
2016年4月至2017年5月期间，父母/看护人在其个人设备上使用Baby Moves智能手机应用程序录制了视频[12]。该应用程序提示父母/看护人录制并上传了两个运动视频，一个是 12 周，另一个是 14 周足月矫正年龄。只有在 12 周到 17 周和 6 天的足期校正年龄之间才能在应用程序中上传视频。视频采集自n = 155（77名女性[50%]）极早产儿（妊娠<28周）和186名（91名女性[49%]）足月出生婴儿（S1附录表E）。总共有 503 个视频，来自 n = 341 名年龄在 12 至 18 周足月矫正年龄之间的婴儿。对于 n = 160 的子集（75 个早产儿，85 个足月），在此期间每个婴儿收集了两个视频。
视频捕获
为了便于在临床或实验室环境之外进行视频录制，Baby Moves应用程序提供了详细说明和虚线轮廓叠加，以改善婴儿在视频帧中的位置[12]。指导父母/看护人在婴儿安静地躺着时播放视频，不要大惊小怪地穿最少的衣服，只包括背心和尿布。随后，视频被安全地上传到默多克儿童研究所的REDCap数据库[42,43]进行远程审查。根据Prechtl的GMs评估[11]，由两名不知道受试者新生儿史的独立评估员对GM进行评分。如果间歇性或持续存在烦躁的 GM，则一般运动被归类为正常，如果没有观察到烦躁的 GM 或零星地存在，则没有，如果烦躁的 GM 的速度和幅度被夸大，则被归类为异常。如果两位评估员之间存在分歧，则由第三位经验丰富的总经理培训师和评估员做出最终决定。为了实现 GM 评估的自动化，将评分为不存在或异常 GM 的视频合并为异常组。本研究未评估任何被评为不可识别的视频。
所有视频均以MP4格式提交。由于设备型号和设置的差异，数据集中存在三种视频分辨率：480 x 360（n = 366 个视频）、640 x 480（13 个视频）和 720 x 480（126 个视频），中位数帧速率为每秒 30 帧（范围：15 到 31）。每个视频的长度为 3 分钟，因此每个视频的平均 （SD） 为 5100 （497） 帧。
智能手机视频的自动身体点标记
我们使用 Deep Lab Cut 2.1 版 （DLC） [35] 训练了一个深度学习模型，以标记和跟踪关键的身体点。为了训练 DLC 模型，我们形成了一个训练数据集，该数据集由数据集中的 100 个视频子集组成，这些视频按年龄、性别、出生队列（早产或足月）和视频分辨率分层。在训练数据集中，每个婴儿只允许一个视频。对于训练数据集，每个视频的五帧被手动标记了 18 个关键身体点：头顶、下巴、眼睛、肩膀、肘部、手腕、臀部、膝盖、脚后跟和大脚趾（图 1;S1附录中的图A）。通过DLC图形用户界面进行手动标记。为了确保选择用于标记的 5 帧中运动的多样性，我们使用了 DLC 中实现的 k 均值聚类算法，从每个视频中的五个不同聚类中各选择一帧进行标记。我们实现了一个具有预训练 ResNet-50 骨干的 DLC 模型，并使用 0.95/0.05 的训练/验证分数在 NVIDIA TITAN Xp 上训练了 100 万次迭代。
训练后，DLC 模型用于自动标记数据集中所有视频的 18 个身体点。对于每一帧，DLC 模型返回了相对于视频图像角落的体点的 x 和 y 坐标（以像素为单位）及其预测置信度。根据Mathis等[35]的建议，删除预测置信度低于0.2的身体点。在 50 帧上评估了 DLC 模型的标记准确性，每帧来自训练数据集中未包含的不同视频。该评估数据集根据年龄、性别、出生队列（早产或足月）和视频分辨率进行分层，以确保评估图像的多样性。DLC 体点标记使用评估数据集的手动标签和预测标签之间的差异进行评估。为了评估体点标记的评分者间可靠性 （IRR），第二个人类注释者在相同的 50 帧上重复标记。计算了两个注释者标签之间的差异。为了比较不同视频分辨率之间的差异，身体点标记表示为婴儿身长的百分比（头顶到中髋）。
DLC 模型性能的其他指标包括每个视频的未标记身体点数。由于视频是在受控临床环境之外收集的，因此我们进行了敏感性分析，以确定单个视频中某些因素的变异性是否会影响模型性能。训练数据集中未包含的每个视频（n = 403）都按以下因素分类：照明（深色/正常/明亮）、服装（紧身衣/尿布和背心/尿布）、肤色（浅色/一般/中/深色）、整个视频中的婴儿（是/否）、背景（图案/纯色-深色/纯色-浅色）、视野中的额外物品（否/另一个孩子/记录员的脚/玩具/其他）。我们使用混合模型方差分析（ANOVA）测试了模型性能是否受到所列因素的影响。
预处理流水线
数据预处理包括质量控制、异常值去除、间隙填充、相机移动调整、缩放和特征提取（图 7）。
缩略图 下载：
PPT的PowerPoint幻灯片
巴布亚新几内亚放大图像
TIFF的原始图像
图 7. 预处理 piepline。
一个。质量控制，平均标注的身体点数少于 70% 的视频被排除在进一步分析之外。湾。异常值去除，当整个身体或每个身体点单独在椭圆包络线之外时，删除异常值身体点（用 x 表示）。三.对于小于 5 帧的间隙，使用线性插值进行间隙填充，对于大于 5 帧的间隙，使用多变量插值进行间隙填充。D.主体点逐帧旋转，确保主体中线与垂直线对齐。E.根据婴儿体型、单位长度距离、头顶到臀部中部的距离，将身体点位置缩放到单位长度。六.对于每个框架，提取了 x 和 y 坐标以及由左右肩部、肘部、臀部、膝盖和脚踝的关节角组成的附加特征。
https://doi.org/10.1371/journal.pdig.0000432.g007
质量管理
为了确保每个视频的高质量运动数据可用于进一步分析，我们建立了基于身体点标记的质量控制措施。仅使用在所有帧中平均标记超过 70% 的身体点的视频。这导致从进一步分析中排除了 21 个视频，从而产生了来自 327 名婴儿的 484 个视频的最终数据集。
异常值删除
自动标记可能会出现身体点的错误标记，因此，我们建立了一个流程来逐帧删除这些异常值。这是分两步完成的。首先，使用以躯干中心（臀部和肩膀的中点）为中心的椭圆形包络线去除这些身体点。椭圆相对于婴儿体型进行缩放，单位长度设置为婴儿头顶和髋关节中点之间的距离。椭圆在近端到远端方向缩放到单位长度的 3 倍，在内侧到外侧方向缩放到单位长度的 2 倍。位于椭圆外的主体点被移除。在此之后，使用以主体点的框架中位位置为中心的椭圆包络对每个主体点应用类似的过程。每个椭圆再次按单位长度缩放，根据从完整数据集中观察到的身体点方差，使用近端-远端和内侧-外侧缩放集。删除了位于各自椭圆之外的主体点标签。
间隙填充
如果由于缺少、移除或遮挡了体点标签而导致体点数据存在间隙，则对 5 帧或更少的间隙使用线性插值。对于大于 5 帧的间隙，我们使用了迭代多变量插补 [44]，在 scikit-learn （v1.3.0） [45] 中实现。
调整相机移动
由于视频是在手持设备上录制的，因此在三分钟的视频中，摄像机相对于婴儿的移动很明显。为了考虑角度旋转，所有点都逐帧旋转，因此身体的中线（肩部中部到臀部中部）与每帧中的垂直线对齐。此外，每个框架中的身体点位置被归一化为婴儿单位长度，测量为从头顶到臀部中部的距离。
帧率归一化
所有预处理的运动数据都归一化为相同的长度。由于视频帧速率的变化，每个 3 分钟视频中的帧数也各不相同。为了解决这个问题，所有视频都根据需要使用三次 1D 插值将所有视频插值到 4500 个时间点或每秒 25 帧的帧速率。
特征提取
对于每一帧，除了 10 个关节角度（左肩和右肩、肘部、臀部、膝盖和脚踝;以弧度为单位）外，我们还提取了每个身体点的 x、y 位置，结果每帧 p = 46 个特征（关键点×{x， y}+关节角度）。
根据运动数据预测 GM
由于异常 GM 可能发生在每个视频中的任何时间点，可能持续不同的时间长度，并且以不同的频率发生，因此我们旨在识别每个视频中存在异常运动的短时间段，并使用滑动窗口方法生成主题级别的预测（图 2）。我们训练了一个卷积神经网络来预测 GM 分类。在模型训练期间，每个受试者的预处理时间序列数据被分割成长度为 t = 128 帧（约 5 秒）且步幅 = 8 的短片。在每个训练时期，我们随机抽样 s = 每个视频 1 个片段，每个 epoch 为每个视频选择多个片段并没有提高模型性能，并且花费了更多的内存和计算（S1 附录中的图 E）。通过对给定视频的所有剪辑进行积分来计算主题级别的预测。
模型架构
模型架构如图2C所示。每个受试者的数据都表示为张量 S∈RS×T×P其中 S 是每个视频的采样剪辑数，T 是每个剪辑的帧数，p 是每帧的特征数。我们沿时间维度应用了三个一维卷积（滤波器 = 64;内核大小 = 3），具有因果填充和 ReLU 激活。在每个卷积层之后，我们应用批量归一化（图 2C）。每个卷积之后是沿时间维度的最大池化，窗口大小 = 4，步幅 = 4。在最终卷积之后，每个片段的特征在剩余的时间步长上连接起来，形成特征矩阵 M∈R第S×128条 (图2C）。然后，裁剪要素将通过单个全连接层（单位 = 64，ReLU）。我们在连接层之前和之后以 0.5 的速率应用了 dropout。卷积神经网络是使用带有TensorFlow后端的Keras实现的[46]。
为了识别区分有或没有异常运动的受试者的特征，我们通过一个乙状结肠注意力模块[47]传递每个片段（图2C）。在这种情况下，具有区分类的特征向量的剪辑被赋予更大的权重。分配一个剪辑级上下文向量 u，用于测量每个剪辑对最终模型输出的重要性。首先，每个剪辑，mc∈R1×64，通过具有权重和偏置的单个全连接层 W 和 b 以及 tanh 激活以创建剪辑级表示 uc:
计算和缩放每个剪辑的表示与上下文向量 u 的表示之间的相似性：
哪里αc∈[0,1]，并表示每个剪辑对最终模型输出的重要性。通过裁剪要素的加权平均值计算最终表示：
其中 v 是表示每个视频采样剪辑的特征向量。上下文向量 u 以及层权重和偏差在训练过程中随机初始化并与其他模型参数共同学习。上下文向量 u 可以被视为标识剪辑中区分性运动的“签名”。得到的加权输出形成最终的特征向量 v。我们将最终的 dropout （0.5） 应用于该向量，并传递到具有一个单元和 S 形激活的全连接层，以预测每个受试者的类标签。
我们使用二元交叉熵（BCE）作为损失函数，随机梯度下降作为优化器（Nesterov 动量 = 0.9）[48]。由于并非所有随机抽样的片段在每个训练时期都可能包含异常的运动模式，因此我们采用0.1的标签平滑来解释每个批次分配的样本标签的不确定性[49]。学习率设置为 0.005，批量大小设置为 8，我们添加了 l2-将 0.005 正则化为所有权重内核。我们训练了最多 10000 个 epoch，评估验证集中的损失，并在验证损失停止改善 100 个 epoch 后停止训练，保留损失最小的模型进行测试。
数据增强
数据增强是各种图像识别和分类任务中常见的处理步骤，可防止小样本环境中的过度拟合[50,51]。我们对时间序列数据采用了数据增强方法，包括随机幅度缩放和时间扭曲[50]（图2B）。我们使用三次样条生成一系列随机的、平滑的正弦曲线（节 = 3-15;平均值 = 1.0;西格玛 = 1.0）。在训练过程中：i）将每个片段中的时间序列与随机生成的曲线相乘，以平滑地缩放片段长度的大小，ii）通过基于另一条随机生成的曲线平滑扭曲点之间的时间间隔来应用时间扭曲，将相邻点的时间位置移近或移远[50]（图2B）。
模型校准和类不平衡
为了解释正常和异常 GM 之间的类频率差异（正常 = 408 个视频;异常/缺失 = 76 个视频），我们在训练期间对少数类进行了 5 倍的过度采样。对于具有异常 GMs 分类的训练样本中的每个视频，我们在每个训练时期对 5 组剪辑进行了采样，导致每组的训练样本数量大致相等。
虽然重采样方法可以提高不平衡数据集中的模型性能，但由于原始样本总体和过采样训练集之间的类频率差异，它们可能导致模型校准错误[52,53]。我们采用Platt缩放[54]作为训练后方法来校准模型预测。通过在验证数据集中对模型预测进行逻辑回归拟合来执行模型校准，其参数用于在推理时将模型输出转换为校准的概率。
元数据
视频采集时的年龄和出生队列（极早产或足月出生）都是可能影响GM分类的潜在混杂因素[13]。为了将元数据合并到模型中，我们对视频采集时的年龄和分类组成员身份（早产或足月出生）的特征向量应用了额外的一维卷积（过滤器 = 4，内核大小 = 1）。在最后一层进行分类之前，输出与视频特征连接起来（图 2C）。
模型评估
在推理时，每个测试对象的时间序列数据被拆分为 547 个重叠的片段（t = 128，步幅 = 8），这些片段与相关的元数据一起通过训练和校准的模型传递，以从所有片段的注意力加权总和中生成最终模型输出。
为了评估模型性能，我们将数据分为三个子集：训练 （70%）、验证 （15%） 和测试 （15%），从而进行交叉验证，确保具有异常 GM 的婴儿视频比例在各个子集之间相似。对于具有多个视频的婴儿，两个视频都包含在同一个子集中。使用受试者工作曲线下面积 （AUC）、平衡准确性 （BA）、特异性、敏感性和阳性和阴性预测值 （PPV;净现值）。交叉验证重复了 25 次，每次都随机拆分数据集。测试集中的性能指标报告为 25 次交叉验证重复的平均值。我们探讨了不同参数选择对补充材料中模型性能的影响（图E，S1附录中的图G）。为了检查重要的模型特征，我们使用普通梯度图[48]计算了每个测试输出的模型显著性。
基线模型
我们将模型性能与基于逻辑回归的替代模型进行了比较。对于每个视频，我们提取了一组先前在时间序列分类任务中表现良好的动态特征[36]，结果每个时间序列 p = 24 个特征。我们将每个身体点坐标和关节角度的时间序列特征以及相关的元数据（年龄和出生队列）连接成一个长度 = 1106 的单个特征向量。使用这些数据，我们训练了一个2-正则化逻辑回归模型，用于预测 GM 分类。与卷积模型一样，我们执行了 25 次交叉验证重复，将数据拆分为 85% 的训练集和 15% 的测试集。使用网格搜索（10?3–103） 在训练数据的嵌套 5 倍交叉验证中。为了提高模型的灵活性，我们还使用Nystroem核近似[55]实现了非线性核化逻辑回归。基线模型在scikit-learn[45]（1.0.2）中实现，使用pycatch22（0.4.2）[36]提取时间序列特征。
GM在2年内的预测和发展
参与者在 2 岁矫正年龄时接受随访，并使用贝利婴幼儿发育量表 3 评估他们的发育RD路版本（Bayley-III）用于运动、认知和语言领域。252/327例婴儿的运动和认知领域Bayley-III评分，232/327例语言领域婴儿的Bayley-III评分[13]。对于有两个视频的婴儿，保留较晚时间点的视频，以便与Bayley-III域分数进行比较。根据 25 倍交叉验证期间最常分配的 GM 预测标签，为每个视频分配了一个 GMs 预测标签。这是针对模型元数据输入的每个变体完成的：仅运动数据（无）、出生队列、获取时的年龄以及出生和年龄（两者）。对于每个模型变体，我们使用独立的双采样 t 检验（双侧）比较了 GM 预测组之间的 2 年结果。
支持信息
与文章相关的补充方法和结果， 从智能手机视频中自动识别异常婴儿运动.
跳到无花果分享导航
1S1 附录自动识别异常的婴儿运动来自智能手机视频：一种回顾性算法开发和验证研究E.帕斯莫尔， A. L. Kwong， S. Greenstein， J. E. Olsen， A. L. Eeles， J. L. Y. Cheong， A. J.唾沫星子，G.鲍尔内容从智能手机视频中自动标记身体点.................................................................................2根据运动数据预测转基因...............................................................................................................6GM的预测和发展在2-年.....................................................................................................10参与者数据.................................................................................................................................................11
2从智能手机视频中自动标记身体点数字一个：婴儿标签。婴儿身体点标签的插图和定义。知情同意书来自图像中使用的婴儿的父母/看护人。
下载
无花果分享
S1 附录。 与文章相关的补充方法和结果， 从智能手机视频中自动识别异常婴儿运动.
https://doi.org/10.1371/journal.pdig.0000432.s001
（PDF格式）
确认
我们要感谢参与这项研究的婴儿的父母/家庭。我们还要感谢维多利亚州婴儿合作研究团队在收集婴儿和 2 年随访数据方面所做的贡献。
引用
1.Bax M、Goldstein M、Rosenbaun P、Leviton A、Paneth N、Dan B 等。脑瘫的拟议定义和分类，2005年4月。2005 年，Dev Med Child Neurol.;47: 571–576.PMID：16108461
查看文章PubMed/NCBI的Google 学术搜索
2.奥斯库伊 M， 库蒂尼奥 F， 戴克曼 J， 杰特 N， 普林斯海姆 T.脑瘫患病率的最新进展：系统评价和荟萃分析。2013 年开发医学儿童神经学;55: 509–519.PMID：23346889
查看文章PubMed/NCBI的Google 学术搜索
3.McIntyre S、Badawi N、Balde I、Goldsmith S、Karlsson P、Novak I 等人澳大利亚脑瘫登记报告。2018;1–92.
查看文章Google 学术搜索
4.Himpens E， Van Den Broeck C， Oostra A， Calders P， Vanhaesebrouck P. 脑瘫的患病率、类型、分布和严重程度与胎龄的关系：荟萃分析综述。2008 年开发医学儿童神经学;50: 334–340.PMID：18355333
查看文章PubMed/NCBI的Google 学术搜索
5.斯皮特尔 A、奥顿 J、安德森 PJ、博伊德 R、道尔 LW。早期发育干预计划提供出院后预防早产儿的运动和认知障碍。Cochrane系统评价数据库。2015;2015.PMID：26597166
查看文章PubMed/NCBI的Google 学术搜索
6.赫斯金德 A、格雷森 G、尼尔森 JB。脑瘫的早期识别和干预。Dev Med Child Neurol.2015 年;57: 29–36.PMID：25041565
查看文章PubMed/NCBI的Google 学术搜索
7.诺瓦克一世、摩根 C、阿德 L、布莱克曼 J、博伊德 RN、布伦斯特罗姆-埃尔南德斯 J 等。脑瘫的早期、准确诊断和早期干预：诊断和治疗的进展。美国医学会儿科杂志。2017;171: 897–907.PMID：28715518
查看文章PubMed/NCBI的Google 学术搜索
8.Spittle AJ、Spencer-Smith MM、Cheong JLY、Eeles AL、Lee KJ、Anderson PJ 等。极早产儿的一般运动和 2 岁和 4 岁的神经发育。小儿科。2013;132.PMID：23878041
查看文章PubMed/NCBI的Google 学术搜索
9.Kwong AKL、Fitzgerald TL、Doyle LW、Cheong JLY、Spittle AJ。自发性早期婴儿运动对后期脑瘫的预测有效性：系统评价。Dev Med Child Neurol.2018 年;60: 480–489.PMID：29468662
查看文章PubMed/NCBI的Google 学术搜索
10.Einspieler C， Prechtl HFR.Prechtl 对一般运动的评估：用于年轻神经系统功能评估的诊断工具。2005 年 Ment Retard Dev Disabil Res Rev.11: 61–67.PMID：15856440
查看文章PubMed/NCBI的Google 学术搜索
11.克里斯塔·艾因斯皮勒（Christa Einspieler），Prechtl HFR。Prechtl 关于早产儿、足月儿和幼儿一般运动的定性评估方法。麦克基思出版社;2008.
22 分钟Spittle AJ、Olsen J、Kwong A、Doyle LW、Marschik PB、Einspieler C 等。Baby Moves 前瞻性队列研究方案：使用带有一般运动评估的智能手机应用程序来预测极早产儿或极低出生体重儿 2 岁时的神经发育结果。BMJ公开赛。2016;6.PMID：27697883
查看文章PubMed/NCBI的Google 学术搜索
13.Kwong AKL、Doyle LW、Olsen JE、Eeles AL、Zannino D、Mainzer RM 等。父母录制的婴儿自发运动视频：3-4 个月时的比较以及与极早产儿、极低出生体重儿和足月出生儿 2 年发育结果的关系。儿科 Perinat 流行病学。2022;36: 673–682.PMID：35172019
查看文章PubMed/NCBI的Google 学术搜索
14.伯恩 R、诺里茨 G、梅特尔 NL。在高危婴儿随访门诊实施脑瘫早期诊断和干预指南。Pediatr Neurol.，2017 年;76: 66–71.PMID：28982529
查看文章PubMed/NCBI的Google 学术搜索
15.斯文森 KA， ?rtqvist M， Bos AF， Eliasson AC， Sundelin HE.NeuroMotion 应用程序的可用性和评分者间可靠性：一般运动评估中的一种工具。欧洲小儿神经病学杂志。2021;33: 29–35.PMID：34052727
查看文章PubMed/NCBI的Google 学术搜索
16.Adde L、Brown A、Van Den Broeck C、Decoen K、Eriksen BH、Fj?rtoft T 等。用于远程一般运动评估的 In-Motion-App：一项多站点观察性研究。BMJ公开赛。2021;11: 1–9.PMID：33664072
查看文章PubMed/NCBI的Google 学术搜索
17.Cao Z， Hidalgo G， Simon T， Wei SE， Sheikh Y. OpenPose：使用零件亲和力场进行实时多人 2D 姿态估计。IEEE Trans Pattern Anal Mach Intell.2021;43: 172–186.PMID：31331883
查看文章PubMed/NCBI的Google 学术搜索
18.Pishchulin L， Insafutdinov E， Tang S， Andres B， Andriluka M， Gehler P， et al. DeepCut：用于多人姿态估计的联合子集分区和标记。2016年IEEE计算机视觉与模式识别会议（CVPR）。2016;4929–4937.
查看文章Google 学术搜索
19.Toshev A， Szegedy C. DeepPose：通过深度神经网络进行人体姿态估计。IEEE计算机学会计算机视觉和模式识别会议论文集。2014;1653–1660.
查看文章Google 学术搜索
20.Fang H-S， Xie S， Tai Y-W， Lu C. RMPE：区域多人姿态估计。2017年IEEE计算机视觉国际会议（ICCV）。2017;2353–2362.
查看文章Google 学术搜索
21.Andriluka M， Iqbal U， Insafutdinov E， Pishchulin L， Milan A， Gall J， et al. PoseTrack：人类姿态估计和跟踪的基准。IEEE计算机学会计算机视觉和模式识别会议论文集。2018;5167–5176.
查看文章Google 学术搜索
22.Andriluka M， Pishchulin L， Gehler P， Schiele B. 2D 人体姿态估计：新的基准和最先进的分析。IEEE计算机学会计算机视觉和模式识别会议论文集。2014;3686–3693.
查看文章Google 学术搜索
23.Insafutdinov E， Pishchulin L， Andres B， Andriluka M， Schiele B. Deepercut：更深入、更强、更快速的多人姿态估计模型。计算机科学讲义（包括子系列《人工智能讲义》和《生物信息学讲义》）。2016;34–50.
查看文章Google 学术搜索
24.Chambers C， Seethapathi N， Saluja R， Loeb H， Pierce SR， Bogen DK， et al. 计算机视觉自动评估婴儿神经运动风险。IEEE 跨神经系统康复工程，2020 年;28: 2431–2442.PMID：33021933
查看文章PubMed/NCBI的Google 学术搜索
25.Groos D， Ramampiaro H， Ihlen EA. EfficientPose：可扩展的单人姿态估计。应用智能。2021;51: 2518–2533.
查看文章Google 学术搜索
26.Sciortino G.， Farinella G.M.， Battiato S， Leo M， Distante C. 图像分析与处理—ICIAP 2017。Battiato S、Gallo G、Schettini R、Stanco F，编辑。Cham：施普林格国际出版社;2017. https://doi.org/10.1007/978-3-319-68548-9
27.格罗斯 D、阿德 L、斯托恩 R、拉曼皮亚罗 H、伊伦 EAF。迈向人类在婴儿自发运动的自动运动跟踪方面的表现。2020;1–10.可从： http://arxiv.org/abs/2010.05949.
查看文章Google 学术搜索
28.阮泰 B， Le V， Morgan C， Badawi N， Tran T， Venkatesh S.基于时空注意力的视频婴儿运动评估模型。IEEE J 生物医学健康信息。2021;25: 3911–3920.PMID：33956636
查看文章PubMed/NCBI的Google 学术搜索
29.Groos D、Adde L、Aubert S、Boswell L、de Regnier RA、Fj?rtoft T 等人。开发和验证一种深度学习方法，以预防高危婴儿自发运动引起的脑瘫。JAMA Netw 公开赛。2022;5：e2221325。PMID：35816301
查看文章PubMed/NCBI的Google 学术搜索
30.Reich S、Zhang D、Kulvicius T、B?lte S、Nielsen-Saines K、Pokorny FB 等。用于对婴儿运动功能进行分类的新型人工智能驱动方法。科学代表 2021;11: 1–13.PMID：33972661
查看文章PubMed/NCBI的Google 学术搜索
31.Ihlen EAF、St?en R、Boswell L、de Regnier RA、Fj?rtoft T、Gaebler-Spira D 等人。 用于脑瘫早期预测的婴儿自发运动机器学习：一项多站点队列研究。临床医学杂志 2020;9: 5.PMID：31861380
查看文章PubMed/NCBI的Google 学术搜索
32.Silva N、Zhang D、Kulvicius T、Gail A、Barreiros C、Lindstaedt S 等。一般运动评估的未来：计算机视觉和机器学习的作用——范围界定审查。Res Dev Disabil.2021;110.PMID：33571849
查看文章PubMed/NCBI的Google 学术搜索
33.Redd CB、Karunanithi M、Boyd RN、Barber LA。技术辅助量化运动以预测运动障碍高风险婴儿：一项系统评价。Res Dev Disabil.2021;118.PMID：34507051
查看文章PubMed/NCBI的Google 学术搜索
34.Irshad MT， Nisar MA， Gouverneur P， Rapp M， Grzegorzek M. Prechtl 评估一般运动的 AI 方法：系统文献综述。传感器（瑞士）。MDPI公司;2020 年，第 1–32 页。PMID：32957598
查看文章PubMed/NCBI的Google 学术搜索
35.Mathis A、Mamidanna P、Cury KM、Abe T、Murthy VN、Mathis MW 等。DeepLabCut：通过深度学习对用户定义的身体部位进行无标记姿态估计。纳特神经科学。2018;21: 1281–1289.PMID：30127430
查看文章PubMed/NCBI的Google 学术搜索
36.Lubba CH、Sethi SS、Knaute P、Schultz SR、Fulcher BD、Jones NS。第22条：CAnonical Time-series CHaracteristics：通过高度比较的时间序列分析选择。数据 Min knowl discov.2019;33: 1821–1852.
查看文章Google 学术搜索
37.Simonyan K， Vedaldi A， Zisserman A. 卷积网络内部：可视化图像分类模型和显著性图。第二届学习表征国际会议，ICLR 2014 - 研讨会跟踪论文集。2014;1–8.
查看文章Google 学术搜索
38.Adebayo J， Gilmer J， Muelly M， Goodfellow I， Hardt M， Kim B. Sanity 检查显著性图。2018 年高级神经 Inf 过程系统;2018 年 12 月：9505–9515。
查看文章Google 学术搜索
39.Spittle AJ、Spencer-Smith MM、Eeles AL、Lee KJ、Lorefice LE、Anderson PJ 等。2 岁时的 Bayley-III 运动量表是否能预测极早产儿 4 岁时的运动结局？2013 年开发医学儿童神经学;55: 448–452.PMID：23216518
查看文章PubMed/NCBI的Google 学术搜索
40.纳特 T， 马蒂斯 A， 陈 AC， 帕特尔 A， 贝奇 M， 马蒂斯 MW.使用 DeepLabCut 进行跨物种和行为的 3D 无标记姿态估计。纳特普罗托克。2019;14: 2152–2176.PMID：31227823
查看文章PubMed/NCBI的Google 学术搜索
41.Lachance J， Thong W， Nagpal S， Xiang A.AAAI 2023 年负责任的以人为本的 AI 的表征学习研讨会 （R 2 HCAI） 公平性评估案例研究：人类姿态估计的当前局限性和挑战。可从： https://scholar.google.com.
查看文章Google 学术搜索
42.哈里斯 PA、泰勒 R、蒂尔克 R、佩恩 J、冈萨雷斯 N、康德 JG。研究电子数据采集 （REDCap） - 一种元数据驱动的方法和工作流程，用于提供转化研究信息学支持。J 生物医学信息。2009;42: 377–381.PMID：18929686
查看文章PubMed/NCBI的Google 学术搜索
43.Harris PA、Taylor R、Minor BL、Elliott V、Fernandez M、O'Neal L 等。REDCap 联盟：建立软件平台合作伙伴的国际社区。J 生物医学信息。2019;95: 103208.PMID：31078660
查看文章PubMed/NCBI的Google 学术搜索
44.van Buuren S，Oudshoorn CGM。MICE：通过链式方程进行多元插补。R 包版本。2007;1: 2007.
查看文章Google 学术搜索
45.Pedregosa F， Varoquaux G， Gramfort A， Michel V， Thirion B， Grisel O， et al. Scikit-learn：Python 中的机器学习。机器学习研究杂志。2011;12: 2825–2830.
查看文章Google 学术搜索
46.Abadi M， Agarwal A， Barham P， Brevdo E， Chen Z， Citro C， et al. TensorFlow：异构系统上的大规模机器学习。2015. 可从： https://www.tensorflow.org/
查看文章Google 学术搜索
47.Yang Y， Sun J， Li H， Xu Z. 用于压缩传感 MRI 的深度 ADMM-Net.2016 年高级神经 Inf 过程系统;10–18.
查看文章Google 学术搜索
48.Sutskever I， Martens J， Dahl G， Hinton G. Momentum， Nesterov accelerate， 关于初始化和动量在深度学习中的重要性。J Mach Learn Res. 2013 年;28: 1139–1147.
查看文章Google 学术搜索
49.张春斌， 江平， 侯琦， 魏莹， 韩琦， 李志， 等.深入研究标签平滑。IEEE图像处理汇刊。2021;30: 5984–5996.PMID：34166191
查看文章PubMed/NCBI的Google 学术搜索
50.Um TT、Pfister FMJ、Pichler D、Endo S、Lang M、Hirche S 等。使用卷积神经网络对可穿戴传感器数据进行数据增强，用于帕金森病监测。第 19 届 ACM 多模态交互国际会议论文集。2017;216–220.
查看文章Google 学术搜索
51.Salamon J， 贝洛 JP.用于环境声音分类的深度卷积神经网络和数据增强。IEEE信号处理许可，2017年;24: 279–283.
查看文章Google 学术搜索
52.He H， Garcia EA. 从不平衡的数据中学习。计算智能研究。2019;807: 81–110.
查看文章Google 学术搜索
53.Aggarwal U， Popescu A， Belouadah E， Hudelot C.不平衡类增量学习校准方法的比较研究.2022 年多医学工具应用;81: 19237–19256.
查看文章Google 学术搜索
64 分钟Platt J. 支持向量机的概率输出以及与正则化似然方法的比较。大边距分类器的进展。1999;10: 61–74.
查看文章Google 学术搜索
55.西格 MC 威廉姆斯。使用 Nystr?m 方法加速内核机器。神经信息处理系统的进展。2001 年，第 682–688 页。