免费医学论文发表-从以自我为中心的视频中识别中风后在家中的手使用和手的作用

抽象

手部功能是卒中后独立性的核心决定因素。测量家庭环境中的手部使用情况对于评估新干预措施的影响是必要的，并需要新的可穿戴技术。以自我为中心的视频可以捕捉上下文中的手与物体的互动，并显示如何在双边任务（用于稳定或操作）中使用受影响更大的手。需要自动化方法来提取此信息。本研究的目的是使用基于人工智能的计算机视觉对中风后在家中录制的以自我为中心的视频中的手部使用和手部角色进行分类。21名中风幸存者参加了这项研究。应用随机森林分类器、SlowFast神经网络和手部物体检测器神经网络来识别家中的手部使用和手部角色。采用留一主体交叉验证（LOSOCV）来评估3个模型的性能。基于马修斯相关系数（MCC）计算模型的组间差异。对于手部使用检测，手部物体检测器的性能明显高于其他型号。在LOSOCV中使用该模型的宏观平均MCC对于受影响较大的手部为0.50±0.23，对于受影响较小的手部为0.58±0.18。手部角色分类显示，LOSOCV中所有模型的宏观平均MCC都接近于零。使用以自我为中心的视频来捕捉中风幸存者在家中的手部使用情况在技术上是可行的。跟踪手指运动的姿势估计可能有助于将来对手部角色进行分类。

作者摘要

本研究考察了未来可能用于中风幸存者的家庭手部评估的技术可行性。用于运动检测的可穿戴传感器已应用于评估目的，但由于这些设备仅检测动态运动而无法捕获静态运动，因此它们不能完全反映手部特有的灵巧性。可穿戴（以自我为中心）相机可用于记录两种类型的手部动作并提供上下文信息，例如正在执行的任务以及手如何执行任务。这些信息对于了解中风后的手部恢复水平至关重要。证明以自我为中心的视频分析可用于量化手部动作非常重要。我们使用人工智能方法分析了家中社区中风幸存者的自我录制视频，并成功检测到在典型例行程序中受影响较大和受影响较小的手部使用情况。因此，以自我为中心的视频的自动化分析有潜力进一步应用于社区手部恢复的长期跟踪。作为未来的评估工具，相机最终可以评估干预措施的影响，并帮助开发新的干预措施。

数字

Fig 6图1Fig 2Fig 3Table 1Table 2Table 3Fig 4Table 4Fig 5Fig 6图1Fig 2Fig 3

引文： 蔡美芬， 王 RH， 扎里法 J （2023） 从以自我为中心的视频中识别中风后在家中的手使用和手的作用。公共科学图书馆数字健康 2（10）： e0000361. https://doi.org/10.1371/journal.pdig.0000361

编辑 器： Alexander Wong，加拿大滑铁卢大学

收到： 八月 2， 2022;接受： 8月 31， 2023;发表： 10月 11， 2023

版权所有： ? 2023 蔡等这是一篇根据知识共享署名许可条款分发的开放获取文章，该许可允许在任何媒体上不受限制地使用、分发和复制，前提是注明原作者和来源。

数据可用性： 数据可以在合理请求和完成数据共享协议时共享。由于数据包含敏感信息（参与者家中的视频记录），我们的机构政策要求这些访问限制。数据访问请求可以定向到大学健康网络的数据访问委员会 （DAC@uhn.ca），请求上的相应作者 CCed。

资金： JZ和RW由加拿大心脏和中风基金会（https://www.heartandstroke.ca/）资助[批准号：G-18-0020952]。MT由多伦多大学的医疗保健机器人（HeRo）NSERC协作研究和培训体验（CREATE）计划资助。资助者在研究设计、数据收集和分析、发表决定或手稿准备方面没有任何作用。

竞争利益： 提交人声明不存在相互竞争的利益。

介绍

上肢功能是脑卒中后生活质量的决定因素[1]。超过65%的脑卒中幸存者在脑卒中后6个月仍有上肢损伤[2,3]。偏瘫或轻偏瘫是卒中后常见的运动障碍，导致受影响较大的肢体在隔离或执行运动时遇到困难。需要针对上肢功能的新干预措施来提高日常生活活动（ADLs）的独立性。在将新的干预措施转化为实践之前，应通过适当的结局指标来量化其对中风幸存者日常生活的最终影响。在临床环境中测量的上肢功能并不总是在日常生活中得到证实[4-9]。根据世界卫生组织的《国际功能、残疾和健康分类》（ICF），在医院和社区中测量功能分别对应于两个不同的功能领域——能力和绩效[10]。前者衡量个人的最高功能水平，后者捕捉其通常环境中的功能表现。

大多数测量上肢性能的研究都集中在报告手臂使用而不是手使用上。伸手和抓握是完成任务所需的不同组成部分。操纵物体可以通过多种方式进行，具体取决于手部功能的损伤程度。除手臂使用外，调查手部使用情况可以揭示卒中后上肢功能的不同方面。在临床或实验室环境中，手臂和手功能在上肢评估的不同子集中进行评估，例如行动研究手臂试验（ARAT）[11]和Fugl-Meyer上肢评估（FMA-UE）[12]。因此，有必要对家庭和社区环境中手部功能的性能方面进行评估。

除了手部使用外，双手ADL期间受影响更大的手的作用是偏瘫患者手功能的另一个重要指标。稳定器和操纵器是切多克手臂和手部活动清单中定义的两个手角色[13]。受累程度较高的手的作用取决于手部损伤的严重程度以及受累手是否在卒中前占主导地位。大多数与区分手法和稳定性相关的研究探讨了手抓的类型[14]、手部姿势跟踪[15,16]和上肢评估评分估计[17]，而不是确定手部角色。迄今为止，尚未探索在双手ADL期间识别中风幸存者手部角色的自动化方法。

有人提出可穿戴设备来捕捉社区中的上肢功能，例如加速度计[18-21]、磁力计（Manumeter）[22,23]、力肌造影（TENZR）[24]和可穿戴相机[25-27]。腕戴式加速度计可捕捉手臂使用而非手使用[19,28]。TENZR是一种带有力肌图传感器的腕带，可测量表面力以捕获伸手到抓握的运动[24]。然而，据报道，TENZR可能无法检测到小动作，也无法区分抓握类型[29]。手指佩戴的加速度计 [17,30,31] 和手部加速度计 [32,33] 记录手部使用情况，但是，佩戴在手指上的设备可能会影响 ADL 期间的自然手部运动。此外，Manumeter的记录可能会受到金属物体的影响，例如门把手和器皿，这些是常见的家用物品[32,33]。第一人称相机（以自我为中心的相机）可以在不干扰手部运动的情况下捕捉手部使用情况。此外，这种模式提供了有关发生的ADL的背景，并可以揭示更多的临床信息，例如手部姿势。虽然一些大的动作可能不在框架外，但大多数日常任务是在腰部和肩部之间进行的，可以清楚地记录[34]。然而，以自我为中心的视频数据的高度复杂性使自动化分析成为一项挑战。

基于机器学习的计算机视觉方法以前已被应用于从以自我为中心的视频中捕获上下文和手部动作，例如动作识别[35,36]，人机交互[37,38]和姿势估计[39-41]。已经确定了使用视频提取手部运动的一些障碍，例如不稳定的光源和相机运动[42]，由于快速的手部运动而导致的模糊，以及手被用户或操纵的物体遮挡[43]。这些障碍可能会阻碍卒中后手部使用和手部作用的成功分类。手-对象交互构成了大多数手部使用场景，以前已应用计算机视觉来捕获这些交互。在一些研究中，手接触被称为手-物体相互作用。调查相互作用的研究表明，手使用的关键特征包括空间和时间信息[44-46]以及涉及手和纵物体的公共区域[25,47]。据报道，仅手部区域不足以检测到手部接触[48,49]。尚未探讨应用这些方法解决康复问题。因此，本研究的目的是使用基于人工智能的计算机视觉对中风后在家中录制的以自我为中心的视频中的手部使用和手部角色进行分类。虽然我们之前的工作在实验室环境中录制的视频中解决了这些问题[25]，但据我们所知，这是第一项试图使用以自我为中心的视频捕捉中风幸存者在真实家庭环境中的手部使用和手部角色的研究。

方法

参与者

中风幸存者被邀请参加这项研究，该研究得到了大学健康网络研究伦理委员会的批准。在参加研究之前，已获得受试者及其护理人员（如果涉及）的知情同意。研究受试者的纳入标准如下：1）中风后至少六个月;2）由于受影响较大的手部受损而自我报告日常生活困难;3）手功能受损但并非缺失，定义为ARAT总分高于10分[50];4）蒙特利尔认知评估（MoCA）高于21，以避免潜在的认知困难[51];5）使用上肢时无半脱位或明显疼痛;6）除中风外，没有其他影响上肢运动的神经肌肉骨骼疾病。

研究方案

每位参与者都两次参观了KITE研究所的家庭模拟实验室。在第一次访问中，获得了知情同意，并进行了临床评估，包括FMA-UE，ARAT，MoCA和运动活动日志-30，以确保参与者的资格并提供其手功能的概述。在第二次访问中，研究人员按照先前报道的方案演示了使用头戴式自我中心摄像头（GoPro Hero 5，GoPro Inc.，CA，USA）的程序[34]。演示结束后，参与者熟悉了相机的使用。随后，他们在实验室的六个不同房间设置（即客厅、餐厅、卧室、洗手间、厨房和走廊）中执行了一份日常任务清单（S1附录），同时录制了以自我为中心的视频。参与者被要求像往常一样执行任务（即，抓握类型不受约束）。研究人员与参与者讨论了他们的日常生活，以商定家庭录音的代表性ADL。鼓励参与者在不同的日子或一天中的不同时间进行记录，以捕捉各种活动。在两次研究访问之后，参与者在家中自我记录他们的日常生活，收集三节1.5小时的录音，并将视频返回给研究人员。

数据

本研究收集了两种类型的视频：在家庭模拟实验室和在家中录制的以自我为中心的视频。基于实验室的视频中的选定任务称为 HomeLab 数据集，家庭录制文件中的选定任务称为家庭数据集。选择数据集中的任务是为了在手-对象交互中加入多样性，例如以不同的方式执行不同的任务或类似的任务。除了不同的任务和抓取之外，在两个数据集中，每个参与者选择了两个非交互任务（负实例），其中有手但不操纵任何物体，以平衡数据集。实例仅包括一只手，并被视为独立的训练样本。一个框架可能包含两个或多个实例，具体取决于手的数量。本研究中，HomeLab 数据集用作补充集，以调查在标准化环境中包括具有一组对象的任务是否有助于识别不受控制的家庭环境中的手-对象交互和手角色。所有视频均以1280x720分辨率以每秒30帧的速度录制，并以720x405分辨率进行分析。

在家庭数据集中，每个参与者在家中自行记录了三到四个任务，其中一个任务仅包含负面实例（没有交互），例如在行走过程中手搁下或摆动，以平衡数据集。HomeLab数据集包括九名参与者，P01-09，每个人在实验室的六个房间环境中至少执行了八项任务，其中两项是消极任务，即在空中快速挥手。每个任务中的手-对象交互和双手任务中的手部角色在数据集中逐帧手动注释。手-物体交互的定义是手出于功能目的对物体的操作。至于双手任务中的两个手角色，稳定器被定义为手与物体静态接触而不改变它们之间的接触区域（静态相互作用），操纵器被定义为手移动物体，接触区域随时间变化（动态相互作用）。使用Cohen的Kappa统计量研究了手-物体相互作用和手角色标签的评分者间可靠性[52]。还报告了患病率调整偏差调整kappa（PABAK），以考虑数据集中手-物体相互作用和手角色的普遍性以及注释者之间的偏差。0.61-0.8之间的Kappa系数很大，0.81-1之间的Kappa系数几乎是完全一致的[53]。

留一个主题交叉验证 （LOSOCV）

进行了留一受试者交叉验证（LOSOCV）[54]，以评估在两种条件下使用每个模型（见下文）在看不见的受试者中进行交互检测和手部角色分类的性能：仅使用家庭数据集和使用两个数据集。这两个条件旨在调查包括基于实验室的交互数据集（HomeLab数据集）是否可以提高交互检测和手部角色分类的性能。LOSOCV 将包含的数据集分为测试集、验证集和训练集。测试集包含 Home 数据集中单个参与者执行的所有任务，验证集包含每个参与者的一个双手家庭任务，测试集中的那个除外。其余任务都在训练集中。训练集和验证集都没有包括测试参与者执行的任务，这是一个看不见的主题。报告了每种条件下的马修斯相关系数 （MCC）、F1 分数、精度、召回率和准确性的宏观和微观平均值 [55]，以对每个模型的性能进行全面评估。宏观平均结果提供了单个测试参与者的模型平均性能，微观平均结果揭示了所有参与者的整体模型性能。根据数据分布，应用重复测量方差分析（ANOVA）或弗里德曼检验来评估在宏观平均MCC最高的条件下，三个模型之间MCC和每个参与者的F1分数的组间差异。

手-物体交互检测及手角色分类

使用三种模型研究了二元手对象交互检测和手角色分类：使用手动选择特征的随机森林分类器[25]，SlowFast 网络[56]和手对象检测器[57]。数据集中的所有任务都用于交互检测，只有双手任务用于手部角色分类。为了比较模型之间的性能，每个模型的所有手部边界框都是相同的，并且由手部物体检测器生成。护理人员的手可能会被记录并识别为用户的手，这是模型的一个弱点，无法区分彼此。如果一手牌有两个预测（例如，框架中有两只右手），则通过平均该手牌的预测来计算最终预测。平均> = 0.5被认为是一种相互作用或操纵。每个模型的实现详细信息在以下段落中。

随机森林分类器

该模型使用具有 150 棵树的二元随机森林分类器进行交互和手部角色分类，如之前在 [25] 中报告的那样，它被应用于 HomeLab 数据的子集。在这里，该研究中的手部检测和数据后处理步骤被删除，前者被替换为使用从手部物体检测器生成的手部边界框。使用随机森林分类器的管道包括手部分割、特征提取以及交互和手角色的二元分类（图 1）。手部分割使用UNET区分手部边界框中的手部和非手部区域[58]。颜色、运动和手形特征应用于两种分类。反映操作动作的另一个特征，即随后十帧中手部大小的像素变化，用于手部角色分类。颜色特征是手部区域、手部周围区域（非手部区域）和背景之间色调、饱和度和值 （HSV） 色彩空间直方图的差异。运动特征使用了这些区域之间光流直方图中的大小和方向差异。手形特征是边界框内的定向渐变直方图 （HOG）。有关这些功能的详细信息，请参见 [25]。没有预测边界框的手牌被归类为没有互动和没有手牌角色（既不是操作也不是稳定）。

缩略图 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图1. 管道，用于使用具有手动选择特征的二进制随机森林分类器来识别手-对象交互和中风幸存者的手角色。

颜色（HSV）、运动（光流）和手形（HOG）是相互作用和手角色分类器的共同特征。手部大小更改是手部角色的附加功能。手部边界框（红色）是由手部物体检测器生成的，这里的R-P表示右手与便携式物体接触。（HSV：色相、饱和度和值;HOG：定向梯度直方图）。

https://doi.org/10.1371/journal.pdig.0000361.g001

对于交互检测，使用 Home 和两个数据集的平均训练实例数分别为 109,063 ± 4,375 个实例（76% ± 1% 交互和 24% ±1% 无交互）和 174,917 ± 6,550 个实例（71% ± 1% 交互和 29% ±1% 无交互）。两种条件下的测试集相同，平均实例数为 5,453 ± 4,375 个实例（75% ± 13% 交互，25% ± 13% 无交互）。

至于手部角色分类，使用Home和两个数据集的训练实例的平均数量分别为72,909±3,153个实例（20%±1%操作和80%±1%稳定）和106,690±3,694个实例（30%±1%操作和70%±1%稳定）。两种条件下的测试集相同，平均实例数为 3,645 ± 3,153 个实例（23% ± 14% 操纵，77% ± 14% 稳定）。验证集未应用于模型。

慢速网络

SlowFast是一种双流3D卷积神经网络架构，用于第二个模型。该网络是从在MECCANO数据集上训练的活动识别模型重新训练的[46]。网络的帧速率降低率（alpha）和信道减少率（beta）在慢速和快速路径之间设置为4和8[56]。手部实例定义为一组边界框区域，其大小为 256x256 像素，用于交互检测的 32 帧和 16 帧用于手部角色分类。基本学习率和权重衰减分别设定为0.0001和0.00001，与[46]相同。训练过程中采用随机梯度下降（SGD）和交叉熵作为优化因子和损失函数，批数为7。验证每 5 个时期进行一次，以评估网络性能。当训练损失收敛且验证错误率停止降低超过 10 个 epoch 时，训练停止。将验证损失最小的训练网络应用于测试集。

对于交互检测，使用 Home 和两个数据集的训练实例的平均数量分别为 7,627 ± 347 个实例（65% ± 2% 交互和 35% ±1% 无交互）和 13,665 ± 605 个实例（61% ± 1% 交互和 39% ±1% 无交互）。两种条件下的平均测试实例数为 462 ± 403 个实例（66% ± 16% 交互，34% ± 16% 无交互）。对于前一个条件，验证实例的平均数量为 1,619 个± 73 个实例（58% ± 2% 交互，42% ± 2% 无交互），后一个条件± 75 个实例中的 1,505 个（55% ± 2% 交互，45% ±2% 无交互）。

对于手部角色分类，使用 Home 和两个数据集的训练实例的平均数量分别为 10,367 ± 451 个实例（1% 操作± 17%，稳定± 83%）和 16,586 ± 604 个实例（26% ± 1% 操作和 74% ± 1% 稳定）。在两种条件下，测试集中的平均实例数为 603 ± 445 个实例（19% ± 13% 的操作和 81% ± 13% 的稳定）。对于这两种情况，验证实例的平均数量为 1,690 ± 103 个实例（1% 操作± 14%，稳定 86% ±）。

为了将性能与随机森林分类器的逐帧预测进行比较，将给定 32 帧或 16 帧实例的预测作为实例中所有帧的预测应用。连续实例有 50% 的重叠，为每手牌提供两个预测。如果任一预测是相互作用，则最终分类为相互作用。统计结果是使用每手牌的最终预测计算的。

手部物体检测器

手部物体检测器是一种更快的基于区域的卷积神经网络（RCNN）算法，可检测手部接触，包括自我接触、无接触、他人接触、便携式物体接触和非可移植物体接触[57]。除了预测接触外，模型中还包括对象检测算法，该算法可在每帧中生成手部和操纵对象边界框。对于交互检测，手部物体检测器作为基线结果应用，无需重新训练。该模型没有被重新训练，首先是因为它已经为类似的任务而设计，其次是因为它需要与数据集标记不同的注释。便携式对象接触预测被归类为手-对象交互，否则，被归类为无交互。

对于手部角色分类，将模型中最后一个全连接层的特征馈送到另一个全连接层中，以对稳定器和操纵器角色进行分类。每 5 个时期进行一次验证。SDG和交叉熵作为手牌角色分类训练时的优化和损失函数，如SlowFast网络，批大小为20。基本学习率和动量分别设定为0.0001和0.9。如果训练损失停止减少 2 个 epoch，则触发权重衰减为 0.001 的学习率计划。当验证损失收敛时，训练停止，并在 10 个 epoch 内停止减少。将验证损失最小的训练手角色分类模型应用于测试集。

仅使用 Home 数据集的平均训练实例数为 72,908 ± 3,532 个实例（20% ± 1% 操作和 80% ± 1% 稳定），以及使用两个数据集± 4,369 个实例中的 115,331 个（31% ± 1% 操作和 69% ± 1% 稳定）。测试实例的平均数量为 4,156 ± 3,351 个实例（22% ± 14% 操纵，78% ± 14% 稳定）。对于这两种条件，验证实例的平均数量为 10,223 ± 551 个实例（19% ± 2% 操作，81% ± 2% 稳定）。

结果

21名中风幸存者（15名男性和6名女性）完成了这项研究。根据[59]中定义的FMA-UE总评分，受试者的上肢损伤水平分为轻度、中度和重度。人口统计信息如表1所示。家庭和家庭实验室实例的一些示例如图 2 和图 3 所示。

缩略图 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图2. 家庭数据集中的三个示例。

（A）擀面团，（B）用铅笔画画，（C）用工具画画。

https://doi.org/10.1371/journal.pdig.0000361.g002

缩略图 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图3. 来自家庭实验室数据集的三个示例。

（A）打开一瓶水，（B）用杯子喝水，（C）刷牙。

https://doi.org/10.1371/journal.pdig.0000361.g003

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

表 1. 参与者的人口统计信息和上肢Fugl-Meyer评估（FMA-UE）总分（N = 21）。

https://doi.org/10.1371/journal.pdig.0000361.t001

对于手-物体交互检测，Home和HomeLab数据集分别标记了79,543帧（63%交互和37%无交互）和51,935帧（53%交互和47%无交互）。手部角色分类仅利用双手任务中标记为交互的框架，因为当涉及两只手时，角色更能代表手部功能水平。用于手部角色分类的标记家庭和家庭实验室数据集分别由64,291帧（20%操作和80%稳定）和32,480帧（50%操作和50%稳定）组成。LOSOCV 条件下测试、验证和训练集中的平均实例数列在每个模型的结果中。

手-对象交互和手角色的评分者间可靠性

五个注释器手动标记手部-对象交互，其中两个标记手部角色。注释者 1 是注释的指导者，评估者之间的可靠性是该注释器与其他注释器之间的。对于手-物体相互作用，注释者之间的PABAK均高于0.75（表2），并表明评分者之间对手-物体相互作用的可靠性至少是实质性一致的。对于手部角色，注释者 1 和 5 之间的评分者间可靠性为 0.85，并且表现出几乎完全的一致性。

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

表 2. 手-对象交互和手角色注释的评分者间可靠性。

https://doi.org/10.1371/journal.pdig.0000361.t002

手物交互检测

对于受影响较大的手，仅使用Home数据集和两个数据集时的宏观平均MCC分别为0.34±0.19和0.35±随机森林分类器的0.20，SlowFast网络的0.30±0.26和0.32±0.20（表3）。使用这两个数据集具有更高的宏观平均MCC来检测受影响较大的手的相互作用。随机森林分类器的两种条件的宏观平均 F1 得分均为 0.73 ± 0.17。在 SlowFast 网络中，Home 数据集的宏观平均 F1 分数分别为 0.71 ± 0.21，两个数据集的宏观平均 F1 分数分别为 0.71 ± 0.19。至于手部物体检测器，受影响较大的手的宏观平均MCC和F1得分在三种模型中最高：分别为0.50±0.23和0.76±0.18。使用一个数据集和两个数据集的微观平均MCC对于随机森林分类器分别为0.45和0.46，对于SlowFast Network分别为0.39和0.38。使用SlowFast Network时，前一种情况的微观平均F1得分为0.74，后一种条件的微观平均F1得分为0.73，使用随机森林分类器的两种条件的微观平均F1得分均为0.76。这两种情况的微观结果对于受影响较大的手也非常接近。手部物体检测器的微观平均MCC和F1得分分别为0.49和0.77。

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

表 3. 在两种条件下，使用随机森林分类器、SlowFast 网络和手对象检测器进行手对象交互检测的留一受试者交叉验证 （LOSOCV） 的宏观和微观平均结果：主数据集和两个数据集。

https://doi.org/10.1371/journal.pdig.0000361.t003

对于受影响较小的手，仅使用Home数据集并使用两个数据集时的宏观平均MCC分别为0.38±0.18和0.39±随机森林分类器的0.18和0.32±0.23和0.31±SlowFast Network的0.18。随机森林分类器的两种条件的宏观平均 F1 得分均为 0.78 ± 0.14。至于SlowFast Nework，使用一个数据集的宏观平均F1得分分别为0.78±0.14，使用两个数据集的F1得分分别为0.79±0.13。两种条件下的宏观平均结果相似。在手部物体检测器的宏观平均结果中，MCC和F1得分分别为0.58±0.18和0.87±0.08。使用一个和两个数据集的微观平均MCC对于SlowFast Network分别为0.33和0.32，对于随机森林分类器均为0.42。使用随机森林分类器时，两种条件下的微观平均F1得分为0.84，使用SlowFast Network为0.80。手部物体检测器的微观平均MCC和F1得分分别为0.60和0.90。

对于包括每只手的数据（总体结果）在内的综合结果，宏观和微观平均MCCs和F1分数在两种条件下也相似。使用Home数据集和两个数据集的宏观平均MCC分别为0.37±0.20和0.38±随机森林分类器的0.20和0.31和SlowFast Network的0.31±±0.21和0.31和0.12。前一种和后一种条件的宏观平均F1得分分别为0.75±0.15和0.76±0.12，随机森林分类器的宏观平均F1得分分别为0.78±0.11。在宏观平均综合结果中，手部物体检测器的MCC和F1得分最高：分别为0.54±0.19和0.83±0.08。使用随机森林分类器的微观平均MCC和F1-socres在使用一个数据集时分别为0.44和0.81，使用两个数据集时分别为0.45和0.81。在SlowFast Network的结果中，两种条件下的微型平均MCC和F1得分分别为0.36和0.77。手部物体检测器微观平均MCC和F1得分分别为0.55和0.84。

统计结果

在手-对象交互检测中，当对任何一只手使用随机森林分类器，对受影响较大的手使用SlowFast网络时，在训练期间包括HomeLab数据集导致比单独使用Home数据集更高的宏观平均MCC。因此，使用两个数据集的结果用于计算使用三个模型的交互检测的组间差异。根据夏皮罗-威尔克检验的结果，两只手的F1分数不呈正态分布（p值<0.05），MCC呈正态分布。弗里德曼检验应用于F1分数，重复测量方差分析用于MCC。

MCC的组间差异在受影响较大的手（p<0.01）、受影响较小的手（p<0.01）和总体结果（p<0.01）中发现显着差异。Tukey的测试是作为事后测试进行的，对于受影响较大的手部，手部物体检测器的MCC明显高于SlowFast网络，对于受影响较小的手部和综合结果，MCC也高于其他两种型号。图 4 总结了手-物体交互检测任务中所有模型的整体（双手）结果的 MCC。

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图4. MCC 使用“两个数据集”训练条件，用于三个模型在手-对象交互检测中的总体结果（双手）。

手部物体检测器的MCC明显高于其他两种型号（p<0.01）。

https://doi.org/10.1371/journal.pdig.0000361.g004

F1分数的组间差异显著，受影响较大的手牌（p<0.05）、受影响较小的手牌（p<0.01）和总体结果（p<0.01）。随后，Wilcoxon签名排名测试作为事后测试进行，发现手部物体检测器和SlowFast网络之间对于受影响较大的手，以及手物体检测器与其他两个模型之间对于受影响较小的手和组合结果之间的显着差异。

手部角色结果

对于受影响较大的手，使用Home数据集和两个数据集时的宏观平均MCC分别为0.03±0.07和0.06 ±随机森林分类器的0.13，SlowFast Network的0.00 ± 0.08和0.03±0.15，手部物体检测器的±0.04和-0.02和0.02±0.10（表4）。至于宏观平均F1得分，使用一个和两个数据集的结果对于随机森林分类器分别为0.88±0.20和0.86±0.20，对于SlowFast Network±0.20和0.84±0.20，对于手部物体检测器，使用0.88 ± 0.21和0.78±0.20。使用Home数据集时的微观平均MCC和F1得分对于随机森林分类器分别为-0.03和0.91，对于SlowFast Network为-0.07和0.89，对于手部物体检测器为-0.01和0.92。当使用这两个数据集时，随机森林分类器的微型MCC和F1得分分别为-0.04和0.85，SlowFast Network的0和0.87，手部物体检测器的-0.07和0.80。在随机森林分类器中使用这两个数据集在模型中具有最高的宏观平均MCC，这表明包括HomeLab数据集可以更好地对看不见的中风幸存者的受影响更大的手部角色进行分类，而不是排除数据集。然而，使用该模型的微观平均MCC在两种条件下都低于零，这意味着随机森林分类器通常不能很好地对受影响较大的手部角色进行分类。

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

表 4. 在两种条件下，使用随机森林分类器、SlowFast 网络和手部对象检测器进行手部角色分类的留一受试者交叉验证 （LOSOCV） 的宏观和微观平均结果：主数据集和两个数据集。

https://doi.org/10.1371/journal.pdig.0000361.t004

至于受影响较小的手，使用Home数据集的宏观平均MCC和F1分数对于随机森林分类器分别为0.02±0.05和0.82±0.18，对于SlowFast Network±0.27和0.82±0.16，对于手部物体检测器，分别为0.00±0.07和0.83±0.15。当使用这两个数据集时，随机森林分类器的MCC和F1得分分别为0.08±0.10和0.81±0.17，SlowFast 网络的 0.02 ± 0.13 和 0.81 ± 0.17，手部物体检测器的 -0.06 ± 0.13 和 0.71 ± 0.18。随机森林分类器的微观平均MCC和F1得分分别为0.05和0.86，SlowFast Network的0.19和0.86，手部物体检测器的0.02和0.85。后一种条件下的微型MCC和F1得分在随机森林分类器中分别为0.13和0.85，对于SlowFast Network为0.04和0.83，对于手部物体检测器为-0.05和0.70。

在每只手的综合结果（总体结果）中，使用Home数据集的宏观平均MCC和F1得分分别为0.04±随机森林分类器的0.06和0.86±0.08，SlowFast Network的0.06±0.25和0.85±0.10，手部物体检测器的0.00±0.06和0.86±0.09。当使用这两个数据集时，随机森林分类器的宏观平均MCC和F1得分分别为0.08±0.11和0.85±0.08，SlowFast的0.04±0.14和0.84±0.08，手部物体检测器的-0.04±0.09和0.75±0.12。至于使用一个数据集时的微观平均结果，随机森林分类器的MCC和F1得分分别为-0.01和0.88，SlowFast的MCC和F1得分分别为0.08和0.87，手部物体检测器的MCC和F1得分分别为0.01和0.88。使用两个数据集时的微观平均结果对于随机森林分类器和SlowFast Network分别为0.01和0.85，对于手部物体检测器为-0.04和0.75。

在手部角色分类中，当使用随机森林分类器并利用两个数据集时，观察到总体结果的最高宏观平均MCC。因此，选择此条件进行其他调查。进行了修改，通过应用比率为 20 的加权损失来提高性能。通过这样做，具有较少实例数的操作可以在训练期间获得更多关注。受影响较大的手部的宏观和微观平均MCC分别为0.12±0.18和0.02，受影响较小的手部分别为0.11±0.13和0.21，综合结果分别为0.12±0.13和0.11，在应用加权损失后均较高（表4）。这表明应用加权损失对中风幸存者的手部角色进行分类是有益的。

统计结果

在手部角色分类中，比较了每个参与者的MCC和F1分数。在两种条件下，任何一只手的结果都不像相互作用检测那样一致。在这里，再次选择使用两个数据集的条件来研究组间差异，因为在这种情况下使用随机森林分类器发生的最高宏观平均MCC。夏皮罗-威尔克检验结果显示，受影响较大和受累较小的手的MCC和F1评分不呈正态分布（p值<0.05），总体结果的测量呈正态分布。弗里德曼检验应用于受影响较大和受影响较小的手部，并对总体结果使用重复测量方差分析。

在受影响较重的手（p<0.01）、受影响较小的手（p<0.01）和总体结果（p<0.01）中，MCC的组间差异显著。对于受影响较大的手，使用Wilcoxon符号秩测试作为事后测试，具有加权损失的随机森林分类器的MCC明显高于SlowFast网络和手部物体检测器。没有加权损失的随机森林的MCC明显高于手对象检测器。对于受影响较小的手，有和没有加权损失的随机森林分类器的MCCs明显高于其他两个模型。至于总体结果（每只手），Tukey测试作为事后测试进行，有和没有加权损失的随机森林分类器的MCC都明显高于手部物体检测器。图 5 总结了手部角色分类任务中所有模型的总体（双手）结果的 MCC。

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图5. MCC 使用“两个数据集”训练条件，用于手部角色分类中三个模型的总体结果（双手）。

有和没有加权损失的随机森林分类器（RF）的MCC明显高于手对象检测器（p<0.01），但慢速（SF）网络。

https://doi.org/10.1371/journal.pdig.0000361.g005

在总体结果中发现F1分数的组间差异显著（p<0.001）。与使用Tukey测试作为事后测试的手对象检测器相比，有和没有加权损失的随机森林分类器和SlowFast网络的F1分数都明显更高。随机森林分类器和SlowFast网络之间的F1得分没有显著差异。

讨论

这项研究使用以自我为中心的视频的自动分析，首次分析了中风幸存者在家庭环境中的手功能。检测手与物体的相互作用被证明是可行的，证实了早期在实验室环境中的发现[25]。手部物体检测器在手-物体相互作用检测方面具有最高的宏观和微观平均MCC和F1分数。发现使用类似方法检测手部角色更具挑战性，并且需要使用其他方法进行额外的调查。

对相互作用检测结果的检查表明，闭合的手部姿势通常被预测为一种相互作用，这可能会在具有严重至中度手功能障碍的中风幸存者中产生错误的预测，即使在休息期间，闭合拳头也很常见。将来，包括更多来自中风后闭合手形个体的训练实例可能会改善中风后手与物体相互作用的检测。至于手部角色，由于难以区分手指运动，它们很难分类，这是操作和稳定之间的主要区别。操作包括比稳定更多的手指移动。物体移动或背景变化可能是手臂运动而不是手指运动的结果，例如在行走过程中握住物体时。对随机森林分类器应用加权损失有利于手角色分类。姿势估计方法[60-62]可以提供更大的跟踪手指运动的能力，并且可能是一种有价值的研究途径，以更好地区分操作和稳定。

在两种条件的比较中，使用两个数据集时的宏观平均结果非常接近且略高于单独使用Home数据集进行手-物体交互检测时。结果表明，包括一个数据集，该数据集具有在受控实验室环境中操作一组对象的各种示例，有助于提高不受控制环境中的性能。在实验室环境中，可以控制视频质量和执行的任务，以实现足够的照明和清晰的手部视野。这些因素可以确保视频可用于训练交互检测分类器。然而，交互检测性能的提高是否来自更多的训练实例、更多种类的受控任务、更好的照明或短任务期间更少的相机运动，这些都是包含 HomeLab 数据集时的因素，这超出了研究范围，并作为未来的问题。

在受影响较大、受影响较小的手部的手-对象交互结果和综合结果中，手部对象检测器的宏观平均MCC和F1得分显著高于SlowFast网络，这可能是由训练实例总数的差异引起的。手部物体检测器在帧级别运行，而 SlowFast 需要序列作为输入，从而导致训练实例数量减少。手部物体检测器在超过100,000帧上进行了训练，其中包含来自健康个体的手部接触，这比我们的数据集更大，并且还表明使用来自健康个体的数据集有助于检测看不见的中风幸存者的手与物体相互作用。尽管如此，手部物体检测器可以更好地预测受影响较小的手的相互作用，这些手具有更高的手部功能，更接近未受伤的个体。在未来，数据增强可以应用于更好地识别受影响更大的手的相互作用。本分析的一个局限性是，由于所需注释的差异，无法重新训练手部对象检测器在我们的数据集上进行交互检测。在这项研究中，可能导致分类器之间结果不同的因素包括使用深度学习与手动选择的特征，一些模型使用迁移学习而其他模型从头开始训练的事实，以及三种模型利用的不同类型的信息。手部物体检测器使用手部附近物体的信息来检测手部接触，并在研究中表现最佳。SlowFast 网络是从活动识别模型重新训练的，但是，它的性能比从头开始训练的随机森林分类器差。对这一发现的一个可能的解释是，与SlowFast相比，随机森林分类器中的所选特征包括其他信息，例如区分手部和非手部区域以及使用背景运动。这项研究的一个贡献是深入了解有利于检测中风幸存者手与物体相互作用的因素。

大多数使用手部物体检测器的错误交互检测是由于对手侧或手部位置的错误检测或手靠近物体时发生的（图6）。[57]中也报告了这两种类型的故障。在ADL期间大部分时间保持手指弯曲成闭合手形的参与者在检测手与物体相互作用时具有更高的假阳性率，这意味着即使没有与物体接触，闭合的手形也大多被预测为相互作用（图6C）。除了这些因素之外，手部物体检测器无法区分相机用户的手和其他人的手，这也导致了一些错误的预测。手部物体检测器经过训练，可以检测接触，而不是交互。尽管由于手部接触涵盖了手与物体交互的大多数情况，因此它的性能优于其他两个模型，但发现了一些例外。例如，放在桌子上的手不是本研究中定义的相互作用，但是，有一只手与桌子接触的情况被预测为相互作用（图6A）。

thumbnail 下载：

.PPT幻灯片

.PNG大图

.TIFF原始图像

图6. 使用手部物体检测器检测错误的手部物体的示例。

（一）右手脚的错误预测。（二）左手靠近物体但不接触的。（三）右手呈闭合手形，但不接触任何物体。

https://doi.org/10.1371/journal.pdig.0000361.g006

在手牌角色分类中，随机森林分类器的宏观和微观平均MCC和F1得分最高。一种可能的解释是，所选特征比较了手部和非手部区域之间的差异，并包括十帧以上的手部尺寸变化，与其他两种型号相比，这可能会更好地捕捉手指运动。稳定器可能在其他两个模型中捕获了不是由手指运动引起的运动。例如，在手（稳定器）将海绵固定到位以清洁水槽的情况下，清洁的大动作是由手臂而不是手或手指引起的。需要确定检测到的动作是否属于手指运动，这使得手部角色分类变得困难。应用姿势估计（捕获手指位置）可能是未来手部角色分类的关键步骤。

本研究结果提供了从以自我为中心的视频中检测手部使用和手部作用的技术可行性信息。基于这些发现，需要对所得信息进行临床验证。最近使用此处描述的技术对基于自我的视频指标与临床评估进行了比较，并在[63]中报道。

结论

使用以自我为中心的视频的自动分析来检测家中中风幸存者的手与物体的相互作用是可行的。因此，这项研究提供了一种评估中风后在家中独立使用手部的新工具。分类器的性能将来可以通过进行更多针对受损手部姿势的训练来进一步提高，例如与中风后痉挛相关的闭合手形。自动识别受影响较大的手在双手互动中的作用被发现是一项更具挑战性的任务。我们在这里的结果为这个新问题提供了一个基线。改进这些结果的可能途径将包括更加关注识别手指运动，例如通过使用姿势估计方法。

支持信息

在家庭模拟实验室中执行的日常任务列表。

跳到无花果共享导航

1S1附录.在家中执行的日常任务清单模拟实验室.餐厅1.拿起一个液体重量为350的杯子-400克。2.从圆桌上拿起一张标准纸。3.从圆桌上拿起一支铅笔。4.用铅笔在纸上写一个单词。5.拿起桌上的一本书，翻几页，合上。6.拿起信用卡。7.在模拟机器上交换信用卡。8.拿起手机。9.在手机上拨打“123”。10.使用钥匙打开锁。11.图片从桌子上掏出一枚硬币，放进存钱罐。12.捡起骰子掷骰子。13.从桌子上拿起一个螺母并将其拧入匹配的螺钉中。14.打开和关闭圆桌上装满 5 个高尔夫球的 Ziploc 袋。15.在平板电脑上打开网络浏览器，然后键入“google.ca”。16.在圆桌上打开并拿起一个完整的汽水罐（355 毫升）。17.将瓶子中的0.5升水倒入咖啡杯中。18.假装喝酒从咖啡杯。19.从容器中拿起并吃薯片。

220.切开香蕉，用叉子吃（香蕉已经去皮了）。11米用纸巾清洁双手。12米把手放在桌子上，环顾四周20秒。23.将手放在一边，环顾四周 20 秒s.24.右手在餐厅快速挥舞20秒。25.左手在餐厅快速挥舞20秒。厨房26.打开一次性水瓶，将一些水倒入一次性杯中。27.拿一根吸管放在杯子里，然后喝杯子。18米拧开厨房柜台上的罐子盖。29.在水槽处拿起海绵。30.打开和关闭容器。31.打开冰箱。32.将手放在水槽旁，环顾四周 20 秒。33.将手放在侧面，站在水槽区域，环顾四周20秒。34.将手放在柜台区域，环顾四周 20 秒。35.将手放在一边，站在柜台旁，环顾四周20秒。36.右手在厨房里快速挥舞20秒。37.左手在厨房快速挥手20秒.盥洗室38.在洗手间用洗手液洗手。39.拿起牙刷，假装在洗手间里洗牙。

下载

无花果分享

S1 附录。 在家庭模拟实验室中执行的日常任务列表。

https://doi.org/10.1371/journal.pdig.0000361.s001

（英文）

引用

1.Nichols-Larsen DS， Clark P， Zeringue A， Greenspan A， Blanton S. 影响中风幸存者亚急性恢复期间生活质量的因素。中风。2005;36(7):1480–4.密码：15947263

查看文章PubMed/NCBI谷歌学术搜索

2.夸克尔 G， 科伦 BJ， 范德格隆德 J， 普雷沃 AJ.松弛性上肢恢复灵巧性的可能性：麻痹严重程度和急性卒中发作时间的影响。中风。2003;34(9):2181–6.密码：12907818

查看文章PubMed/NCBI谷歌学术搜索

3.多布金·中风后的康复。新英格兰医学杂志。2005;352(16):1677–84.

查看文章谷歌学术搜索

4.亚急性卒中康复期间功能恢复与上肢和下肢日常使用之间的差异。神经康复和神经修复。2012;26(1):76–84.密码：21693771

查看文章PubMed/NCBI谷歌学术搜索

5.安德鲁斯K，斯图尔特J.斯罗克恢复：他可以，但他可以吗？风湿病学。1979;18(1):43–8.

查看文章谷歌学术搜索

6.德尼特M，布斯曼JB，里伯斯总经理，斯塔姆HJ。中风上肢活动监测仪：在日常生活中测量偏瘫上肢活动的灵敏度。物理医学康复档案。2007;88(9):1121–6.密码：17826456

查看文章PubMed/NCBI谷歌学术搜索

7.海沃德 KS， 英 JJ， 博伊德 LA， 拉卡尼 B， 伯恩哈特 J， 朗 CE.探索加速度计在测量中风后真实世界上肢使用中的作用。脑损伤。2016;17(1):16–33.

查看文章谷歌学术搜索

8.Waddell KJ， Strube MJ， Bailey RR， Klaesner JW， Birkenmeier RL， Dromerick AW， et al.特定任务训练是否能改善中风后日常生活中的上肢表现？神经康复和神经修复。2017;31(3):290–300.密码：27909071

查看文章PubMed/NCBI谷歌学术搜索

9.大卫 A， 苏巴什 T， 瓦拉丹 S， 梅伦德斯-卡尔德隆 A， 巴拉苏布拉马尼安 S.基于传感器评估轻偏瘫上肢功能的框架。人类神经科学前沿。2021：354. pmid：34366809

查看文章PubMed/NCBI谷歌学术搜索

10.迈向功能、残疾和健康的通用语言：ICF。世界卫生组织，2002年。

11.莱尔·用于评估假肢康复治疗和研究中上肢功能的性能测试。国际康复研究杂志。1981;4(4):483–92.pmid：7333761

查看文章PubMed/NCBI谷歌学术搜索

12.格莱斯顿DJ，丹内尔斯CJ，布莱克SE。中风后运动恢复的Fugl-Meyer评估：对其测量特性的批判性审查。神经康复和神经修复。2002;16(3):232–40.密码：12234086

查看文章PubMed/NCBI谷歌学术搜索

13.巴雷卡 S， 高兰 C， 斯特拉特福 P， 惠伊布雷茨 M， 格里菲斯 J， 托雷辛 W， 等.开发切多克手臂和手部活动清单：理论结构、项目生成和选择。中风康复主题。2004;11(4):31–42.密码：15592988

查看文章PubMed/NCBI谷歌学术搜索

14.Cai M， Kitani KM， Sato Y. 了解具有抓取类型和对象属性的手对象操作。机器人：科学与系统。2016;3.

查看文章谷歌学术搜索

15.Hamer H， Schindler K， Koller-Meier E， Van Gool L. 跟踪一只手操纵一个物体。2009 IEEE 第 12 届计算机视觉国际会议.2009:1475–82.

查看文章谷歌学术搜索

16.王毅， 敏军， 张军， 刘彦， 徐芳， 戴琪， 等.通过复合运动控制进行基于视频的手部操作捕获。ACM 图形交易 （TOG） 2013;32(4):1–14.

查看文章谷歌学术搜索

17.Tang L， Halloran S， Shi JQ， Guan Y， Cao C， Eyre J. 使用自由生活的加速度计数据评估中风后的上肢功能。医学研究中的统计方法。2020;29(11):3249–64.pmid：32441206

查看文章PubMed/NCBI谷歌学术搜索

18.李思， 刘旭， 拉詹 S， 拉马萨玛 N， 崔 EK， 博纳托 P.一种新颖的上肢功能测量，源自在自由生活环境中收集的手指佩戴传感器数据。普洛斯一。2019;14(3).

查看文章谷歌学术搜索

19.贝利 RR， 伯肯迈尔 RL， 朗 CE.现实世界中慢性中风中受影响的上肢活动：潜在修饰因素的检查。中风康复主题。2015;22(1):26–33.密码：25776118

查看文章PubMed/NCBI谷歌学术搜索

20.Uswatte G， Giuliani C， Winstein C， Zeringue A， Hobbs L， Wolf SL. 加速度计监测亚急性卒中患者真实世界手臂活动的有效性：来自肢体约束诱导治疗评估试验的证据。物理医学和康复档案。2006;87(10):1340–5.密码：17023243

查看文章PubMed/NCBI谷歌学术搜索

11米范德帕斯SC，韦尔邦特JA，布鲁凯拉尔德，范沃尔登R，西伦哈。使用三轴加速度法评估卒中患者的手臂活动。物理医学和康复档案。2011;92(9):1437–42.密码：21878214

查看文章PubMed/NCBI谷歌学术搜索

12米Schwerz de Lucena D， Rowe J， Chan V， Reinkensmeyer D. 磁计数手部运动：无校准算法的验证和中风后真实世界手部使用的阈值假设的测试应用。传感器。2021;21(4):1502.pmid：33671505

查看文章PubMed/NCBI谷歌学术搜索

23.Rowe JB， Friedman N， Chan V， Cramer SC， Bachman M， Reinkensmeyer DJ.手臂和手部使用之间的可变关系：在测量上肢的日常使用时，使用手指磁力计来补充腕部加速度的基本原理。2014年第36届IEEE医学和生物学工程学会国际会议。2014:4087–90.pmid：25570890

查看文章PubMed/NCBI谷歌学术搜索

24.Simpson LA， Mow A， Menon C， Eng JJ. 初步检查新型可穿戴设备捕获中风后功能性手部活动的能力。中风。2019;50(12):3643–6.密码：31662119

查看文章PubMed/NCBI谷歌学术搜索

25.Tsai M-F， Wang RH， Zariffa J. 使用以自我为中心的视频识别中风后的手部使用和手部角色。IEEE Journal of Translational Engineering in Health and Medicine.2021;9:1–10.

查看文章谷歌学术搜索

26.Likitlersuang J，Visée RJ，Kalsi-Ryan S，Zariffa J.使用以自我为中心的视频在家中捕获脊髓损伤患者的手部使用：可行性研究。脊髓系列病例。2021;7(1):1–9.

查看文章谷歌学术搜索

27.朗CE，Waddell KJ，Klaesner JW，Bland MD。一种使用加速度计量化日常生活中上肢表现的方法。JoVE（可视化实验杂志）。2017;（122）：e55673。密码：28518079

查看文章PubMed/NCBI谷歌学术搜索

18米Michielsen ME， Selles RW， Stam HJ， Ribbers GM， Bussmann JB.量化慢性卒中患者的不使用：一项关于日常生活中使用帕雷蒂克、非帕拉特和双手上肢的研究。物理医学和康复档案。2012;93(11):1975–81.Epub 2012/04/03.pmid：22465403。

查看文章PubMed/NCBI谷歌学术搜索

29.Yang C-L， Liu J， Simpson LA， Menon C， Eng JJ. 使用新型可穿戴手腕传感器对中风和健康对照个体的真实世界功能性抓取活动。神经康复和神经修复。2021;35(10):929–37.密码：34510935

查看文章PubMed/NCBI谷歌学术搜索

30.刘 X， 拉詹 S， 拉马萨马 N， 博纳托 P， 李 思.使用手指佩戴加速度计监测门诊环境中的手部使用情况。IEEE生物医学与健康信息学杂志。2018;23(2):599–606.密码：29994103

查看文章PubMed/NCBI谷歌学术搜索

31.金 Y， 郑海棠， 朴 J， 金 Y， 拉马萨马 N， 博纳托 P， 等.设计基于环形传感器的移动医疗系统，以实现中风幸存者的最佳运动功能。ACM 关于交互式、移动、可穿戴无处不在技术的论文集。2019;3(4):1–26.

查看文章谷歌学术搜索

32.Rowe JB， Friedman N， Bachman M， Reinkensmeyer DJ.The Manumeter：一种非侵入性的可穿戴设备，用于监测手腕和手指的自发使用。2013 IEEE 第13届康复机器人国际会议（ICORR）;2013年：IEEE。密码：24187216

查看文章PubMed/NCBI谷歌学术搜索

33.弗里德曼 N， 罗 JB， 莱肯斯迈耶 DJ， 巴赫曼 M.手工艺表：一种用于监测手腕和手指日常使用的可穿戴设备。IEEE生物医学健康信息学杂志。2014;18(6):1804–12.密码：25014974

查看文章PubMed/NCBI谷歌学术搜索

34.Tsai M-F， Bandini A， Wang RH， Zariffa J. 在上肢障碍个体中使用以自我为中心的视频在家中捕捉代表性的手部使用。可视化实验杂志：乔夫。2020;（166）：e61898。密码：33427235

查看文章PubMed/NCBI谷歌学术搜索

35.努涅斯-马科斯 A、阿兹库内 G、阿甘达-卡雷拉斯 I. 基于自我为中心的视觉行动识别：一项调查。神经计算。2022;472:175–97.

查看文章谷歌学术搜索

36.Lu M， Li Z-N， Wang Y， Pan G. 用于以自我为中心的行动识别的深度注意力网络.IEEE Transactions on Image Processing.2019;28(8):3703–13.密码：30835222

查看文章PubMed/NCBI谷歌学术搜索

37.Duarte NF， Rakovic M， Marques JS， Santos-Victor J， Leal-Taixe L， Roth S. 人与人与人和人-机交互中凝视线索的动作对齐。ECCV研讨会（3）;2018.

查看文章谷歌学术搜索

38.基于深度学习的空间人机交互鲁棒实时手部检测与定位.神经计算。2020;390:198–206.

查看文章谷歌学术搜索

39.蒋华， 伊萨普·来自人类视觉跨度的以自我为中心的姿势估计。 arXiv预印本arXiv：210405167。2021.

查看文章谷歌学术搜索

70米Seo K， Cho H， Choi D， Heo T. 基于注意力和几何形状的立体特征学习，用于以自我为中心的立体视图中的绝对手部姿势估计。IEEE Access.2021;9:116083–93.

查看文章谷歌学术搜索

71米Tome D， Alldieck T， Peluse P， Pons-Moll G， Agapito L， Badino H， et al.自姿势：来自头戴式设备摄像头的 3D 以自我为中心的姿势估计。arXiv预印本arXiv：01519。2020.

查看文章谷歌学术搜索

42.班巴赫·关于以自我为中心的视频的计算机视觉算法最新进展的调查。arXiv预印本arXiv。2015.

查看文章谷歌学术搜索

73米Bandini A，Zariffa J.以自我为中心的视觉中的手分析：一项调查。IEEE Transactions on Pattern Analysis and Machine Intelligence.2020.

查看文章谷歌学术搜索

44.马杰， 达门 D. 手-物体交互推理.arXiv预印本arXiv：04906。2022.

查看文章谷歌学术搜索

75米Fan H， Zhuo T， Yu X， Yang Y， Kankanhalli M. 理解原子手-物体与人类意图的相互作用。IEEE Transactions on Circuit Systems for Video Technology.2021.

查看文章谷歌学术搜索

46.拉古萨 F， 弗纳里 A， 利瓦蒂诺 S， 法里内拉 GM.麦卡诺数据集：从类似工业领域的以自我为中心的视频中理解人与物体的交互。IEEE/CVF计算机视觉应用冬季会议论文集;2021.

查看文章谷歌学术搜索

47.Urabe S，Inoue K，Yoshioka M.使用结合2DCNN和3DCNN在以自我为中心的视频中识别烹饪活动。多媒体烹饪和饮食活动以及多媒体辅助饮食管理联合讲习班会议记录;2018.

查看文章谷歌学术搜索

78米Yagi T，Hasan MT，Sato Y.通过基于运动的伪标签和引导渐进标签校正进行手-物体接触预测。arXiv预印本arXiv：211010174 2021。

查看文章谷歌学术搜索

49.纳拉辛哈斯瓦米 S， 阮 T， 阮 MH.在野外检测手并识别身体接触。神经信息处理系统的进展。2020;33:7841–51.

查看文章谷歌学术搜索

50.胡恩霍斯特 MH， 奈兰德 RH， 范登伯格 JS， 埃默洛特 CH， 科伦 BJ， 夸克尔 G.根据中风后 6 个月的动作研究手臂测试，Fugl-Meyer 手臂运动评分与灵活性有何关系？物理医学和康复档案。2015;96(10):1845–9.密码：26143054

查看文章PubMed/NCBI谷歌学术搜索

51.博兰德 E， 纳加 K， 尼尔森 PM， 明顿 L， 尼尔森 ED， 帕尔姆奎斯特 S.蒙特利尔认知评估：来自瑞典大型人口队列的规范数据。阿尔茨海默病杂志。2017;59(3):893–901.密码：28697562

查看文章PubMed/NCBI谷歌学术搜索

62米坎宁安·不仅仅是 kappa 系数：一个完全表征两个评分者之间评分者间可靠性的程序。SAS 全球论坛。2009;2009:242.

查看文章谷歌学术搜索

63米小兰迪斯，科赫·分类数据的观察者一致性的度量。生物测定学。1977:159–74.pmid：843571

查看文章PubMed/NCBI谷歌学术搜索

64米Gholamiangonabadi D，Kiselov N，Grolinger K.使用可穿戴传感器进行人类活动识别的深度神经网络：模型选择的留一主题交叉验证。IEEE Access.2020;8:133982–94.

查看文章谷歌学术搜索

65米Gowda T， You W， Lignos C， May J. 宏观平均：稀有类型也很重要。arXiv预印本arXiv：05700。2021.

查看文章谷歌学术搜索

56.Feichtenhofer C， Fan H， Malik J， He K. 用于视频识别的慢速网络.IEEE/CVF计算机视觉国际会议论文集;2019.

查看文章谷歌学术搜索

67米单丹， 耿杰， 舒敏， 福黑 DF.了解互联网规模上接触的人手。IEEE/CVF计算机视觉和模式识别会议论文集;2020.

查看文章谷歌学术搜索

58.Ronneberger O，Fischer P，Brox T. U-net：用于生物医学图像分割的卷积网络。医学图像计算与计算机辅助干预国际会议;2015年：施普林格。

59.Luft AR， McCombe-Waller S， Whitall J， Forrester LW， Macko R， Sorkin JD， et al.慢性中风的重复双侧手臂训练和运动皮层激活：一项随机对照试验。贾马。2004;292(15):1853–61.密码：15494583

查看文章PubMed/NCBI谷歌学术搜索

50米Simon T，Joo H，Matthews I，Sheikh Y，编辑。使用多视图引导在单个图像中进行手关键点检测。IEEE计算机视觉和模式识别会议论文集;2017.

查看文章谷歌学术搜索

61.赫尔斯滕 T， 卡尔森 J， 沙姆苏扎曼 M， 普尔基斯 G.基于计算机视觉的无标记人体运动分析在康复方面的潜力。康复过程结果。2021;10:11795727211022330.密码：34987303

查看文章PubMed/NCBI谷歌学术搜索

52米科莱尔SL，埃文斯M，科斯克DP，萨洛AI。回顾基于视觉的运动分析的演变以及先进计算机视觉方法的集成，以开发无标记系统。运动医学开放。2018;4(1):1–15.

查看文章谷歌学术搜索

53米Tsai M-F， Wang RH， Zariffa J. 使用以自我为中心的视频对中风后手功能表现的新结局测量的有效性。神经康复和神经修复。37.2–3 (2023): 142–150.密码：36912468

查看文章PubMed/NCBI谷歌学术搜索