美国基于人工智能/机器学习的计算机辅助检测/诊断/分类上市后改进的性能评估方法
汤场光，岩崎清隆
发布时间：8 年 2023 月
抽象
结合人工智能 （AI） 和机器学习 （ML） 的计算机辅助检测 （CADe）、计算机辅助诊断 （CADx） 和计算机辅助简单分类 （CAST） 正在不断进行上市后改进。因此，了解改进产品的评估和批准过程非常重要。本研究旨在对美国食品和药物管理局（FDA）批准的基于AI / ML的CAD产品进行全面调查，这些产品在上市后进行了改进，以深入了解市场批准所需的功效和安全性。FDA公布的产品代码数据库调查确定了八种产品在上市后得到改进。分析了用于评估改进绩效的方法，并通过回顾性数据批准了上市后改进。读者研究测试（RT）或软件独立测试（SA）程序是回顾性的。由于对预期用途的修改，进行了六次RT程序。平均有17.3名读者（最少14名，最多24名）参与，曲线下面积（AUC）被认为是主要终点。SA评估了不改变预期用途的研究学习数据的添加和分析算法的变化。平均敏感性、特异性和AUC分别为93%（最小91.1，最大97）、89.6%（最小85.9，最大96）和0.96（最小0.96，最大0.97）。申请之间的平均间隔为 348 天（最短 -18 天，最长 975 天），这表明改进在大约一年内实施。这是对基于AI/ML的CAD产品的首次全面研究，这些产品在上市后进行了改进，以阐明上市后改进的评估点。这些发现将为业界和学术界开发和改进基于AI / ML的CAD提供信息。
作者摘要
利用人工智能 （AI） 和机器学习 （ML） 的计算机辅助检测 （CADe）、计算机辅助诊断 （CADx） 和计算机辅助简单分类 （CAST） 正在世界各地开发。基于 AI/ML 的 CAD 使用从临床站点收集的真实世界数据不断进行上市后改进。因此，日本的美国食品药品监督管理局（FDA）、厚生劳动省（MHLW）和药品和医疗器械局（PMDA）以及欧洲的欧洲药品管理局（EMA）等监管机构正在研究人工智能功能的适当监管体系。在这里，我们调查了基于 AI/ML 的 CAD 产品，这些产品通过调查 FDA 发布的产品代码数据库在上市后得到了改进。确定了上市后经过修改的8种产品。我们发现，没有改变预期用途的上市后改进是在通过独立软件测试评估后批准的。这些发现将为业界和学术界开发和改进基于AI / ML的CAD提供信息。
数字
Table 2Fig 3图1图2表1Table 2Fig 3图1图2表1
引文： Yuba M，Iwasaki K （2023） 美国基于人工智能/机器学习的计算机辅助检测/诊断/分类上市后改进的性能评估方法。公共科学图书馆数字健康 2（3）： e0000209. https://doi.org/10.1371/journal.pdig.0000209
编辑 器： 达尼洛·帕尼，卡利亚里大学：意大利卡利亚里大学
收到： 23月 2022， 7;接受： 2023月 8， 2023;发表： <>月 <>， <>
版权： ? 2023 岩崎市汤波。这是一篇根据知识共享署名许可条款分发的开放获取文章，该许可允许在任何媒体上不受限制地使用、分发和复制，前提是注明原作者和来源。
数据可用性： 作者声明，本研究中包含的所有数据都可以在论文中找到。
资金： 作者没有为这项工作获得具体资金。
竞争利益： 提交人声明不存在相互竞争的利益。
介绍
结合AI和机器学习（ML）的计算机辅助检测（CADe）、计算机辅助诊断（CADx）和计算机辅助简单分类（CAST）在提高诊断准确性和高效临床实践方面引起了广泛关注[1，2]。但是，由于基于 AI/ML 的 CAD 是一种新型医疗技术，因此美国食品和药物管理局 （FDA）、厚生劳动省、日本药品和医疗器械局 （PMDA） 以及欧洲药品管理局 （EMA） 等监管机构正在研究针对 AI 功能的适当监管系统。
制定基于AI/ML的CAD法规的挑战是（1）确定医疗器械适用性的复杂性，以及（2）对频繁上市后改进的适当监管框架的共识不足。为了应对这些挑战，FDA一直在制定软件即医疗设备（SaMD）的监管政策，包括基于AI / ML的CAD，自21圣世纪治愈法案于2016年3月通过[4，5]。此外，FDA宣布了其“数字创新行动计划[21]”，以继续进行<>圣2017年的世纪治愈法案。该法案包括（1）制定SaMD法规指南，（2）试行预认证计划[6]，以及（3）加强设备和放射健康中心的数字健康部门[7]。已经执行了若干行动计划。FDA在1年发布了六项关于（8）一般健康产品[2]，（9）医疗设备数据系统[3]，（10）现成软件[4]，（11）临床决策支持软件[5]，（12）移动医疗应用程序[6]和（13）医疗设备配件[2019]的适用性的六项指南。
尽管FDA是基于AI/ML的CAD的主要监管机构，但在上市后改进的评估方法方面仍然存在相当大的不确定性。基于AI/ML的CAD设备的评估方法可分为独立软件测试和读者研究测试。独立软件测试 （SA） 定义为使用回顾性收集的测试数据对仅 AI 进行性能测试。读者研究测试 （RT） 被定义为评估 AI 与医生在诊断或检测准确性方面的互动的性能测试。与RT相比，SA的优势在于节省成本和时间，因为无需招募读者进行绩效评估。但是，它不能用于评估临床实践中的表现、可用性和 AI 辅助的影响力。RT不仅可以前瞻性地进行，还可以使用先前收集的图像进行回顾性地进行。
最近一项关于系统分析的研究表明，基于AI/ML的CAD在上市前的测试设计表明，CAST是基于SA批准的，而CADe和CADx在美国是基于RT批准的[14]然而，没有进行任何研究来确定如何评估上市后的改进。因此，对于是否应该使用SA或RT评估上市后改进缺乏可预测性，这是初创企业和其他公司开发基于AI技术的医疗设备的障碍。
本研究旨在（1）调查美国CAD绩效评估指南，从而澄清监管体系，以及（2）澄清是否可以使用SA或RT评估上市后改进，以提高要求的透明度。
方法
业绩评价准则
FDA发布的“数字健康”指南可从FDA网站获得（20年2022月23日访问）。总共确定了自2005年以来发布的4份指导文件[8，13-15，30-<>]，包括草案版本。
基于 AI/ML 的医疗设备的数据源
基于AI/ML的CAD数据是从FDA产品代码数据库中获得的（图1）。截至 1 年 2022 月 6749 日（选择设备的日期），已列出 19 个产品代码。使用搜索关键字（如 AI、ML 和深度学习）确定了 19 个产品代码（69 个用于 AI，65 个用于 ML，510 个用于深度学习）。在 1 个产品代码中，删除了 510 个重复项，筛选后排除了另外 1 个（不包括与分类、通知、检测或诊断不对应的代码）。最后七个产品代码总共包含2个设备。其中，3项获得De Novo许可，4项获得5（k）许可（无上市前批准）。最后，包括八种具有相同产品名称但经过上市后改进重新提交的产品。筛选和选择过程的详细信息如图6所示。收集了有关从头分类请求、决策摘要以及美国批准的基于 AI/ML 的 CAD 的 7（k） 摘要的信息。检索到的信息包括：（8）设备名称，（9）预期用途，（<>）变更描述，（<>）申请类别，（<>）提交日期，（<>）批准日期，（<>）研究设计，（<>）测试用例和（<>）性能（敏感性，特异性和曲线下面积（AUC））。对于每种产品，我们还通过PubMed和谷歌学术搜索了有关如何评估有效性和安全性的其他研究。
缩略图 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图1. 提取基于 AI/ML 的 CAD 设备的流程图，以及美国上市后改进。
https://doi.org/10.1371/journal.pdig.0000209.g001
统计学
从 510（k） 摘要和 De Novo 分类请求和决策摘要中提取的测试用例性能（灵敏度、特异性和 AUC）的平均值使用 Excel（Microsoft 公司）计算为平均值（最小-最大值）。提交间隔计算为从批准日期到重新申请日期的天数，即提交日期-批准日期。
结果
绩效评估政策
FDA于510年发布了“临床性能评估：在上市前通知18（k）提交中应用于放射学图像和放射学设备数据的计算机辅助检测设备的注意事项[2012]”。该指南指出，用作第二阅读器的CAD产品可以使用顺序设计（图2）进行评估，其中医生首先在没有CAD帮助的情况下阅读所有测试图像。然后引用 CAD 分析结果。CAD产品用作并发阅读器，据此，从一开始，医生就参考CAD分析结果进行阅读，推荐交叉设计。在交叉设计中，测试数据集被随机分为两组，一组在没有CAD的情况下读取，另一组首次在CAD辅助下读取。为了评估CAD援助的有效性，在为期四周的洗脱期后，分配到没有CAD组的参与者在第一次阅读时阅读CAD，分配到CAD组的参与者在第一次阅读时阅读没有CAD。
缩略图 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图2.
顺序设计（左）和交叉设计（右）概述。
https://doi.org/10.1371/journal.pdig.0000209.g002
此外，FDA推荐多读员多病例（MRMC）协议，其中从多个患者获得的数据由多个读者读取。然而，尽管在MRMC协议下进行研究在统计上是可信的，但FDA并不认为在单个患者的数据难以有多个读者的情况下是这种情况;例如，在进行前瞻性研究时。
同年，FDA发布了“应用于放射学图像和放射学设备数据的计算机辅助检测设备-上市前通知510（k）提交[19]”，其中详细说明了评估软件的指南。本指南建议，对现有CAD产品的更改或修改应独立评估，以证明更改实质上是等效的。此外，在软件独立评估中，如果制造通用产品，则应使用相同的数据集将其与谓词设备进行比较。在进行读者研究测试（RT）时，应解释数据集的详细信息（设施数量，放射学检查条件和使用的方式）及其组成（病例数和病理状况）。这是唯一提及计算机辅助简单分类 （CAST） 定义的指南。
FDA于2019年31月提出了良好机器学习实践（GMLP）框架[1]。根据GMLP，SaMD更新可分为三类：（2）性能，（3）使用的数据和（<>）预期用途。为了适应如此频繁的更新，FDA定义了SaMD预规范（SPS）和算法更改协议（ACP）。SPS 表示 AI/ML 医疗设备的可能更改范围，而 ACP 表示机器学习模型、数据收集和管理方法。如果是上市后更新，FDA通过审查其对SPS和ACP的影响来确定应用类别。
批准或批准的基于 AI/ML 的 CAD 在上市后得到改进
在美国销售的基于AI/ML的CAD产品取自FDA公布的产品代码，并提交了八种上市后修改的产品的重新申请（表1）。评估方法详见表2。
缩略图 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
表 1. 这8款设备在美国上市后的特性有所改善。
RT，读者研究测试;SA，软件独立测试;深度学习，深度学习。※提交间隔=提交日期-批准日期。
https://doi.org/10.1371/journal.pdig.0000209.t001
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
表 2. 8款设备在美国上市后改进的评估方法。MRMC，多阅读器多案例;MQSA，乳腺X线摄影质量标准法。
https://doi.org/10.1371/journal.pdig.0000209.t002
Transpara V1.3（ScreenPoint Medical B.V.）的初始批准于2018年32月进行了审查[2019]，并于33年34月提交了第二份申请，将富士胶片的数字乳房X光检查（DM）添加为支持的设备[2020]。此外，同年35月，提交了第三份提交，将数字乳房断层合成（DBT）作为支持设备[510]。随后，通过RT评估其性能。1年6月，提交了第四份申请，以添加富士胶片制造的DBT [1]。所有申请均在获得5（k）后一年内提交。特别是，Transpara V33.34的第三次申请是在V1.1审查过程中提交的，该申请增加了DBT作为可共用成像设备[3，36]。这一结果表明，即使在审查过程中也可以引入改进（表1）。RT是在Transpara V6.37 [240]和Transpara V14.18申请[<>]时进行的，用于评估的图像数量标准化为<>张。参与研究的读者人数分别为<>人和<>人，在确认CAD有助于AUC的改进后，这两项申请均获得批准。
在1（k）摘要中没有披露有关在软件独立测试（SA）期间评估的Transpara V5.1和V7.510测试方法的信息（表2）。然而，V1.7在SA中进行了评估，结果于2022年发布[38]。评估了 15000 DM 或 DBT 的性能，DM 图像的 AUC 为 0.93，DBT 图像的 AUC 为 0.94。此外，还发现了几项使用V1.4的研究，但尚未将其作为产品提交[39-41]。一项比较V1.4与101名放射科医生诊断性能的研究发现，V1.4的AUC为0.84，而放射科医生的AUC为0.814，表明V1.4的效果更好[39]。
在用于检测/诊断乳腺癌的产品中，ProFound AI软件V2.0（iCAD Inc.）最初于2018年42月获得批准[2019]，然后在2年0月再次提交（V2.1至V43.2020），以添加西门子的DBT作为可重用设备[2]。此外，1年3月提交了提高特异性的申请（V0.1至V44.24）（表260）[42]。仅通过RT评估初始应用的性能，有45名读者参与，使用了510张图像[3，0]。ProFound V44.<>的<>（k）摘要没有提供有关测试方法的任何详细信息，只是指出它提高了特异性[<>]。
用于检测乳腺癌的MammoScreen（Therapixel）最初于2020年46月获得批准[2021]，随后于47年510月重新提交，将DBT添加为支持的设备[1]。在初始批准后，进行了RT，并获得了2（k）（表0）。MammoScreen 240.14有两个RT（DM评估和DBT评估），每个RT有20张图像，分别有2名和<>名读者参与（表<>）。
用于检测颅内出血的Accipiolx（MaxQ AI有限公司）已于2018年获得初步批准[48]。该申请于2020年再次提交[49]，因为随后从基于ML的算法更改为基于卷积神经网络的算法（表1）。这一变化将Accipiolx的敏感性从92%提高到97%，其特异性从86%提高到93%。使用了30个案例来评估其性能。收集图像的临床站点数量从17个减少到360个，而用于评估性能的图像数量保持不变，为2个（表<>）。
Viz ICH（Viz ai Inc.）是为对颅内出血进行分类而开发的，于510年2020月收到50（k）[2021]，并于51年1月提交了将GE医疗的CT添加为支持设备的申请[261]（表387）。用于评估的图像数量从93增加到95，灵敏度从90%增加到96%，特异性从0%增加到96%，AUC从0.97增加到2.<>（表<>）。
用于对大血管闭塞进行分类开发的HALO（NICO-Lab B.V.）于510年2020月收到52（k）[2021]，并于1年53月提交了增加飞利浦CT血管造影的申请（表364）[427]。用于评估的图像数量从2张增加到<>张，灵敏度、特异性和AUC与谓词设备相当（表<>）。
用于检测结肠粘膜病变的GI Genius（Cosmo AI）在De Novo申请中获得了批准[54]，102天后，申请将富士胶片的内窥镜作为可能的伴随设备[55]。与最初的应用不同，GI Genius的性能由SA评估（表1）。对最初的申请进行了一项前瞻性随机对照试验，涉及三个中心的六名经验丰富的内窥镜医生（每个中心两名，>2000次结肠镜筛查）。主要终点是腺瘤检出率（ADR），定义为至少一种组织学证实的腺瘤或癌症的患者百分比。结果显示，在没有CAD协助的情况下，ADR为40.4%，而有CAD辅助的ADR提高到54.8%，申请获得批准。在改进时，通过对40个视频的每帧评估进行了比较，灵敏度从82%提高到86.5%，AUC从0.723提高到0.796（表2）。
识别糖尿病视网膜病变的IDx-DR（数字诊断公司）在从头申请获批975天后发生了微小的变化，包括增加了训练模式[56，57]。重新提交时进行的评估是SA（表1）。在最初提交时，IDx-DR分析了10个初级保健站点的非专业人员拍摄的图像，并通过将其与专家诊断结果进行比较来评估结果。在重新提交时，评估仅确认训练模式正常工作，并且没有进行任何测试来评估性能（表2）。
经过上市后改进的八种产品在批准后和重新申请之间的平均间隔为348天（最短-18天，最长975天）。包括初次申请在内，共进行了六次回顾性放疗（MammoScreen 2.0的2D和3D研究各算作一项试验），参与读者的平均人数为17.3人（最少14人，最多24人）。用于评估的平均图像数量为243（最小240，最大260），平均AUC为0.83（最小0.79，最大0.88）。
有六个SA提供了详细信息。用于评估的平均图像数量为359.8（最小261，最大427）。敏感性和特异性的平均值分别为93%（最小91.1，最大97）和89.6%（最小85.9，最大96），在四项研究中评估AUC，平均值为0.96（最小0.96，最大0.97）。
讨论
这项研究阐明了（1）上市后改进是通过回顾性数据批准的，（2）通过SA评估批准不会改变预期用途的上市后改进，以及（3）正在开发用于分类的产品。
上市后改进评估
使用AI的医疗设备的上市后改进按风险顺序进行了定义：（1）性能：临床和分析性能，（2）输入数据：算法使用它们及其与SaMD输出的临床关联，以及（3）预期用途：SaMD的预期用途以及SaMD提供的有关医疗保健状况或状况状态的信息的重要性[31].考虑到本研究基于此分类获得的变化案例，从Transpara V1.5更改为V1.6，增加了DBT和乳房X光检查单元作为可以分析的支持设备，而对MammoScreen 2.0的更改对应于（3）“预期用途”。因此，RT作为再申请的评估方法，因为它具有最高的风险变化。进行放疗所需的平均阅读器数量为17人，因此必须证明独立于操作员经验的充分佐剂效果。AUC 是首选作为主要终点。
从Transpara V1.3到V1.5，V1.6到V1.7，ProFound V2.0到V2.1的更改，GI Genius的改进，Viz ICH的改进以及HALO与其他制造商的改进相比，风险低于预期用途的变化。由于这些变化与（2）输入数据有关，因此我们认为SA用于通过确认实质等价来评估和批准。GI Genius案例基于40个视频;然而，这是一个框架评估。因此，我们认为内窥镜检查是一种基于视频的检查，与CT不同。
Accipiolx从基于ML的算法改进到使用深度学习的算法，ProFound V2.1到V3.0的改进具有更高的特异性，以及IDx-DR的改进增加了训练模式功能，都属于（1）性能。如果可以通过与SA中的谓词设备进行性能比较来详细说明实质等效性，则属于（1）和（2）类别的改进被视为已批准。
基于AI/ML的CAD基于有限的训练数据进行训练，经批准后可用于连续收集各种类型的数据。因此，将在大约一年内添加来自不同开发制造商的其他模式和设备。在这项研究中，基于AI/ML的医疗设备的发展生命周期比传统医疗设备的发育生命周期短得多，特别是因为即使在审查期间也会再次提交申请。特别是，本研究中包含的Transpara系列在上市后进行了大量数据的绩效评估[38，39，58]。对1名日本女性进行的V3.310性能评估显示，没有AI帮助的读者的AUC为0.816，而单独使用V1.3的AUC值较低，为0.706，表明有必要改进[58]。因此，基于 AI/ML 的 CAD 的一个关键功能是它可以快速升级，以解决在实际临床实践中发现的问题。
在这项研究中，我们根据产品代码进行了关键字搜索，并确定在12个产品代码中，31个代码包含AI和ML，59个代码同时包含AI和DL。这意味着FDA不会根据AI/ML/DL进行区分。FDA发布的指南中存在AI/ML符号[<>，<>]。此外，FDA指南指出，ML和DL是AI技术之一。因此，FDA应该根据预期用途进行分类和监管，例如目标疾病和CAD类型。
计算机辅助简单分类的适用性
急救医疗系统在加速CAST作为医疗设备的发展和应用方面发挥着重要作用。在美国，主要使用急诊室（ER）系统（图3）。在这个系统中，急诊室接受所有急诊患者，由急诊室专家或分诊护士进行检查。在初步诊断和治疗后，患者根据其医疗状况被送往适当的部门。急诊室一年24天，每天365小时运作，医务人员一般三班倒工作。该系统的一个问题是急诊室因大量患者涌入而变得拥挤，并且难以接受额外的病例。因此，正在研究CAST以缓解充血并进行快速诊断。之前一项关于FDA批准的基于AI/ML的CAD的实施研究表明，许多产品可立即用于急诊医学[60]。ER中基于AI/ML的CAD的主要目标是中风，其次是颅内出血，脊柱损伤和其他延迟几分钟可能会使预后恶化的情况。基于 AI/ML 的 CAD 有效地支持了这一策略。在美国，引入CAST的原因是迫切需要减少拥堵。该方法是基于急诊室的紧急医疗系统的解决方案，通过有效地将患者转移到适当的部门，可以提高生命保全率。此外，尽管急诊室专家可以进行初步诊断和治疗，但他们并不是每个部门的专家。因此，引入CAST并在发现患有极端疾病的患者时通知相关部门的专家，可以迅速开始专科治疗。
thumbnail 下载：
.PPT幻灯片
.PNG大图
.TIFF原始图像
图3. 美国急诊室系统概述。
https://doi.org/10.1371/journal.pdig.0000209.g003
局限性
这项研究有以下局限性：（1）我们只关注美国法规，（2）我们只提取了可以使用产品代码搜索的基于AI / ML的CAD。EMA和日本的PMDA是监管机构，FDA也是如此。但是，这些机构尚未准备一个系统，以便对已获得CE（欧洲合格）标志的产品进行全面识别。PMDA没有公共数据库;因此，这项研究仅限于美国的批准案例。由于目前的系统监测是定性的，因此无法进行统计分析。尽管如此，目前系统监测的结果可能会为如何改进基于AI / ML的CAD产品以在上市后获得监管批准提供有价值的见解。
结论
这是首次对基于AI/ML的CAD产品进行全面研究，这些产品在上市后得到了改进，以阐明上市后改进的评估点。
据透露，（1）上市后改进通过回顾性数据获得批准，（2）不会改变预期用途的上市后改进通过使用SA进行评估获得批准，以及（3）正在开发用于分类的产品。行业、监管机构和学术界应不断讨论利用基于 AI/ML 的医疗设备特性的法规的实施。这些法规应在上市后改进的前提下制定，以减轻医护人员的负担并确保患者安全。
这项研究的结果将有助于通过了解基于AI / ML的CAD的法规来促进上市后的改进，以确保这些产品的有效性，安全性和质量。
引用
1.Muehlematter UJ，Daniore P，Vokinger KN.美国和欧洲人工智能和基于机器学习的医疗设备的批准（2015-20）：比较分析。柳叶刀数字健康。2021;3（3）： e195–e203.密码：33478929
查看文章PubMed/NCBI谷歌学术搜索
2.本杰明斯 S， 敦努 P， 梅斯科 B.基于人工智能的FDA批准的医疗设备和算法的状态：在线数据库。NPJ 数字医学 2020;3：118。Epub 2020/09/29.pmid：32984550;PubMed Central PMCID：PMC7486909。
查看文章PubMed/NCBI谷歌学术搜索
3.21世纪治愈法案。 https://www.fda.gov/regulatory-information/selected-amendments-fdc-act/21st-century-cures-act。2016.
查看文章谷歌学术搜索
4.美国食品和药物管理局。根据《3060世纪治愈法案》第 21 节对行业和食品和药物管理局工作人员的指导，对现有医疗软件政策进行了更改。https://www.fda.gov/media/109622/download。2019.
查看文章谷歌学术搜索
5.美国食品和药物管理局。数字健康创新行动计划。https://www.fda.gov/media/106331/download。2017.
查看文章谷歌学术搜索
6.美国食品和药物管理局。开发软件预认证计划：工作模型 https://www.fda.gov/media/119722/download。2019.
查看文章谷歌学术搜索
7.美国食品和药物管理局。数字健康卓越中心。https://www.fda.gov/medical-devices/digital-health-center-excellence。3 年 2022 月 <> 日访问。
查看文章谷歌学术搜索
8.美国食品和药物管理局。一般健康：低风险设备政策 工业和食品和药物管理局工作人员指南。https://www.fda.gov/media/90652/download。2019.
查看文章谷歌学术搜索
9.美国食品和药物管理局。医疗设备数据系统 医疗图像存储设备和医疗图像通信设备行业和食品药品监督管理局工作人员指南。https://www.fda.gov/media/88572/download。2019.
查看文章谷歌学术搜索
10.美国食品和药物管理局。医疗器械中现成软件的使用 工业和食品药品监督管理局工作人员指南。https://www.fda.gov/media/71794/download。2019.
查看文章谷歌学术搜索
11.美国食品和药物管理局。临床决策支持软件为工业和食品药品监督管理局工作人员起草指南。https://www.fda.gov/media/109618/download。2019.
查看文章谷歌学术搜索
12.美国食品和药物管理局。面向行业和食品药品监督管理局工作人员的设备软件功能和移动医疗应用指南政策。https://www.fda.gov/media/80958/download。2019.
查看文章谷歌学术搜索
13.美国食品和药物管理局。医疗器械分类 为行业和 FDA 工作人员划线和分类途径指南。https://www.fda.gov/media/90647/download。2017.
查看文章谷歌学术搜索
14.Yuba M，Iwasaki K.系统分析在美国和日本批准用于分类/检测/诊断的基于AI / ML的医疗设备的测试设计和性能。科学代表 2022;12（1）：16874.Epub 2022/10/08.pmid：36207474;PubMed Central PMCID：PMC9542463。
查看文章PubMed/NCBI谷歌学术搜索
15.美国食品和药物管理局。医疗器械所含软件上市前提交内容的指南。https://www.fda.gov/media/73065/download。2005.
查看文章谷歌学术搜索
16.美国食品和药物管理局。包含现成 （OTS） 软件的网络医疗设备的网络安全 行业指南。https://www.fda.gov/media/72154/download。2005.
查看文章谷歌学术搜索
17.美国食品和药物管理局。行业和FDA工作人员电子产品用户手册的可接受介质指南。https://www.fda.gov/media/78332/download。2010.
查看文章谷歌学术搜索
18.美国食品和药物管理局。应用于放射学图像和放射学设备数据的计算机辅助检测设备的临床性能分析注意事项。https://www.fda.gov/media/77642/download。2020.
查看文章谷歌学术搜索
19.美国食品和药物管理局。计算机辅助检测设备应用于放射学图像和放射学设备数据 https://www.fda.gov/media/77635/download。2012.
查看文章谷歌学术搜索
20.美国食品和药物管理局。医学中的射频无线技术 - 行业和FDA工作人员的设备指南。https://www.fda.gov/media/71975/download。2013.
查看文章谷歌学术搜索
21.美国食品和药物管理局。医疗器械网络安全管理上市前提交的内容 行业和食品药品监督管理局工作人员指南。https://www.fda.gov/media/86174/download。2014.
查看文章谷歌学术搜索
22.美国食品和药物管理局。将人为因素和可用性工程应用于工业和食品药品监督管理局工作人员的医疗器械指南。https://www.fda.gov/media/80481/download。2016.
查看文章谷歌学术搜索
23.美国食品和药物管理局。医疗器械网络安全的上市后管理行业和食品药品监督管理局工作人员指南。https://www.fda.gov/media/95862/download。2016.
查看文章谷歌学术搜索
24.美国食品和药物管理局。面向行业和食品药品监督管理局工作人员的可互操作医疗器械指南的设计考虑因素和上市前提交建议。https://www.fda.gov/media/95636/download。2017.
查看文章谷歌学术搜索
25.美国食品和药物管理局。决定何时向现有设备提交 510（k） 软件更改 工业和食品药品监督管理局工作人员指南。https://www.fda.gov/media/99785/download。2017.
查看文章谷歌学术搜索
26.美国食品和药物管理局。软件即医疗设备（SAMD）：临床评估，https://www.fda.gov/media/100714/download。2017.
查看文章谷歌学术搜索
27.美国食品和药物管理局。多功能设备产品：行业和食品药品监督管理局工作人员的政策和注意事项指南。https://www.fda.gov/media/112671/download。2020.
查看文章谷歌学术搜索
28.美国食品和药物管理局。器械软件功能上市前提交内容 工业和食品药品监督管理局工作人员指南草案。https://www.fda.gov/media/153781/download。2021.
查看文章谷歌学术搜索
29.美国食品和药物管理局。用于临床调查中远程数据采集的数字健康技术 行业、调查人员和其他利益相关者指南。https://www.fda.gov/media/155022/download。2021.
查看文章谷歌学术搜索
30.美国食品和药物管理局。医疗器械中的网络安全 质量体系注意事项和上市前提交的内容 工业和食品药品监督管理局工作人员指南草案，https://www.fda.gov/media/119933/download。2022.
查看文章谷歌学术搜索
31.美国食品和药物管理局。拟议的监管框架，用于修改基于人工智能/机器学习 [AI/ML] 的软件作为医疗设备 [SaMD]。讨论文件和反馈请求。https://www.fda.gov/media/122535/download。2019.
查看文章谷歌学术搜索
32.美国食品和药物管理局。510（k） Transpara的摘要，https://www.accessdata.fda.gov/cdrh_docs/pdf18/K181704.pdf。2018.
查看文章谷歌学术搜索
33.美国食品和药物管理局。510（k） Transpara 1.5的摘要，https://www.accessdata.fda.gov/cdrh_docs/pdf19/K192287.pdf。2019.
查看文章谷歌学术搜索
34.美国食品和药物管理局。510（k） Transpara 1.6的摘要，https://www.accessdata.fda.gov/cdrh_docs/pdf19/K193229.pdf。2020.
查看文章谷歌学术搜索
35.美国食品和药物管理局。510（k） Transpara 1.7的摘要，https://www.accessdata.fda.gov/cdrh_docs/pdf21/K210404.pdf。2021.
查看文章谷歌学术搜索
36.罗德里格斯-鲁伊斯 A， 克鲁平斯基 E， 莫当 JJ， 席林 K， 海旺-科布伦纳 SH， 塞乔普洛斯一世， 等.用乳房 X 光检查检测乳腺癌：人工智能支持系统的影响。放射学。2019;290(2): 305–314.Epub 2018/11/21.pmid：30457482。
查看文章PubMed/NCBI谷歌学术搜索
37.范温克尔 SL， 罗德里格斯-鲁伊斯 A， 阿佩尔曼 L， 古伯恩-梅里达 A， 卡尔塞梅耶尔 N， 托文 J， 等.人工智能支持对乳房断层合成图像解释的准确性和阅读时间的影响：多阅读器多案例研究。欧元无线电。2021;31(11): 8682–8691.Epub 2021/05/06.pmid：33948701;PubMed Central PMCID：PMC8523448。
查看文章PubMed/NCBI谷歌学术搜索
38.罗梅罗-马丁 S、埃利亚斯-卡博特 E、拉亚-波韦达诺 JL、古伯恩-梅里达 A、罗德里格斯-鲁伊斯 A、阿尔瓦雷斯-贝尼托 M. 人工智能在数字乳房 X 光检查和数字乳房断层合成筛查中的独立使用：回顾性评估。放射学。2022;302(3): 535–542.Epub 2021/12/15。噗嗤：34904872。
查看文章PubMed/NCBI谷歌学术搜索
39.Rodriguez-Ruiz A， Lang K， Gubern-Merida A， Broeders M， Gennaro G， Clauser P， et al. 用于乳房 X 光检查中乳腺癌检测的独立人工智能：与 101 名放射科医生的比较。国家癌症研究所杂志 2019;111（9）： 916–922.沃斯：000493067400007。密码：30834436
查看文章PubMed/NCBI谷歌学术搜索
40.罗德里格斯-鲁伊斯 A， 朗 K， 古伯恩-梅里达 A， 托文 J， 布罗德斯 M， 热纳罗 G， 等.我们可以通过人工智能自动识别正常检查来减少乳房X线摄影筛查的工作量吗？可行性研究。欧元无线电。2019;29(9): 4825–4832.Epub 2019/04/18.pmid：30993432;PubMed Central PMCID：PMC6682851。
查看文章PubMed/NCBI谷歌学术搜索
41.L?ng K，Dustler M，Dahlblom V，?kesson A，Andersson I，Zackrisson S.使用人工智能识别大型筛查人群中的正常乳房X光检查。欧元无线电。2021;31(3): 1687–1692.Epub 2020/09/03.pmid：32876835;PubMed Central PMCID：PMC7880910。
查看文章PubMed/NCBI谷歌学术搜索
42.美国食品和药物管理局。510（k） PowerLook Tomo Detection V2 软件摘要，https://www.accessdata.fda.gov/cdrh_docs/pdf18/K182373.pdf。2018.
查看文章谷歌学术搜索
43.美国食品和药物管理局。510（k） ProFound AI 软件 v2.1 摘要，https://www.accessdata.fda.gov/cdrh_docs/pdf19/K191994.pdf。2019.
查看文章谷歌学术搜索
44.美国食品和药物管理局。510（k） ProFound AI 软件 v3.0 摘要，https://www.accessdata.fda.gov/cdrh_docs/pdf20/K203822.pdf。2021.
查看文章谷歌学术搜索
45.Conant EF， Toledano AY， Periaswamy S， Fotin SV， Go J， Boatsman JE， et al. 通过同时使用人工智能进行数字乳房断层合成来提高准确性和效率。无线电艺术情报。2019;1（4）： e180096.Epub 2020/02/23.pmid：32076660;PubMed Central PMCID：PMC6677281。
查看文章PubMed/NCBI谷歌学术搜索
46.美国食品和药物管理局。510（k） MammoScreen摘要，https://www.accessdata.fda.gov/cdrh_docs/pdf19/K192854.pdf。2020.
查看文章谷歌学术搜索
47.美国食品和药物管理局。510（k） MammoScreen 2.0 摘要，https://www.accessdata.fda.gov/cdrh_docs/pdf21/K211541.pdf。2021.
查看文章谷歌学术搜索
48.美国食品和药物管理局。510（k） Accipiolx摘要，https://www.accessdata.fda.gov/cdrh_docs/pdf18/K182177.pdf。2018.
查看文章谷歌学术搜索
49.美国食品和药物管理局。510（k） Accipiolx摘要，https://www.accessdata.fda.gov/cdrh_docs/pdf20/K201310.pdf。2020.
查看文章谷歌学术搜索
50.美国食品和药物管理局。510（k） 可视化 ICH 摘要，https://www.accessdata.fda.gov/cdrh_docs/pdf19/K193658.pdf。2020.
查看文章谷歌学术搜索
51.美国食品和药物管理局。510（k） 可视化 ICH 摘要，https://www.accessdata.fda.gov/cdrh_docs/pdf21/K210209.pdf。2021.
查看文章谷歌学术搜索
52.美国食品和药物管理局。510（k） HALO摘要，https://www.accessdata.fda.gov/cdrh_docs/pdf20/K200873.pdf。2020.
查看文章谷歌学术搜索
53.美国食品和药物管理局。510（k） HALO摘要，https://www.accessdata.fda.gov/cdrh_docs/pdf21/K211788.pdf。2021.
查看文章谷歌学术搜索
54.Repici A， Badalamenti M， Maselli R， Correale L， Radaelli F， Rondonotti E， et al.在随机试验中实时计算机辅助检测结直肠瘤变的功效。胃肠。2020;159（2）： 512–520.e7.Epub 2020/05/07.pmid：32371116。
查看文章PubMed/NCBI谷歌学术搜索
55.美国食品和药物管理局。510（k） GI Genius摘要，https://www.accessdata.fda.gov/cdrh_docs/pdf21/K211951.pdf。2021.
查看文章谷歌学术搜索
56.美国食品和药物管理局。IDx-DR 的从头分类请求，https://www.accessdata.fda.gov/cdrh_docs/reviews/DEN180001.pdf。2018.
查看文章谷歌学术搜索
57.美国食品和药物管理局。510（k） IDx-DR 摘要，https://www.accessdata.fda.gov/cdrh_docs/pdf20/K203629.pdf。2021.
查看文章谷歌学术搜索
58.佐佐木 M， 户崎 M， 罗德里格斯-鲁伊斯 A， 四本 D， 一木 Y， 寺胁 A 等.用于乳房X光检查中乳腺癌检测的人工智能：在310名日本女性中使用ScreenPoint医疗Transpara系统的经验。乳腺癌。2020;27(4): 642–651.Epub 2020/02/14.pmid：32052311。
查看文章PubMed/NCBI谷歌学术搜索
59.美国食品和药物管理局。基于人工智能/机器学习 [AI/ML] 的软件作为医疗设备 [SaMD] 行动计划。https://www.fda.gov/media/145022/download。2021.
查看文章谷歌学术搜索
60.Al-Dasuqi K，Johnson MH，Cavallo JJ.人工智能在紧急放射学中的应用：当前应用，挑战和机遇的概述。临床影像学。2022;89: 61–67.密码：35716432
查看文章PubMed/NCBI谷歌