《北京市人工智能医疗器械生产质量管理规范检查指南（征.docx

《《北京市人工智能医疗器械生产质量管理规范检查指南（征.docx》由会员分享，可在线阅读，更多相关《《北京市人工智能医疗器械生产质量管理规范检查指南（征.docx（28页珍藏版）》请在优知文库上搜索。

1、北京市人工智能医疗器械生产质量管理规范检查指南（征求意见稿）人工智能医疗器械是指基于“医疗器械数据“，采用人工智能技术实现其预期用途（即医疗用途）的医疗器械，包括第二类、第三类人工智能独立软件和含有人工智能软件组件的医疗器械（包括体外诊断医疗器械）。本指南结合人工智能医疗器械特点，依据医疗器械生产质量管理规范医疗器械生产质量管理规范附录独立软件医疗器械生产质量管理规范独立软件现场检查指导原则等法规文件，明确了在上述文件基础上，对人工智能医疗器械的医疗器械生产质量管理体系要求。旨在帮助北京市医疗器械生产监管人员增强对人工智能医疗器械产品生产监管的认知，指导和规范全市医疗器械生产监管人员对人工智能

2、医疗器械生产企业监督检查工作。同时，为相关生产企业开展生产管理活动提供参考。本指南中引用的国家相关法规、规章、标准、检查指南等版本发生变化时，要以执行的最新版为准。随着法规、强制性标准体系的不断完善以及科技能力、认知水平的不断发展，必要时，北京市药品监督管理局将重新研究修订，以确保本指南持续符合要求。一、机构和人员人工智能医疗器械具有对数据和算法依赖性高的特点，数据处理和算法相关的机构和人员是关键性要素，生产企业应定义相关人员角色、明确职责和资质要求。（一）数据处理人员：生产企业应确立一名决策管理者全面负责数据处理相关工作。数据处理人员一般包括数据研究人员、数据管理人员、采集人员、标注人员、审

3、核人员、仲裁人员等，上述人员中标注、审核、仲裁人员之间不可相互兼任；应明确划分人员的职责、任职资质、选拔、培训、考核要求，如职称、工作年限、工作经验等；应有详细的任命流程、培训（如培训材料、培训方案）及考核记录（如方法、频次、指标、通过准则、一致性）等；对于生产企业外部聘用人员的还应记录聘用、主要执业机构、与产品相关的培训等信息。（二）算法相关人员：生产企业应建立具有算法研发能力且稳定的算法团队，并确立一名管理负责人承担算法的研发、部署和更新责任。算法团队人员一般包括：算法研究人员、算法工程人员、算法测试人员、算法部署人员，上述人员中测试人员不可与其他角色兼任。若采用外部委托研发或者直接使用开

4、源项目进行算法的研发，则必须有算法测试人员和部署人员，并对算法相关的质量负责。二、厂房与设施人工智能医疗器械的数据集是进行开发的要素，对采用自建数据集的产品，数据预处理、清洗、标注等操作的场所为真实场所或模拟场所，真实的场所应明确空间、照明、温度、湿度、气压等环境条件并保持相关记录，采用模拟场所情形可根据产品实际情况调整模拟程度，需详述调整理由并予以记录；对采用公开数据集、第三方数据集，则需对数据集开发方所能提供范围内的场地信息进行记录。三、设备生产企业应结合自身产品的实际情况，在产品生存周期过程提供充分、适宜、有效的软硬件设备、开发测试工具、网络资源以及以及病毒防护、数据备份与恢复等保证措施

5、。（一）数据集构建所用设备：1.数据采集设备管理应明确兼容性和采集特征等要求，设备的兼容性记录应包括采集设备的名称、规格型号、制造商、性能指标等要求，若无需考虑兼容性要求详述理由并予以记录。采集特征需明确采集设备的采集方式（如常规成像、增强成像）、采集协议（如MRI成像序列）、采集参数（如CT加载电压、加载电流、加载时间、层厚）、采集精度（如分辨率、采样率）等要求。数据采集若使用历史数据，需列明采集设备及采集特征要求，并开展数据采集质量评估工作。2 .企业应配备执行数据集相关任务需要的资源，如访问、读取数据、预览、检索等任务需要的软件、硬件、网络配置。测试集应配备封闭管理需要的软件、硬件、网络

6、配置或管理要求。3 .数据标注应明确标注软件（包含自动标注软件）的要求，明确标注软件的名称、规格型号、完整版本、制造商、运行环境、软件确认等要求并予以记录。4 .若需使用特定的外部设备获取附加的信息（如病理结果、检验结果、数据模态转化、多模态配准、体积测量、三维打印等），设备的规格型号、计量信息（如需计量）等应确认要求并予以记录。5 .数据整理所用软件工具（含脚本）均需明确名称、规格型号、完整版本、制造商、运行环境，并进行软件确认。（二）算法研发所用设备：1.需明确定义并记录进行算法训练所用到服务器算力的最低要求和兼容性要求（GPU型号和数量、CPU型号和数量、网络带宽等）。6 .需明确定义并

7、记录产品部署运行所需算力的最低要求和兼容性要求。7 .需明确定义并记录算法训练所用的操作系统、开发环境（编程语言及版本、集成开发环境及版本、Web服务及版本、支持软件及版本等）、算法架构（基础计算包、GPU指令集、集成开发环境插件等）。8 .需明确定义并记录算法测试所用的操作系统、开发环境、算法框架、基础服务等，若与其他外部设备进行配合或作为软件组件集成到其他医疗器械中，明确说明外部设备和器械的规格型号。9 .需明确定义并记录产品部署运行的操作系统、开发环境、算法框架、基础服务、虚拟机、应用容器引擎等。四、设计开发生产企业应结合质量管理体系要求，建立人工智能医疗器械生存周期过程，开展与软件安全

8、性级别相匹配的产品质量保证工作，确定需求分析、数据收集、算法设计、验证与确认、部署运行、更新控制等活动要求，将风险管理、可追溯分析（需包含算法和数据）贯穿于生存周期全程，形成记录。（一）需求分析1.需求分析应当以用户需求与风险为导向，结合产品的预期用途、使用场景、核心功能，综合分析法规、标准、用户、产品、功能、性能、接口、用户界面、网络安全、警示提示等需求，明确风险管理、可追溯性分析、数据收集、算法性能、使用限制、现成软件（现成算法）的验证与确认等活动要求，形成软件需求规范和评审记录并经批准。2 .数据收集应当确保数据来源的合规性、充分性和多样性，数据分布的科学性和合理性，数据质控的充分性、有

9、效性和准确性。3 .算法性能需结合医疗实际和产品定位，明确假阴性与假阳性、重复性与再现性、鲁棒性/健壮性、实时性等性能指标的适用性及其要求，并兼顾不同性能指标的制约关系。4 .使用限制需考虑产品禁用、慎用等场景，准确表述产品使用场景，提供必要警示提示信息。（二）数据收集1.数据采集数据采集应当明确采集设备、采集过程、数据脱敏等质控要求，并建立数据采集操作规范。若使用历史数据，应当结合样本规模、采集难度等影响因素合理选择数据采集方式，明确数据筛选标准并对采集的数据进行质量评估。采集的数据应进行数据脱敏以保护患者隐私，数据脱敏需明确脱敏的类型（静态、动态）、规则、方法以及脱敏内容的确定依据。如使用

10、历史数据，企业接收的数据应为脱敏后的数据，不得有敏感数据流入企业。2 .数据整理数据整理应基于原始数据库明确数据清洗、数据预处理的质控要求。数据清洗应当明确清洗的规则、方法、结果，数据预处理应当明确处理的方法（如滤波、增强、重采样、尺寸裁剪、均一化等）、结果。数据经整理后形成基础数据库，需明确样本类型、样本量、样本分布等信息。3 .数据标注数据标注应当明确标注资源管理、标注过程质控、标注质量评估等要求，并建立数据标注操作规范。标注过程质控包括人员职责（如人员资质、人员数量、职责分工）、标注规则（如临床指南、专家共识、专家评议、文献分析）、标注流程（如标注对象、标注形式、标注轮次、标注步骤、结果

11、审核）、分歧处理（如仲裁人员、仲裁方式）、可追溯性（如数据、操作）等要求。数据经标注后形成标注数据库，样本类型可分为数据块（如图像区域、数据片段）、单一数据（由多个数据块组成）、数据序列（由多个单一数据组成）。标注数据库的样本量、样本分布等要求及风险考量与基础数据库相同。数据标注若使用自动标注软件，结果不得直接使用，应由标注人员审核后方可使用。4 .数据集构建基于标注数据库构建训练集、调优集（若有）、测试集，应当明确训练集、调优集、测试集的划分方法、划分依据、数据分配比例。训练集原则上需保证样本分布具有均衡性，测试集、调优集原则上需保证样本分布符合真实情况，训练集、调优集、测试集的样本应两两无

12、交集并通过查重予以验证。数据扩增（若有）应当明确扩增的对象、范围、方式（离线、在线）、方法（如翻转、旋转、镜像、平移、缩放、滤波、生成对抗网络等）、倍数，在线扩增亦需予以记录，扩增需考虑数据偏倚的影响及风险。原则上不得对测试集进行数据扩增。数据经扩增后应当形成扩增数据库，需列表对比扩增数据库与标注数据库在样本量、样本分布（注明扩增倍数）等差异，以证实扩增数据库样本量的充分性以及样本分布的合理性。（三）算法设计1.算法选择算法选择应当提供所用算法的名称、类型（如有监督学习、无监督学习，基于模型、基于数据，白盒、黑盒）、结构（如层数、参数规模）、输入输出数据类型、流程图、算法编程框架、运行环境等基

13、本信息，并明确算法选用依据，包括选用的理由和基本原则。若组合使用集成学习、迁移学习、强化学习等，需提供算法基本信息以及算法选用依据。5 .算法训练算法训练应当基于训练集、调优集进行训练和调优，考虑评估指标、训练方式、训练目标、调优方式、训练数据量-评估指标曲线等要求。6 .算法性能评估算法性能评估应当基于测试集对算法设计结果进行评估，综合评估假阴性与假阳性、重复性与再现性、鲁棒性/健壮性、实时性等适用性，以证实算法性能满足算法设计目标，并作为软件验证、软件确认的基础。若使用第三方数据库开展算法性能评估,应当提供第三方数据库的基本信息（如名称、创建者、数据总量等）和使用情况（如测试数据样本量、评

14、估指标、评估结果等）。对于黑盒算法，应开展算法性能影响因素分析，并提供算法性能影响因素分析报告，明确影响算法性能的主要因素及其影响程度，以及产品使用限制和必要警示提示信息。（四）验证与确认1.软件验证软件验证应当基于软件需求予以开展，保证软件的安全有效性，并作为软件确认的基础。7 .软件确认软件确认测试应当基于用户需求，由预期用户在真实或模拟使用场景下予以开展，涵盖现成软件、网络安全的测试要求，确定缺陷管理、风险管理、可追溯性分析、评审等活动要求，形成用户测试记录、测试报告以及评审记录并经批准，适时更新并经批准。可追溯性分析此时应当分析用户测试与用户需求、用户测试与风险管理的关系。同时，开展算

15、法性能比较分析，若各类测试场景（含临床评价）算法性能变异度较大，详述原因并基于分析结果明确产品使用限制和必要警示提示信息。最后，结合算法训练、算法性能评估、临床评价等结果开展算法性能综合评价，针对训练样本量和测试样本量过少、测试结果明显低于算法设计目标、算法性能变异度过大等情况，对产品的适用范围、使用场景、核心功能进行必要限制。基于测评数据库开展的，除满足数据库通用要求（如数据管理、网络安全与数据安全、可扩展性）外，还应满足权威性、科学性、规范性、多样性、封闭性和动态性要求。不应使用公开数据库作为测评数据库。（五）部署运行人工智能医疗器械的发布版本列明的算法关键模块功能、接口、版本、存储形式（

16、pt、Pth、bin、Onnx、pb、kerasckptPkI等）；主要功能组件模块及相互依赖和接口关系；软件的前后端部署方式；对基础软件和硬件的依赖和兼容性要求等。（六）更新控制人工智能医疗器械若发生算法更新、软件更新，均应当按照质量管理体系的要求，开展与算法更新、软件更新的类型、内容和程度相适宜的验证与确认活动，将风险管理、可追溯分析贯穿于更新全程，形成记录。此外，算法更新、软件更新均需考虑引入回滚机制，以保证医疗业务的连续性，特别是对风险较高的软件。软件版本控制应当基于合规性要求确定软件版本命名规则，涵盖自研软件、现成软件、算法（算法驱动型更新或数据驱动型更新）网络安全的全部软件更新类型，明确并区分重大软件更新和轻微软件更新，并符合软件版本命名规则的要求。对数据集进行用途（训练、调优、测试、验证等）的变更，应