医疗器械领域人工智能产品与系统检测实验室资源要求解读｜人员能力+检测工具解决方案
原创
医疗器械领域人工智能产品与系统检测实验室资源要求解读｜人员能力+检测工具解决方案
原创
申请在医疗器械领域人工智能产品与系统检测CNAS实验室，除了需要遵循检测和校准实验室能力认可准则、还需要满足在医疗器械检测领域的应用说明、在软件检测领域的应用说明以及相关医药行业标准。本文我们从资源要求方面一起梳理，建立医疗器械领域人工智能产品与系统检测实验室的资源要求，对人员有什么要求，检测工具如何部署。
一、建立医疗器械领域人工智能产品与系统检测实验室的依据
CNAS-CL01：2018《检测和校准实验室能力认可准则》
CNAS-CLO1-A004-2018《实验室能力认可准则在医疗器械检测领域的应用说明》
CNAS-CL01-A019《检测和校准实验室能力认可准则在软件检测领域的应用说明》
YYT 1858-2022《人工智能医疗器械 肺部影像辅助分析软件 算法性能测试方法》
YY/T 1907-2023《人工智能医疗器械 冠状动脉CT影像处理软件 算法性能测试方法》
YYT 1833.1-2022《人工智能医疗器械 质量要求和评价 第1部分:术语》
YYT 1833.2-2022《人工智能医疗器械 质量要求和评价 第2部分:数据集通用要求》
YYT 1833.3-2022《人工智能医疗器械 质量要求和评价 第3部分:数据标注通用要求》
YY/T 1833.4-2023《人工智能医疗器械 质量要求和评价 第4部分:可追溯性》
二、 医疗器械领域人工智能产品与系统检测实验室人员要求梳理
CNAS-CL01-G001:2024 | CNAS-CL01-A019:2018 | CNAS-CL01-A004:2018 |
|---|---|---|
6.2 人员 | - | - |
- | - | 6.2.1 检验人员应为正式聘用人员且只能在本实验室从业。 |
6.2.2 除非法律法规或 CNAS 对特定领域的应用要求有其他规定，实验室人员应满足以下要求： | 6.2.2 软件测试实验室的人员应满足以下要求： | 6.2.2 实验室人员应符合以下要求： |
a) 从事实验室活动的人员不得同时在其他实验室兼职。 | a) 从事软件测试人员，应具有计算机及相关专业的大专（含）以上学历、并获得国家或行业承认的软件测试技术专业培训合格资质或计算机软件相关专业的高级工程师，具备与软件测试任务相适应的被测试软件背景知识和软件测试技术。 | a) 管理人员应熟悉实验室管理知识，熟悉医疗器械法律法规； |
b) 从事检测或校准活动的人员应具备其所从事的检测或校准相关专业大 专以上学历。如果学历或专业不满足要求，应有 10 年以上相关专业检测或校准经历。 | b) 各类人员其他应满足的要求包括：1）从事软件测试项目管理、测试需求分析、测试策划和测试设计活动的人员，一般应有 2 年（含）以上软件开发工作经历或 3 年以上软件测试技术工作经。2）软件测试执行人员，一般应有 3 个月（含）以上软件测试技术岗位实习工作经历，并至少实习完成 1 个软件测试项目；3）负责软件测试结果评价（评估）、方法确认、质量核查的人员，以及软件测试报告审核人和批准人，一般应有 3 年（含）以上软件测试技术工作经历。 | b) 实验室管理人员和技术人员应熟悉医疗器械相关的法律法规、标准/技术文件，具有中级以上专业技术职称的人员数量应当不少于从事检验活动的人员总数的50%； |
c) 从事特定实验室活动的人员，如方法开发、修改、验证和确认的人员、 检测结果复核人员、从事人员监督和能力监控的人员在满足 b）要求的基础上，还应有 3 年以上本专业领域的检测或校准经历。 | c）实验室对软件检测人员进行的培训，应包括安全保密、知识产权保护以及软件测试有关的法规、标准。 | c) 关键技术人员应当具有相关专业本科以上学历，并具有5年以上相关专业的技术工作经历； |
d) 授权签字人在满足 b）要求的基础上，还应熟悉 CNAS 所有相关的认可要求，具有本专业中级以上（含中级）技术职称或满足以下条件：大专毕业后，从事相关专业技术工作 8 年及以上；大学本科毕业，从事相关专业技术工作 5 年及以上；硕士学位以上（含），从事相关专业技术工作 3 年及以上；博士学位以上（含），从事相关专业技术工作 1 年及以上。 | d）实验室应：1）至少具有 5 名软件检测人员；2）由熟悉软件项目管理、开发、测试及标准、规程、规范的技术人员负责组织实施软件检测任务。3）由熟悉软件检测过程以及软件测试标准、规范、规程，软件质量评价和软件测试质量评价的人员，负责对软件检测人员实施质量核查，审核软件测试过程和形成的软件测试工作产品是否符合相应的标准、规范；4）由熟悉软件测试需求、测试结果评价和判定准则的人员负责对软件测试输入和测试结果进行核查。 | d) 实验室技术人员具有对采用的医疗器械标准/技术文件进行确认和预评价的能力，应能按规定程序判定所检测医疗器械有关的危害，并有正确评估其风险的能力，有关人员能够出具风险评估报告。 |
三、 医疗器械领域人工智能产品与系统检测实验室设备
软件测试设备可包括测试工具软件以及计算机系统、网络系统、适配器、测试输入和结果输出等硬件设备。基于GB/T 25000.51标准的软件八大质量特性检测中，针对性能效率的测试需要采购性能测试工具LoadRunner，针对信息安全性的测试，需要借助漏洞扫描工具，如appscan、webinspect等。
基于YYT 1858-2022《人工智能医疗器械 肺部影像辅助分析软件 算法性能测试方法》，需要准备准备相关测试数据集，测试集的质量应满足 YY/T 1833.2。针对测试平台有如下要求：
1、数据抽取：测试平台可按照指定条件，对测试平台可访问的测试数据进行抽取，用于组建测试集。指定的条件包括样本量、阳性样本比例、元数据字段信息、参考标准信息等。
2、测试集管理：测试平台可记录测试集的使用与版本信息，以及数据抽取条件。
3、可视化工具：测试平台可对算法输出结果、测试集的参考标准进行可视化的预览和比较。 4、测试指标计算：测试平台可计算和输出算法性能指标，如检出、分类、分割等情形。
5、网络安全：测试平台应确保测试数据、待测产品的安全性。
6、如果测试需要在网络条件下进行，网速、传输服务质量(QoS)应不低于制造商声称的运行环境。
7、过程记录：平台应为测试活动提供记录，包括测试人员活动记录、数据操作、待测算法运行状态、测试进度、测试结果处理等。
针对上述测试工具，道普云均可提供相应解决方案，其中在医疗器械行业人工智能产品与系统检测实验室领域，多个项目已在多省医疗器械检验检测机构落地使用，成功通过CNAS认可委的验证。如需详细的部署方案可私信我获取。
四、医疗器械领域人工智能产品与系统检测工具的六个核心功能：
人工智能算法中最重要的两个元素：模型、数据。送检方只需上传样本数据与模型接口等信息，检测方通过系统，加工送检样本、调用送检模型，对模型进行全方面的测试，决策此模型是否可用于生产环境。
1、数据集管理
此功能主要对图像、文本数据集进行管理，数据集来源分别为用户上传、对抗生成以及图像干扰生成。系统中点击数据中心模块下数据集管理子模块（如图1-3所示），进入模块页面点击上方新增按钮，输入数据集相关信息创建数据集。
2、模型管理
此功能模块对AI模型进行管理，现系统中提供对抗生成模型3个以及被测模型3个，对抗生成和被测模型一一对应，例如：糖尿病预测模型对应糖尿病数据对抗生成模型。与数据集管理模块相似，系统中点击数据中心模块下模型管理子模块，进入该模块页面，点击上方新增按钮，输入模型相关信息新增模型。
3、数据质控
此模块针对文本、图像数据集进行初步评估，文本数据可以找出数据中是否存在空值或缺失的值，整体数据值域的分布等信息，现今对图像数据质控没有统一标准，本系统中，通过相似度计算来评估图像质量。
4、对抗生成
此模块利用人工智能算法，生成特定领域样本数据，现系统支持生成乳腺癌、糖尿病、肺炎三种类型数据，乳腺癌和糖尿病为文本数据，肺炎为图像数据。进入该模块主页，点击左上方新增按钮，输入任务名称，选择所属项目、数据类型和对抗模型，进行数据生成，特别注意数据类型分图像数据和文本数据，肺炎图像数据生成指定正常、细菌、病毒三种类别数据，文本数据分正常和异常两种样本数据。
5、图像干扰
此功能辅助模型评估，生成干扰图像，对模型进行鲁棒性评估。给图像增加干扰的方法分为：图像旋转、图像翻转、椒盐噪声、高斯噪声、泊松噪声、均值滤波、高斯滤波、中值滤波、双边滤波。
6、模型评估
此功能是对模型库中被测模型进行指标计算，大致过程为选择对应的数据，数据可以是用户自己上传的数据集、对抗生成的数据集以及干扰生成的数据集，在选择被测模型即可进行指标计算。如图1-10所示，在被测模型处选择相应模型后，数据集选择其模型对应的测试数据集，指标分类现支持的为分类算法，待信息填写完毕点击确定按钮，创建评估任务，点击任务右侧执行按钮，注：由于计算消耗资源较多，一次执行一个任务即可，如执行过多任务会导致系统崩溃。待计算完毕后，点击右侧查看按钮查阅评估结果。
以上就是从人员能力和检测工具两个方面，针对医疗器械领域人工智能产品与系统检测实验室资源要求的解读，如需整体的医疗器械领域人工智能产品与系统检测实验室建设方案、医疗器械人工智能产品与系统检测工具演示可联系（www.yuntest.top），欢迎在评论区评论交流。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
腾讯云开发者
