乳腺 X 射線圖像輔助檢測軟件注冊產品在我國界定為第三類醫療器械,且不免于醫療器械臨床試驗。考慮到圖像輔助檢測軟件注冊產品越來越多,因此,本文以此產品為例整理了產品注冊及臨床試驗設計相關要點,供大家參考。
乳腺 X 射線圖像輔助檢測軟件注冊產品在我國界定為第三類醫療器械,且不免于醫療器械臨床試驗。考慮到圖像輔助檢測軟件注冊產品越來越多,因此,本文以此產品為例整理了產品注冊及臨床試驗設計相關要點,供大家參考。
乳腺 X 射線圖像輔助檢測軟件注冊及臨床評價要點
一、產品概述
(一)產品結構及組成
由軟件安裝程序組成,包括 Web 端和服務器端,其中 Web
端含任務創建模塊、通信傳輸功能模塊、數據概覽模塊、影像
瀏覽與處理模塊、基于深度學習的乳腺病灶自動檢出模塊、乳
腺病灶標注模塊、BI-RADS 分類模塊、圖文報告模塊,服務器
端含首頁模塊、服務管理模塊、操作監控模塊、用戶管理模塊、
配置模塊。
(二)產品適用范圍
用于 40 歲以上成年女性乳腺 X 射線圖像的顯示、處理、
測量、分析,可對部分乳腺病灶(可疑鈣化、腫塊、不對稱、
結構扭曲)進行輔助檢測,供經培訓合格的醫師使用,不能單
獨用作臨床診療決策依據。
(三)型號/規格
AI-BAC,發布版本 2
(四)工作原理
該產品基于乳腺 X 射線圖像,采用深度學習技術進行處理
分析,可對部分乳腺病灶進行輔助檢測,供經培訓合格的醫師
使用。
二、臨床前研究概述
(一)產品性能研究
該產品性能指標包括軟件功能、使用限制、輸入輸出、接
口、運行環境、性能效率、最大并發數、用戶界面、消息、用
戶差錯防御、訪問控制、版權保護、可靠性、維護性。
申請人針對上述性能指標提交了產品性能研究資料,并提
交了產品技術要求與產品檢測報告,檢測結果與產品技術要求
相符。
(二)產品有效期和包裝
該產品的有效期為 10 年,申請人提交了包裝驗證資料,
證實包裝性能滿足設計要求。
(三)軟件研究
該產品軟件安全性級別為嚴重級別,發布版本 2,完整版
本 2.0.0.1。申請人根據醫療器械軟件指導原則提交了相應級別
的軟件研究資料,證實該產品軟件設計開發過程規范可控,綜
合剩余風險均可接受。
申請人根據醫療器械網絡安全指導原則提交了網絡安全
研究資料,證實該產品現有網絡安全風險可控,并制定了網絡
安全事件應急響應預案。
申請人根據深度學習輔助決策軟件審評要點提交了基于
深度學習技術的乳腺病灶檢出算法的算法研究資料,包括數據
多樣性分析、數據標注質控、訓練數據量-評估指標曲線、算法
性能評估、算法性能影響因素分析等研究資料,證實軟件算法性能能夠滿足設計要求。
三、醫療器械臨床評價概述
申請人采用醫療器械臨床試驗路徑進行臨床評價。試驗研究目的為
評價申報產品的有效性,同時觀察軟件功能的易用性及安全
性。臨床試驗采用多中心、隨機交叉自身對照設計方法,分為
試驗組(即醫生在軟件輔助下閱片)和對照組(醫生單獨閱片,
不使用軟件進行輔助),通過評價醫生使用軟件輔助和不使用
軟件輔助對乳腺病灶檢出的靈敏度、特異度差異來評價軟件的
有效性,以 3 名乳腺影像診斷專家共同閱片得到一致結果作為
金標準。
臨床試驗在三家臨床機構進行,共 855 例入組,進入 FAS
數據集、PPS 數據集及 SS 數據集的例數均為 854 例。主要有
效性評價指標:乳腺病灶檢出靈敏度、受試者檢出乳腺病灶靈
敏度均優于對照組,受試者乳腺病灶檢出特異度非劣于對照
組。次要評價指標:醫生診斷信心、軟件功能易用性和穩定性
滿意度。安全性評價指標:試驗過程中器械缺陷的發生率(%)
和發生頻率,以方案偏離發生率和發生頻率。
臨床試驗結果如下,主要有效性評價指標:
(一)乳腺病
灶檢出靈敏度:以病灶為單位,試驗組病灶檢出靈敏度為
87.32%,95%可信區間[84.16%-90.48%];對照組病灶檢出靈敏
度為 66.20%,95%可信區間[61.71%-70.69%];試驗組與對照組
乳 腺 病 灶 檢 出 靈 敏 度 差 值 為 21.13% , 95% 可信區間 [16.67%-25.60%]。結果顯示,兩組病灶檢出靈敏度差值的 95%
置信區間下限大于 5%,且基于 FAS 數據集和 PPS 數據集的分析結果一致。
(二)受試者乳腺病灶檢出的靈敏度:以受試者
為單位,試驗組病灶檢出靈敏度為 94.01%,95%可信區間
[91.26%-96.77%];對照組病灶檢出靈敏度為 79.58%,95%可信
區間[74.89%-84.27%];試驗組與對照組乳腺病灶檢出靈敏度差
值為 14.44%,95%可信區間[9.60%-19.50%]。結果顯示,兩組
病灶檢出靈敏度差值的 95%置信區間下限大于 0,且基于 FAS
數據集和 PPS 數據集的分析結果一致。
(三)受試者乳腺病灶
檢出特異度:以受試者為單位,試驗組病灶檢出特異度為
73.51%,95%可信區間[69.89%-77.13%];對照組病灶檢出特異
度為 70.70%,95%可信區間[66.97%-74.44%];試驗組與對照組
乳 腺 病 灶 檢 出 特 異 度 差 值 為 2.81% , 95% 可 信 區 間
[-1.40%-7.03%]。兩組病灶檢出特異度差值的 95%置信區間下
限大于-5%,且基于 FAS 數據集和 PPS 數據集的分析結果一致。
次要評價指標:所有醫生的提高診斷信心評分均為 5 分(非
常有信心),比例為 100%。基于 FAS 數據集和 PPS 數據集的
分析結果一致。軟件功能及穩定性滿意度評價中,所有醫生對
軟件功能界面設置、軟件通訊功能、圖像瀏覽及處理功能、病
灶檢出功能等 4 個指標均評分 3 分(滿意),各指標滿意率均
為 100%,軟件功能總體評價結果為 100%滿意。基于 FAS 數據
集和 PPS 數據集的分析結果一致。所有醫生對軟件無法啟動、
— 8 —
操作與檢出過程中意外死機、軟件意外關閉或退出、影像顯示
與傳輸、無法存儲與調用檢出結果等 5 個指標均評分 3 分(滿
意),各指標滿意率均為 100%,軟件穩定性總體評價結果為
100%滿意。基于 FAS 數據集和 PPS 數據集的分析結果一致。
安全性評價指標本試驗過程中未發生包括器械缺陷在內的任何方案偏離。醫療器械臨床試驗期間未報告器械缺陷。
綜上,臨床評價資料符合審評要求。