人工智能是近年科技及產(chǎn)業(yè)界最熱話題之一，人工智能的應(yīng)用已經(jīng)滲透到生活的許多方面，人工智能醫(yī)療器械注冊(cè)產(chǎn)品也日益增多、日益成熟。考慮到人工智能醫(yī)療器械產(chǎn)品的新和特點(diǎn)，本文以示例方式為大家介紹人工智能醫(yī)療器械注冊(cè)產(chǎn)品設(shè)計(jì)開(kāi)發(fā)檢查要點(diǎn)，一起看正文。
人工智能是近年科技及產(chǎn)業(yè)界最熱話題之一，人工智能的應(yīng)用已經(jīng)滲透到生活的許多方面，人工智能醫(yī)療器械注冊(cè)產(chǎn)品也日益增多、日益成熟。考慮到人工智能醫(yī)療器械產(chǎn)品的新和特點(diǎn)，本文以示例方式為大家介紹人工智能醫(yī)療器械注冊(cè)產(chǎn)品設(shè)計(jì)開(kāi)發(fā)檢查要點(diǎn)，一起看正文。
人工智能醫(yī)療器械注冊(cè)產(chǎn)品設(shè)計(jì)開(kāi)發(fā)檢查要點(diǎn)舉例
1.算法策劃
算法開(kāi)發(fā)策劃階段，應(yīng)對(duì)算法需求、數(shù)據(jù)收集、算法設(shè)計(jì)、驗(yàn)證與確認(rèn)、算法更新、風(fēng)險(xiǎn)管理、可追溯性分析等過(guò)程進(jìn)行算法生命周期策劃，輸出《算法開(kāi)發(fā)計(jì)劃書(shū)》。
2.算法需求
算法需求分析以用戶需求與風(fēng)險(xiǎn)為導(dǎo)向，結(jié)合產(chǎn)品的預(yù)期用途、使用場(chǎng)景、核心功能，綜合分析法律、法規(guī)、規(guī)章、標(biāo)準(zhǔn)、用戶、產(chǎn)品、功能、性能、接口、用戶界面、網(wǎng)絡(luò)安全、警示提示等需求，重點(diǎn)考慮數(shù)據(jù)收集、算法性能、使用限制等要求。輸出《算法需求規(guī)范》。
3.數(shù)據(jù)收集
3.1 數(shù)據(jù)入選、排除標(biāo)準(zhǔn)
在《算法需求規(guī)范》中明確算法數(shù)據(jù)入選、排除標(biāo)準(zhǔn)。
3.2 數(shù)據(jù)來(lái)源及質(zhì)控
數(shù)據(jù)收集應(yīng)確保數(shù)據(jù)來(lái)源的合規(guī)性，數(shù)據(jù)質(zhì)控的充分性、有效性、準(zhǔn)確性。
3.3數(shù)據(jù)采集
數(shù)據(jù)采集需考慮采集設(shè)備、采集過(guò)程、數(shù)據(jù)脫敏等質(zhì)控要求，并建立《數(shù)據(jù)采集操作規(guī)范》。
3.4數(shù)據(jù)整理
脫敏數(shù)據(jù)匯總形成原始數(shù)據(jù)庫(kù)，不同模態(tài)的數(shù)據(jù)在原始數(shù)據(jù)庫(kù)中需加以區(qū)分。數(shù)據(jù)整理基于原始數(shù)據(jù)庫(kù)考慮數(shù)據(jù)清洗、數(shù)據(jù)預(yù)處理的質(zhì)控要求。輸出《數(shù)據(jù)整理規(guī)范》，同時(shí)《數(shù)據(jù)整理規(guī)范》中需明確樣本類型、樣本量、樣品分布等信息，數(shù)據(jù)經(jīng)整理后形成基礎(chǔ)數(shù)據(jù)庫(kù)。
3.5 數(shù)據(jù)標(biāo)注
3.5.1 數(shù)據(jù)標(biāo)注前應(yīng)建立《數(shù)據(jù)標(biāo)注操作規(guī)范》，明確標(biāo)注資源管理、標(biāo)注過(guò)程質(zhì)控、標(biāo)注質(zhì)量評(píng)估等要求。數(shù)據(jù)經(jīng)標(biāo)注后形成標(biāo)注數(shù)據(jù)庫(kù)。
3.5.2 數(shù)據(jù)標(biāo)注可使用自動(dòng)標(biāo)注軟件，但自動(dòng)標(biāo)注結(jié)果不得直接使用，應(yīng)由標(biāo)注人員審核后方可使用；同時(shí)，自動(dòng)標(biāo)注軟件亦需明確名稱、型號(hào)規(guī)格、完整版本、制造商、運(yùn)行環(huán)境等信息，并進(jìn)行軟件確認(rèn)。
3.6 數(shù)據(jù)集構(gòu)建
3.6.1 基于標(biāo)注數(shù)據(jù)庫(kù)構(gòu)建訓(xùn)練集、調(diào)優(yōu)集、測(cè)試集，明確訓(xùn)練集、調(diào)優(yōu)集、測(cè)試集的劃分方法、劃分依據(jù)、數(shù)據(jù)分配比例，輸出《數(shù)據(jù)集構(gòu)建標(biāo)準(zhǔn)》。
3.6.2 訓(xùn)練集應(yīng)當(dāng)保證樣本分布具有均衡性，測(cè)試集、調(diào)優(yōu)集應(yīng)當(dāng)保證樣本分布符合臨床實(shí)際情況，訓(xùn)練集、調(diào)優(yōu)集、測(cè)試集的樣本應(yīng)當(dāng)兩兩無(wú)交集并通過(guò)查重予以驗(yàn)證。
3.6.3 為解決樣本分布不滿足預(yù)期的問(wèn)題，可對(duì)訓(xùn)練集、調(diào)優(yōu)集小樣本量數(shù)據(jù)進(jìn)行擴(kuò)增，原則上不得對(duì)測(cè)試集進(jìn)行數(shù)據(jù)擴(kuò)增，對(duì)抗測(cè)試除外。數(shù)據(jù)擴(kuò)增需明確擴(kuò)增的對(duì)象、方式（離線、在線）、方法（如翻轉(zhuǎn)、旋轉(zhuǎn)、鏡像、平移、縮放、濾波、生成對(duì)抗網(wǎng)絡(luò)等）、倍數(shù)，擴(kuò)增倍數(shù)過(guò)大應(yīng)考慮數(shù)據(jù)偏倚的影響及風(fēng)險(xiǎn)。若采用生成對(duì)抗網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)擴(kuò)增，需明確算法基本信息以及算法選用依據(jù)。
3.6.4 數(shù)據(jù)經(jīng)擴(kuò)增后形成擴(kuò)增數(shù)據(jù)庫(kù)，需列表對(duì)比擴(kuò)增數(shù)據(jù)庫(kù)與標(biāo)注數(shù)據(jù)庫(kù)在樣本量、樣本分布（注明擴(kuò)增倍數(shù)）等差異，以證實(shí)擴(kuò)增數(shù)據(jù)庫(kù)樣本量的充分性以及樣本分布的合理性。
3.7 數(shù)據(jù)庫(kù)管理
3.7.1數(shù)據(jù)庫(kù)管理應(yīng)遵循真實(shí)性、完整性、可用性、合規(guī)性、可追溯性、臨床代表性、時(shí)效性、安全性、準(zhǔn)確性9大原則。
3.7.2應(yīng)定期對(duì)邏輯數(shù)據(jù)庫(kù)的數(shù)據(jù)以及文件數(shù)據(jù)進(jìn)行備份，備份文件保存在不同機(jī)架的機(jī)器磁盤上以提高備份的安全性。
3.7.3在整個(gè)數(shù)據(jù)轉(zhuǎn)移過(guò)程中，應(yīng)當(dāng)明確數(shù)據(jù)轉(zhuǎn)移方法、數(shù)據(jù)防污染措施以及數(shù)據(jù)銷毀方式。
4.算法設(shè)計(jì)
人工智能算法設(shè)計(jì)主要考慮算法選擇、算法目標(biāo)設(shè)定分析、算法訓(xùn)練、算法性能評(píng)估等要求，形成《算法設(shè)計(jì)說(shuō)明書(shū)》。對(duì)于黑盒算法，算法設(shè)計(jì)應(yīng)開(kāi)展算法性能影響因素分析，同時(shí)與現(xiàn)有醫(yī)學(xué)知識(shí)建立關(guān)聯(lián)，以提升算法可解釋性。
5.驗(yàn)證與確認(rèn)
算法訓(xùn)練過(guò)程中，需要明確算法訓(xùn)練環(huán)境，應(yīng)當(dāng)對(duì)算法進(jìn)行性能評(píng)估，以確保選擇的算法準(zhǔn)確、有效。算法驗(yàn)證階段，明確算法性能評(píng)估環(huán)境，應(yīng)完成算法性能指標(biāo)評(píng)估、壓力測(cè)試、對(duì)抗測(cè)試，黑盒需要算法性能影響因素分析，輸出《算法性能評(píng)估報(bào)告》。
同時(shí)，開(kāi)展算法性能比較分析，詳述各類測(cè)試場(chǎng)景（含臨床評(píng)價(jià)）算法性能變異度較大的原因，基于分析結(jié)果明確產(chǎn)品使用限制和必要警示提示信息，輸出《算法性能比較分析報(bào)告》。
最后，結(jié)合算法訓(xùn)練、算法性能評(píng)估、臨床評(píng)價(jià)等結(jié)果開(kāi)展算法性能綜合評(píng)價(jià)，針對(duì)訓(xùn)練樣本量和測(cè)試樣本量過(guò)少、測(cè)試結(jié)果明顯低于算法設(shè)計(jì)目標(biāo)、算法性能變異度過(guò)大等情況，對(duì)產(chǎn)品的適用范圍、使用場(chǎng)景、核心功能進(jìn)行必要限制。輸出《算法性能綜合評(píng)價(jià)報(bào)告》。
6.算法風(fēng)險(xiǎn)管理
人工智能醫(yī)療器械的軟件安全性級(jí)別可基于產(chǎn)品的預(yù)期用途、使用場(chǎng)景、核心功能進(jìn)行綜合判定，并開(kāi)展風(fēng)險(xiǎn)管理活動(dòng)，采取有效的風(fēng)險(xiǎn)控制措施將風(fēng)險(xiǎn)降至可接受水平，并貫穿于人工智能醫(yī)療器械全生命周期過(guò)程。
人工智能醫(yī)療器械的主要風(fēng)險(xiǎn)從算法角度包括過(guò)擬合和欠擬合。從用途角度，輔助決策主要包括假陰性和假陽(yáng)性，其中假陰性即漏診，可能導(dǎo)致后續(xù)診療活動(dòng)延誤，特別是要考慮快速進(jìn)展疾病的診療活動(dòng)延誤風(fēng)險(xiǎn)，而假陽(yáng)性即誤診，可能導(dǎo)致后續(xù)不必要的診療活動(dòng)；非輔助決策從算法設(shè)計(jì)目標(biāo)能否得以實(shí)現(xiàn)角度，亦可參考輔助決策分為假陰性和假陽(yáng)性。應(yīng)輸出《風(fēng)險(xiǎn)管理報(bào)告》，明確過(guò)擬合與欠擬合、假陰性與假陽(yáng)性、數(shù)據(jù)擴(kuò)增與數(shù)據(jù)偏倚等風(fēng)險(xiǎn)的控制措施。
7.算法可追溯性分析
醫(yī)療器械全生命周期管理中，應(yīng)實(shí)現(xiàn)算法的可追溯性，并形成算法可追溯性分析報(bào)告等相關(guān)文件及記錄，即追溯算法需求、算法設(shè)計(jì)、算法實(shí)現(xiàn)、算法驗(yàn)證與確認(rèn)、風(fēng)險(xiǎn)管理、數(shù)據(jù)集的管理。
在數(shù)據(jù)收集過(guò)程中，數(shù)據(jù)采集、數(shù)據(jù)整理、數(shù)據(jù)標(biāo)注、數(shù)據(jù)集構(gòu)建過(guò)程中形成《數(shù)據(jù)脫敏交接記錄》《數(shù)據(jù)清洗記錄》《數(shù)據(jù)標(biāo)注記錄》《數(shù)據(jù)審核記錄》《數(shù)據(jù)仲裁記錄》《數(shù)據(jù)集構(gòu)建記錄》，以上記錄均由操作人員簽字確認(rèn)。
數(shù)據(jù)集管理過(guò)程中，每一例數(shù)據(jù)都可追溯到唯一識(shí)別號(hào)、脫敏人員、清洗人員、標(biāo)注人員、審核人員、仲裁人員、入庫(kù)人員，保證了數(shù)據(jù)收集各環(huán)節(jié)的數(shù)據(jù)和操作人員的可追溯。
8.算法更新控制
人工智能醫(yī)療器械若發(fā)生算法更新、軟件更新，均應(yīng)當(dāng)按照質(zhì)量管理體系的要求，開(kāi)展與算法更新、軟件更新的類型、內(nèi)容和程度相適宜的驗(yàn)證與確認(rèn)活動(dòng)，將風(fēng)險(xiǎn)管理、可追溯分析貫穿于更新全程，形成記錄以供體系核查。
對(duì)于算法更新，無(wú)論算法驅(qū)動(dòng)型更新還是數(shù)據(jù)驅(qū)動(dòng)型更新，均應(yīng)開(kāi)展算法性能評(píng)估、臨床評(píng)價(jià)等驗(yàn)證與確認(rèn)活動(dòng)，以保證算法更新的安全有效性。對(duì)于軟件更新，具體要求詳見(jiàn)醫(yī)療器械軟件指導(dǎo)原則、醫(yī)療器械獨(dú)立軟件生產(chǎn)質(zhì)量現(xiàn)場(chǎng)檢查指導(dǎo)原則。
人工智能醫(yī)療器械所含的每個(gè)人工智能算法，均應(yīng)獨(dú)立開(kāi)展需求分析、數(shù)據(jù)收集、算法設(shè)計(jì)、驗(yàn)證與確認(rèn)、更新控制等活動(dòng)，同時(shí)考慮人工智能算法組合的整體評(píng)價(jià)要求，以保證產(chǎn)品的安全有效性。
若有人工智能醫(yī)療器械注冊(cè)咨詢服務(wù)需求，歡迎您隨時(shí)方便與杭州證標(biāo)客醫(yī)藥技術(shù)咨詢有限公司聯(lián)絡(luò)，聯(lián)系人：葉工，電話：18058734169，微信同。