近日，中科院軟件所與瑞金醫(yī)院聯(lián)合研究的《外科腹腔鏡手術(shù)動(dòng)作分析數(shù)據(jù)集》成功發(fā)表于國際頂級(jí)學(xué)術(shù)期刊Nature（《Scientific Data》IF 5.8；JCR Q1）。

該研究由上海交通大學(xué)醫(yī)學(xué)院瑞金醫(yī)院陸灣分院普外科、中國科學(xué)院大學(xué)杭州高級(jí)研究院、中國科學(xué)技術(shù)大學(xué)網(wǎng)絡(luò)空間與技術(shù)學(xué)院、中國科學(xué)院軟件研究所、廣西華醫(yī)人工智能醫(yī)療科技有限公司研發(fā)中心等聯(lián)合完成。

梵晨博生醫(yī)藥集團(tuán)旗下華醫(yī)MedAI精準(zhǔn)醫(yī)療（廣西華醫(yī)智能醫(yī)用軟件有限公司），是與中科院軟件所、瑞金醫(yī)院盧灣分院和多家頂尖臨床醫(yī)療機(jī)構(gòu)聯(lián)合出品的AI醫(yī)療平臺(tái)，從事AI大模型三維醫(yī)用軟件的研發(fā)與運(yùn)營。為數(shù)據(jù)集構(gòu)建提供了關(guān)鍵技術(shù)支撐，標(biāo)志著集團(tuán)在AI醫(yī)療-腹腔臟器全自動(dòng)智能識(shí)別技術(shù)板塊的實(shí)力獲得了全球頂尖學(xué)術(shù)機(jī)構(gòu)的權(quán)威認(rèn)證。

研究中文摘要：

腹腔鏡手術(shù)因其微創(chuàng)和快速恢復(fù)的優(yōu)點(diǎn)，在各個(gè)外科領(lǐng)域得到了廣泛的應(yīng)用。然而，這需要外科醫(yī)生具備高水平的技術(shù)專長。雖然計(jì)算機(jī)視覺和深度學(xué)習(xí)的進(jìn)步對(duì)手術(shù)動(dòng)作識(shí)別做出了重大貢獻(xiàn)，但這些技術(shù)的有效性受到現(xiàn)有公開數(shù)據(jù)集的局限性的阻礙，例如它們的規(guī)模小、同質(zhì)性高、標(biāo)注質(zhì)量不一致。為了解決上述問題，我們開發(fā)了SLAM數(shù)據(jù)集（腹腔鏡手術(shù)運(yùn)動(dòng)），其中包括各種手術(shù)類型，如腹腔鏡膽囊切除術(shù)和闌尾切除術(shù)。該數(shù)據(jù)集包括七個(gè)關(guān)鍵動(dòng)作的注釋：腹腔進(jìn)入、使用夾子、鉤切、縫合、全景視圖、局部全景視圖和吸引。總共有4097個(gè)視頻片段，每個(gè)片段都標(biāo)有相應(yīng)的動(dòng)作類別。此外，我們使用ViViT模型對(duì)數(shù)據(jù)集進(jìn)行了全面驗(yàn)證，實(shí)驗(yàn)結(jié)果表明，該數(shù)據(jù)集在腹腔鏡手術(shù)動(dòng)作識(shí)別方面表現(xiàn)出卓越的訓(xùn)練和測(cè)試能力，分類準(zhǔn)確率最高為85.90%。作為公開可用的基準(zhǔn)資源，SLAM數(shù)據(jù)集旨在促進(jìn)腹腔鏡手術(shù)動(dòng)作識(shí)別和人工智能驅(qū)動(dòng)手術(shù)的發(fā)展，支持智能手術(shù)機(jī)器人和手術(shù)自動(dòng)化。

文章引用：Ye, Z., Zhou, R., Deng, Z. et al. A Comprehensive Video Dataset for Surgical Laparoscopic Action Analysis. Sci Data 12, 862 (2025). https://doi.org/10.1038/s41597-025-05093-7

該數(shù)據(jù)集具備三大突破性價(jià)值：

多樣性：整合數(shù)十例患者手術(shù)視頻，涵蓋多種術(shù)式，突破傳統(tǒng)數(shù)據(jù)集同質(zhì)化局限。

高質(zhì)量標(biāo)注：由資深外科醫(yī)師雙盲標(biāo)注及高年資醫(yī)師復(fù)核，標(biāo)注一致性達(dá)99%。

兼容性強(qiáng)：提供標(biāo)準(zhǔn)化視頻片段及訓(xùn)練-驗(yàn)證-測(cè)試劃分方案，支持高效模型開發(fā) 數(shù)據(jù)集已通過Figshare平臺(tái)開源（DOI:10.6084/m9.figshare.28104782），為手術(shù)機(jī)器人智能決策、術(shù)者技能評(píng)估、手術(shù)流程優(yōu)化提供關(guān)鍵基礎(chǔ)，推動(dòng)人工智能驅(qū)動(dòng)的手術(shù)自動(dòng)化進(jìn)入新階段。

未來，將進(jìn)一步擴(kuò)大數(shù)據(jù)集的規(guī)模，提高數(shù)據(jù)多樣性；引入更多的客觀評(píng)價(jià)指標(biāo)和方法，提高評(píng)估結(jié)果的準(zhǔn)確性和可靠性；拓展測(cè)評(píng)數(shù)據(jù)集的應(yīng)用場景，為腹腔鏡領(lǐng)域大模型發(fā)展做出更多貢獻(xiàn)。（來源：瑞金醫(yī)院盧灣分院）

腹腔臟器全自動(dòng)智能識(shí)別技術(shù)的價(jià)值

在外科手術(shù)領(lǐng)域，精準(zhǔn)識(shí)別手術(shù)視頻中的關(guān)鍵步驟并評(píng)估操作規(guī)范性，是提升手術(shù)質(zhì)量與安全性的核心需求。傳統(tǒng)手術(shù)技能評(píng)估依賴專家主觀評(píng)分，存在耗時(shí)、易受主觀偏差影響等局限。隨著人工智能技術(shù)的發(fā)展，基于手術(shù)視頻的自動(dòng)化分析成為突破方向。

所謂腹腔鏡手術(shù)，就是在腹部的不同部位做數(shù)個(gè)直徑5～12毫米的小切口，通過這些小切口插入攝像鏡頭以及各種特殊的手術(shù)器械，將插入腹腔內(nèi)的攝像頭所拍攝的腹腔內(nèi)各種臟器的圖像傳輸?shù)斤@示屏幕上，外科醫(yī)生通過觀察圖像，用各種手術(shù)器械在體外進(jìn)行操作來完成手術(shù)。

隨著電子科學(xué)的發(fā)展，近數(shù)十年來，腹腔鏡顯示屏已基本完成由模擬信號(hào)向數(shù)字化、高清化的轉(zhuǎn)型，這也為圖像數(shù)字處理創(chuàng)造了條件。近年來，AI已經(jīng)在革新醫(yī)學(xué)圖像分析的領(lǐng)域中展示出前所未有的潛力，腹腔鏡圖像中器官自動(dòng)識(shí)別是日后全自動(dòng)手術(shù)的前提。

未來，該類系統(tǒng)有望成為術(shù)中實(shí)時(shí)質(zhì)量控制的核心工具，推動(dòng)外科手術(shù)從“經(jīng)驗(yàn)驅(qū)動(dòng)”向“數(shù)據(jù)驅(qū)動(dòng)”轉(zhuǎn)型。結(jié)合多模態(tài)數(shù)據(jù)融合與AI分析技術(shù)，深化AI與臨床醫(yī)學(xué)交叉合作，拓展智能手術(shù)系統(tǒng)在多科室的應(yīng)用，實(shí)現(xiàn)跨學(xué)科融合。也能為臨床教育賦能，利用AI輔助系統(tǒng)，加速年輕醫(yī)生手術(shù)技能培養(yǎng)，縮短學(xué)習(xí)曲線，提升整體醫(yī)療隊(duì)伍的專業(yè)水平。