新華社北京12月17日電（記者魏夢佳）記者從北京大學(xué)未來技術(shù)學(xué)院獲悉，北京大學(xué)與溫州醫(yī)科大學(xué)的研究團(tuán)隊建立一種生成式多模態(tài)跨器官醫(yī)學(xué)影像基礎(chǔ)模型（MINIM），可基于文本指令以及多器官的多種成像方式，合成海量的高質(zhì)量醫(yī)學(xué)影像數(shù)據(jù)，為醫(yī)學(xué)影像大模型的訓(xùn)練、精準(zhǔn)醫(yī)療及個性化診療等提供有力技術(shù)支持。該成果已于近期在國際權(quán)威期刊《自然·醫(yī)學(xué)》上在線發(fā)表。

醫(yī)學(xué)影像大模型是利用深度學(xué)習(xí)和大規(guī)模數(shù)據(jù)訓(xùn)練的AI通用模型，可自動分析醫(yī)學(xué)影像以輔助診斷和治療規(guī)劃。但要提升大模型的性能，就需要大量數(shù)據(jù)不斷進(jìn)行訓(xùn)練。然而，由于患者隱私保護(hù)、高昂的數(shù)據(jù)標(biāo)注成本等多種因素，要獲得高質(zhì)量、多樣化的醫(yī)學(xué)影像數(shù)據(jù)往往存在障礙。為此，近年來，研究者們開始探索使用生成式AI技術(shù)合成醫(yī)學(xué)影像數(shù)據(jù)，以此來擴充數(shù)據(jù)。

圖為由MINIM生成的高質(zhì)量醫(yī)學(xué)合成圖像（受訪者供圖）

“目前公開的醫(yī)學(xué)影像數(shù)據(jù)非常有限，我們建立的生成式模型有望解決訓(xùn)練數(shù)據(jù)不夠的問題?！北本┐髮W(xué)未來技術(shù)學(xué)院助理研究員王勁卓說，研究團(tuán)隊利用多種器官在CT、X光、磁共振等不同成像方式下的高質(zhì)量影像文本配對數(shù)據(jù)進(jìn)行訓(xùn)練，最終生成海量的醫(yī)學(xué)合成影像，其在圖像特征、細(xì)節(jié)呈現(xiàn)等多方面都與真實醫(yī)學(xué)圖像高度一致。

實驗結(jié)果顯示，MINIM生成的合成數(shù)據(jù)在醫(yī)生主觀評測指標(biāo)和多項客觀檢驗標(biāo)準(zhǔn)方面達(dá)國際領(lǐng)先水平，在臨床應(yīng)用中具有重要參考價值。在真實數(shù)據(jù)基礎(chǔ)上，使用20倍合成數(shù)據(jù)在眼科、胸科、腦科和乳腺科的多個醫(yī)學(xué)任務(wù)準(zhǔn)確率平均可提升12%至17%。

王勁卓表示，MINIM產(chǎn)生的合成數(shù)據(jù)具有廣泛應(yīng)用前景，可單獨作為訓(xùn)練集來構(gòu)建醫(yī)學(xué)影像大模型，也可與真實數(shù)據(jù)結(jié)合使用，提高模型在實際任務(wù)中的性能，推動AI在醫(yī)學(xué)和健康領(lǐng)域更廣泛應(yīng)用。目前，在疾病診斷、醫(yī)學(xué)報告生成和自監(jiān)督學(xué)習(xí)等關(guān)鍵領(lǐng)域，利用MINIM合成數(shù)據(jù)進(jìn)行訓(xùn)練已展現(xiàn)出顯著的性能提升。

【責(zé)任編輯:劉笑冬】

相關(guān)知識

李真林：全面推進(jìn)醫(yī)學(xué)影像技術(shù)學(xué)科發(fā)展?提升我國醫(yī)學(xué)影像技術(shù)學(xué)影響力
用生成式AI改善運動健康，夸父大模型揭秘基礎(chǔ)設(shè)施秘籍
NASM（美國國家運動醫(yī)學(xué)會）OPT訓(xùn)練模型——整合式訓(xùn)練
AI+醫(yī)療，助力健康中國建設(shè)（新技術(shù)?新進(jìn)展②）
人工智能（AI）+醫(yī)療發(fā)展受益于政策支持和技術(shù)進(jìn)步的快速發(fā)展
覆蓋10大醫(yī)療應(yīng)用場景！國產(chǎn)AI大模型應(yīng)用典型案例盤點
讓AI大模型成為你的育兒顧問：科學(xué)育兒，從此不再迷茫！
“產(chǎn)、學(xué)、研、管”深度融合 專家學(xué)者熱議AI賦能醫(yī)學(xué)影像技術(shù)
維塑科技為數(shù)字健康打造一顆智能大腦“夸父大模型”
ChatGLM大模型驅(qū)動的AI健身教練革新體驗

網(wǎng)址: 我國科學(xué)家建立生成式模型為醫(yī)學(xué)AI訓(xùn)練提供技術(shù)支持 http://m.u1s5d6.cn/newsview617467.html