首頁資訊首篇“虛擬現(xiàn)實+人工智能”綜述，浙大、港中深等發(fā)布AI醫(yī)療最新報告

首篇“虛擬現(xiàn)實+人工智能”綜述，浙大、港中深等發(fā)布AI醫(yī)療最新報告

來源：泰然健康網(wǎng) 時間：2024年12月16日 01:49

新智元報道

編輯：LRST 好困

【新智元導(dǎo)讀】本文對AI增強的VR在醫(yī)療應(yīng)用中的技術(shù)細節(jié)、工作流程和下游應(yīng)用進行了全面審視，并提出了一個系統(tǒng)性的分類方法，將相關(guān)工作分為醫(yī)學(xué)視覺增強、VR醫(yī)學(xué)數(shù)據(jù)處理和VR輔助干預(yù)三個主要類別，為未來跨學(xué)科研究提供了基礎(chǔ)。

人工智能（AI）加持下的虛擬現(xiàn)實（VR）技術(shù)已經(jīng)逐漸發(fā)展成了一個橫跨多個領(lǐng)域的交互式媒介，可以為用戶提供前所未有的沉浸式體驗。在眾多應(yīng)用場景中，醫(yī)療被認為是最具發(fā)展?jié)摿Φ念I(lǐng)域。

論文地址：https://www.ijcai.org/proceedings/2024/920

項目地址：https://github.com/yixuan730/Awesome-Virtual-Reality-in-Medicine

在本篇工作中，來自浙江大學(xué)、香港中文大學(xué)深圳以及圣母大學(xué)的研究人員對醫(yī)療領(lǐng)域的虛擬現(xiàn)實技術(shù)進行了全面的審視，并進行系統(tǒng)性的分類。

其中，吳逸璇與胡凱源為共同第一作者。

背景介紹

人工智能技術(shù)和虛擬現(xiàn)實技術(shù)的交叉融合是醫(yī)療領(lǐng)域中一個新興的前沿方向，人工智能技術(shù)和虛擬現(xiàn)實技術(shù)將當前數(shù)據(jù)驅(qū)動的分析和沉浸式的醫(yī)學(xué)診斷相結(jié)合，使之成為當前醫(yī)療保健領(lǐng)域中的關(guān)鍵研究方向。

該項綜述的目的是深入探討AI加持下的虛擬現(xiàn)實技術(shù)在醫(yī)療場景中的技術(shù)細節(jié)、工作流程，以及下游應(yīng)用，同時評估其對醫(yī)療服務(wù)效率、準確性和有效性的影響。

為了系統(tǒng)性地理解和分析AI在醫(yī)學(xué)虛擬現(xiàn)實的應(yīng)用，本文提出了一個全新的分類方法，將當前相關(guān)領(lǐng)域的工作分類三個主要類別：醫(yī)學(xué)視覺增強、VR醫(yī)學(xué)數(shù)據(jù)處理，以及VR輔助干預(yù)。這種分類方法幫助我們?nèi)媪私猱斍搬t(yī)療VR場景下AI技術(shù)的最新進展：

醫(yī)學(xué)視覺增強：著重于提升醫(yī)療人員在虛擬空間中的視角感知，有助于幫助醫(yī)療人員理解錯綜復(fù)雜的解剖結(jié)構(gòu)以及空間關(guān)系。該類別分為兩個子領(lǐng)域：虛擬物體重建和虛擬視覺增強

VR醫(yī)學(xué)數(shù)據(jù)處理：主要探討當前VR系統(tǒng)對于分析和理解復(fù)雜醫(yī)學(xué)數(shù)據(jù)的能力，這一類別討論了VR在AI的融合下，如何輔助深入的結(jié)構(gòu)和病變分析、提升診斷能力，以及對外殼手術(shù)的各個階段提供相應(yīng)支持。主要關(guān)注從傳統(tǒng)2D數(shù)據(jù)到更加動態(tài)的3D數(shù)據(jù)的分析方法的轉(zhuǎn)變。

VR輔助干預(yù)：該領(lǐng)域主要介紹和分析當前AI驅(qū)動的VR技術(shù)在實時互動的醫(yī)療場景中的實際應(yīng)用。該類別涵蓋了VR技術(shù)在手術(shù)過程中的直接指導(dǎo)和輔助以及手術(shù)過程中的交互式合作兩個方向的分析和討論。

該篇工作為AI加持下的醫(yī)療場景VR技術(shù)的首次系統(tǒng)性的調(diào)查，為未來該學(xué)科領(lǐng)域的研究奠定了基礎(chǔ)。

上圖展示了AI加持下的VR輔助醫(yī)療的工作流程：

首先，醫(yī)學(xué)視覺增強關(guān)注在虛擬或增強現(xiàn)實場景中，提升醫(yī)療人員的視覺和感知。

隨后，VR醫(yī)學(xué)數(shù)據(jù)處理討論了虛擬現(xiàn)實技術(shù)如何與AI結(jié)合，以此輔助對機構(gòu)和病變的分析，增強疾病診療能力，并在全手術(shù)流程中提供支持。

最后，VR輔助干預(yù)涵蓋了如何利用VR技術(shù)對手術(shù)過程直接提供指導(dǎo)和輔助，以及促進醫(yī)療人員在醫(yī)療干預(yù)過程中的互動合作。

分類方法

本文通過分類法將具有相似目標的AI增強的虛擬現(xiàn)實技術(shù)在醫(yī)療場景中進行分類，以便深入進行研究。

作者根據(jù)診斷和治療的程序，將當前最新的方法和應(yīng)用分類為三個不同的類別：醫(yī)學(xué)視覺增強、VR醫(yī)學(xué)數(shù)據(jù)處理，以及VR輔助干預(yù)。具體分類方法如下圖所示：

醫(yī)學(xué)視覺增強

AI技術(shù)的飛速發(fā)展為VR平臺提供了在診療過程中增強醫(yī)療人員視覺感知的能力。視覺增強技術(shù)可以分為一下兩個子類：虛擬物體重建和可視化增強

虛擬物體重建：通過AI增強的重建方法，使得醫(yī)療人員以更加直觀的方法查看醫(yī)療數(shù)據(jù)，提升其對于復(fù)雜解剖結(jié)構(gòu)的感知和理解。通過在虛擬環(huán)境中對現(xiàn)實對象進行重建（如器官、解剖結(jié)構(gòu)等），醫(yī)療人員可以更加清晰、全面地了解患者的狀況，有助于進行進一步的治療規(guī)劃和決策。目前，基于機器學(xué)習(xí)的前沿重建方法主要可以分為兩類：生成式模型以及神經(jīng)隱式函數(shù)。

例：基于深度信息的全場景手術(shù)室重建

可視化增強：專注于改善醫(yī)療人員在培訓(xùn)或手術(shù)階段的視覺感知。此類技術(shù)通過讓醫(yī)療人員沉浸在增強現(xiàn)實或虛擬現(xiàn)實手術(shù)場景中，為他們提供增強的視覺感知，使得他們能夠以更高的精度執(zhí)行治療程序，從而提升治療效果。該領(lǐng)域主要涉及兩個方面：渲染方法提升以及視覺感知增強

例：基于點云超分和點云補全方法對原始的手術(shù)桌重建進行質(zhì)量提升

VR醫(yī)學(xué)數(shù)據(jù)處理

虛擬環(huán)境中的增強視覺為醫(yī)療數(shù)據(jù)處理提供了額外的分析能力。利用虛擬現(xiàn)實技術(shù)的沉浸式和交互式的特性，醫(yī)療人員能夠獲取額外的視覺信息輔助，突破傳統(tǒng)場景下2D數(shù)據(jù)在各類醫(yī)療場景下的限制。具體分類如下：

結(jié)構(gòu)和病變分析：在醫(yī)療場景中，使用各種數(shù)據(jù)格式，如點云、網(wǎng)格、體素等（具體分類如下表所示），使得AI加持下的VR系統(tǒng)能夠?qū)馄式Y(jié)構(gòu)和病變情況進行更加全面的分析，從而為準確診斷提供額外的感知信息。

疾病診斷：基于對虛擬現(xiàn)實場景的醫(yī)療數(shù)據(jù)進行全面的分析，可以為多種分析診療方法打下基礎(chǔ)，如語義分割、特征提取以及知識嵌入。

術(shù)中支持：在數(shù)據(jù)分析和診斷的基礎(chǔ)上，基于VR醫(yī)學(xué)數(shù)據(jù)的分析對手術(shù)過程中的準確性和有效性實現(xiàn)了提升，當前工作涵蓋多個方面，包括：術(shù)前規(guī)劃、術(shù)中跟蹤識別和術(shù)后分析反饋。

多種三維醫(yī)療數(shù)據(jù)的對比和可視化結(jié)果

VR輔助干預(yù)

基于AI增強的可視化和分析技術(shù)，VR輔助干預(yù)展示了其在診療和手術(shù)階段中增強醫(yī)療人員能力的巨大潛力。

本章節(jié)主要討論虛擬現(xiàn)實技術(shù)如何在術(shù)中直接為醫(yī)療人員提供指導(dǎo)以及以交互和協(xié)作的方式為醫(yī)療人員提供反饋。

術(shù)中干預(yù)：通過將AI加持的診療功能集成在虛擬現(xiàn)實平臺中（如物體分割、手術(shù)階段識別等），在手術(shù)過程中直接為醫(yī)療人員提供指導(dǎo)或協(xié)助。該項技術(shù)包含整合多模態(tài)的數(shù)據(jù)輸入和多平臺融合。

交互式協(xié)作：利用人機交互技術(shù)為診療人員提供交互式的術(shù)中反饋。最近的視覺問答（VQA）和視覺問題定位回答（VQLA）技術(shù)在這一領(lǐng)域中發(fā)揮了關(guān)鍵作用。

當前挑戰(zhàn)與未來展望

當前挑戰(zhàn)

數(shù)據(jù)與集成：高質(zhì)量、多樣化的數(shù)據(jù)集對于訓(xùn)練高性能的AI模型至關(guān)重要，然而，目前AI驅(qū)動的醫(yī)療虛擬現(xiàn)實技術(shù)所需的訓(xùn)練數(shù)據(jù)依舊稀缺和碎片化。同時，將AI-VR融合方法集成到現(xiàn)有的醫(yī)療保健系統(tǒng)，是一項復(fù)雜困難的工作。

倫理和法律：患者隱私、數(shù)據(jù)安全以及知情同意在AI輔助醫(yī)療領(lǐng)域格外重要，AI-VR系統(tǒng)必須確保患者的隱私和安全。此在，該領(lǐng)域產(chǎn)生錯誤時的責任問題仍未解決，使得醫(yī)療服務(wù)提供者、技術(shù)人員和患者面臨的法律問題更加復(fù)雜。

用戶接受度：AI系統(tǒng)的“黑盒”特質(zhì)可能會影響用戶的信任和接受度，因此，醫(yī)療人員通常需要理解AI輔助診療背后的決策過程。此外，為各類用戶設(shè)計用戶友好的界面，克服醫(yī)療人員和患者對于新技術(shù)的恐懼感，對于AI-VR輔助醫(yī)療的落地至關(guān)重要。

未來展望

沉浸式醫(yī)療：AI算法的發(fā)展進一步幫助VR技術(shù)在沉浸式醫(yī)療場景提供更加準確高效的解決方案。例如，在VR醫(yī)療場景中整合自然語言處理（NLP）模塊，增強對患者語音和病例的理解。

定制的醫(yī)療干預(yù)手段：利用AI算法對用戶在VR場景中的互動進行分析，從而定制治療方法、進行決策，該種方法在心理保健場景下尤為適用。

AI增強的實時診療分析：AI加持的虛擬現(xiàn)實技術(shù)具備改變遠程醫(yī)療和醫(yī)療培訓(xùn)的潛力，尤其是在資源匱乏的地區(qū)。通過實時數(shù)據(jù)分析，AI平臺可以提供實時的診療支持，輔助診療過程中的決策，增強醫(yī)療保健環(huán)節(jié)的可及性和公平性。

參考資料：

https://www.ijcai.org/proceedings/2024/920

網(wǎng)址: 首篇“虛擬現(xiàn)實+人工智能”綜述，浙大、港中深等發(fā)布AI醫(yī)療最新報告 http://m.u1s5d6.cn/newsview557279.html