AIR科研|AIR打造虛擬醫(yī)院,實(shí)現(xiàn)AI醫(yī)生自我進(jìn)化
清華大學(xué)智能產(chǎn)業(yè)研究院(AIR)與清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系合作構(gòu)建了虛擬醫(yī)院Agent Hospital,提出了醫(yī)學(xué)智能體自我進(jìn)化方法MedAgent-Zero,通過(guò)在虛擬醫(yī)院中產(chǎn)生大量無(wú)需人工標(biāo)注的數(shù)據(jù),讓醫(yī)學(xué)智能體不斷提升醫(yī)療能力,并在真實(shí)世界數(shù)據(jù)集得到驗(yàn)證。Agent Hospital中所有的病人、護(hù)士和醫(yī)生均由大模型驅(qū)動(dòng)的自主智能體扮演,對(duì)發(fā)病、分診、掛號(hào)、問(wèn)診、檢查、診斷、開藥、康復(fù)和隨訪的“院前-院中-院后”閉環(huán)流程進(jìn)行模擬。Agent Hospital基于知識(shí)庫(kù)與基礎(chǔ)模型對(duì)虛擬病人的疾病產(chǎn)生與發(fā)展過(guò)程進(jìn)行模擬。虛擬醫(yī)生在Agent Hospital中進(jìn)行學(xué)習(xí)(即閱讀醫(yī)學(xué)文獻(xiàn))與實(shí)踐(即與虛擬病人交互并做診療決策),不斷從成功診療案例中總結(jié)經(jīng)驗(yàn)、從失敗案例中反思教訓(xùn),在多個(gè)診療任務(wù)上實(shí)現(xiàn)準(zhǔn)確率持續(xù)提升。在診療近萬(wàn)名虛擬病人后(人類醫(yī)生大約需要2年時(shí)間),虛擬醫(yī)生能夠在MedQA數(shù)據(jù)集呼吸道疾病子集上超越當(dāng)前最好的方法,達(dá)到93.06%的準(zhǔn)確率。該研究由AIR馬為之助理研究員與AIR執(zhí)行院長(zhǎng)、計(jì)算機(jī)系副系主任劉洋教授擔(dān)任論文共同通訊作者,在arXiv上公開后受到海內(nèi)外人工智能社區(qū)和醫(yī)學(xué)社區(qū)的廣泛關(guān)注和討論。
· 論文標(biāo)題:Agent Hospital: A Simulacrum of Hospital with Evolvable Medical Agents · 論文鏈接: https://arxiv.org/pdf/2405.02957v1Agent Hospital概覽
研究背景
近年來(lái),大規(guī)模語(yǔ)言模型蓬勃發(fā)展,基于大語(yǔ)言模型的智能體技術(shù)備受關(guān)注。已有研究利用智能體技術(shù)實(shí)現(xiàn)了真實(shí)世界模擬,包括“斯坦福小鎮(zhèn)”、“狼人殺游戲”等交互和博弈場(chǎng)景;同時(shí),智能體技術(shù)也被用在解決各類任務(wù)的調(diào)度規(guī)劃、協(xié)作過(guò)程,但這個(gè)過(guò)程大都依賴于高質(zhì)量人工標(biāo)注數(shù)據(jù)的支持。因此帶來(lái)的研究問(wèn)題是,真實(shí)環(huán)境模擬能否助力智能體的任務(wù)處理能力提升。
智慧醫(yī)療因其場(chǎng)景的重要性和應(yīng)用價(jià)值廣受關(guān)注,研究團(tuán)隊(duì)高度關(guān)注大語(yǔ)言模型和智能體技術(shù)在醫(yī)療場(chǎng)景的應(yīng)用研究。針對(duì)上述研究問(wèn)題,團(tuán)隊(duì)認(rèn)為真實(shí)的模型環(huán)境能夠助力智能體的任務(wù)能力提升和進(jìn)化,因此開展了結(jié)合真實(shí)世界模擬和醫(yī)學(xué)能力提升的Agent Hospital研究。在本工作中,團(tuán)隊(duì)致力于構(gòu)建醫(yī)院模擬環(huán)境,探索醫(yī)學(xué)智能體在該環(huán)境下的自主進(jìn)化。目的是讓智能體能夠像人類醫(yī)生一樣在診療和學(xué)習(xí)過(guò)程中自主積累醫(yī)學(xué)知識(shí),實(shí)現(xiàn)醫(yī)學(xué)能力的不斷進(jìn)化。Agent Hospital構(gòu)建
研究團(tuán)隊(duì)首先致力于利用大模型智能體模擬真實(shí)世界的關(guān)鍵醫(yī)療環(huán)節(jié)。在Agent Hospital中,團(tuán)隊(duì)設(shè)計(jì)并覆蓋了從疾病產(chǎn)生到康復(fù)的8個(gè)典型場(chǎng)景,即:發(fā)病、分診、掛號(hào)、問(wèn)診、檢查、診斷、開藥和康復(fù),且患者會(huì)主動(dòng)參與隨訪反饋。所有的環(huán)節(jié)流程均由大模型支持,在其中的角色間能夠進(jìn)行自主交互。
上圖展示了閉環(huán)的診療環(huán)節(jié):當(dāng)病人智能體角色Kenneth Morgan患病后,他會(huì)前往醫(yī)院求助。分診護(hù)士Katherine Li了解Morgan的癥狀進(jìn)行分析后,將他分診到具體科室就診。Morgan會(huì)根據(jù)醫(yī)囑完成掛號(hào)、咨詢、醫(yī)學(xué)檢查后,醫(yī)生Robert會(huì)給他最終的診斷和治療方案,Morgan將會(huì)根據(jù)醫(yī)囑回家休息并反饋給醫(yī)院康復(fù)情況,直至下次生病再前往醫(yī)院。
從上述示例中可以看到,研究團(tuán)隊(duì)為醫(yī)院主要設(shè)計(jì)了兩類角色:醫(yī)護(hù)人員和患者。所有的角色信息都是由大模型(GPT-3.5)生成,因而可以很輕松地?cái)U(kuò)展增加。部分角色的具體信息如下圖所示,35歲的患者Kenneth Morgan當(dāng)前患有急性鼻炎,且有高血壓病史,當(dāng)前有持續(xù)嘔吐等一系列癥狀;Zhao Lei則是一名經(jīng)驗(yàn)豐富的影像科醫(yī)生,內(nèi)科醫(yī)生Elise Martin具備優(yōu)秀的交流能力,擅長(zhǎng)內(nèi)科急/慢性疾病的診斷、治療。這些完整的人物信息背景提升了醫(yī)院模擬的真實(shí)性。
在上述醫(yī)療模擬過(guò)程中,疾病的產(chǎn)生是其中的關(guān)鍵。具體來(lái)說(shuō),當(dāng)前的病歷信息是由大語(yǔ)言模型結(jié)合醫(yī)學(xué)知識(shí)為患者生成完整的病歷,包括疾病類型、癥狀、持續(xù)時(shí)間、各項(xiàng)檢查結(jié)果等(具體內(nèi)容可見論文附錄)。需要注意的是,為了盡可能保證整個(gè)模擬流程的準(zhǔn)確性,患者智能體只會(huì)感知到自己的疾病癥狀但不知道具體疾病,而醫(yī)生智能體則只能通過(guò)和患者智能體對(duì)話問(wèn)診和開具檢查來(lái)了解信息?;颊咧悄荏w需要進(jìn)行的檢查、所患疾病類型和疾病嚴(yán)重程度判斷將作為三個(gè)關(guān)鍵任務(wù)來(lái)評(píng)價(jià)醫(yī)學(xué)智能體對(duì)虛擬病人的診療能力。
智能體自我進(jìn)化
MedAgent-Zero策略流程示意圖
如上圖所示,MedAgent-Zero的進(jìn)化方式包括兩種途徑: 1) 從成功案例中總結(jié)經(jīng)驗(yàn),對(duì)于能夠答對(duì)的診療問(wèn)題,智能體會(huì)像人類醫(yī)生一樣進(jìn)行病例庫(kù)經(jīng)驗(yàn)積累; 2) 從失敗案例中反思教訓(xùn),在回答錯(cuò)誤時(shí),智能體會(huì)主動(dòng)進(jìn)行錯(cuò)誤反思并進(jìn)行反思。 如果反思的經(jīng)驗(yàn)教訓(xùn)能夠幫助智能體回答對(duì)該問(wèn)題,它將被保留下來(lái)并存儲(chǔ)在經(jīng)驗(yàn)庫(kù)中。最終,研究團(tuán)隊(duì)將在虛擬數(shù)據(jù)上的訓(xùn)練過(guò)程中進(jìn)行上述兩方面的積累進(jìn)化。在每次推理過(guò)程中,智能體從兩個(gè)庫(kù)中檢索最相似的內(nèi)容并將其加入到Prompt中進(jìn)行In-context Learning,并根據(jù)回答的正確和錯(cuò)誤分別進(jìn)行病歷積累或者是經(jīng)驗(yàn)總結(jié),從而實(shí)現(xiàn)智能體能力的持續(xù)提升。
醫(yī)學(xué)能力評(píng)價(jià)
在虛擬醫(yī)院中,研究團(tuán)隊(duì)構(gòu)造了上萬(wàn)名虛擬病人的病歷用于醫(yī)學(xué)智能體的自主進(jìn)化實(shí)驗(yàn),包括甲流、乙流、新冠等8個(gè)呼吸道相關(guān)疾病,涉及十余種不同的醫(yī)學(xué)檢查。按照人類醫(yī)生一周治療約100名病人計(jì)算,人類醫(yī)生可能需要花兩年診斷10000名病人,但是智能體醫(yī)生只需要幾天就可以完成。
團(tuán)隊(duì)主要從兩方面對(duì)虛擬醫(yī)院中的醫(yī)學(xué)智能體進(jìn)行能力評(píng)價(jià)。首先是在虛擬環(huán)境中的醫(yī)學(xué)能力評(píng)價(jià):如下圖所示,在醫(yī)學(xué)智能體的訓(xùn)練過(guò)程中(左圖),隨著診療病人的增加,醫(yī)學(xué)智能體在三個(gè)關(guān)鍵任務(wù)上的準(zhǔn)確率持續(xù)上升并逐漸趨于平穩(wěn);而針對(duì)500個(gè)測(cè)試病歷的實(shí)驗(yàn)則發(fā)現(xiàn)(右圖),在診療病人數(shù)量增加的過(guò)程中智能體準(zhǔn)確率略有波動(dòng),但整體呈現(xiàn)上升趨勢(shì)。
智能體進(jìn)化前后在不同疾病的診斷表現(xiàn)
另一方面,團(tuán)隊(duì)使用了外部數(shù)據(jù)集MedQA的呼吸道疾病子集用于評(píng)價(jià)醫(yī)學(xué)智能體在真實(shí)世界的醫(yī)學(xué)能力。令人驚訝的是,即便在智能體進(jìn)化的過(guò)程中沒(méi)有使用任何人工標(biāo)注的數(shù)據(jù),在診療近萬(wàn)名病人后,醫(yī)學(xué)智能體能夠在該數(shù)據(jù)集上超越當(dāng)前最好的方法,達(dá)到了最高93.06%的準(zhǔn)確率,驗(yàn)證了模擬環(huán)境中醫(yī)學(xué)智能體自主進(jìn)化的有效性。
不同方法在MedQA子集上的正確率
此外,研究團(tuán)隊(duì)開展了消融實(shí)驗(yàn)驗(yàn)證,結(jié)果表明不管是從成功中積累的樣例還是從失敗中總結(jié)的經(jīng)驗(yàn)都有助于提升模型的醫(yī)學(xué)能力。
通訊作者簡(jiǎn)介
劉洋,清華大學(xué)萬(wàn)國(guó)數(shù)據(jù)教授、智能產(chǎn)業(yè)研究院(AIR)執(zhí)行院長(zhǎng)、計(jì)算機(jī)系副系主任,國(guó)家杰出青年基金獲得者。研究方向?yàn)槿斯ぶ悄堋⒆匀徽Z(yǔ)言處理與智慧醫(yī)療。個(gè)人主頁(yè):https://nlp.csai.tsinghua.edu.cn/~ly。
相關(guān)知識(shí)
AIR觀點(diǎn)|聶再清:數(shù)據(jù)驅(qū)動(dòng)的個(gè)性化營(yíng)養(yǎng)健康管理是慢病管理的核心
3999元!云米AI健康監(jiān)測(cè)馬桶Air上線 居然還能測(cè)血壓
Current status and prospects of air purification and disinfection technology
AIR學(xué)術(shù)|韓騰:新型感知與反饋?zhàn)匀唤换ゼ夹g(shù)
Health Impact Assessment of Air Pollution from Road Traffic Sources in China
Mass Concentrations, Source Analysis and Health Risk Assessment of Some Emerging Air Pollutants
AI虛擬教練助你練出人魚線,揭秘Keep AI運(yùn)動(dòng)技術(shù)實(shí)力
Ai健身運(yùn)動(dòng)中心!虛擬教練打造“運(yùn)動(dòng)處方”
心景科技:精神心理VR數(shù)字療法,助力實(shí)現(xiàn)“在虛擬中訓(xùn)練,在現(xiàn)實(shí)中康復(fù)”—維科號(hào)
心景科技:精神心理VR數(shù)字療法,助力實(shí)現(xiàn)“在虛擬中訓(xùn)練,在現(xiàn)實(shí)中康復(fù)”
網(wǎng)址: AIR科研|AIR打造虛擬醫(yī)院,實(shí)現(xiàn)AI醫(yī)生自我進(jìn)化 http://m.u1s5d6.cn/newsview572644.html
推薦資訊
- 1發(fā)朋友圈對(duì)老公徹底失望的心情 12775
- 2BMI體重指數(shù)計(jì)算公式是什么 11235
- 3補(bǔ)腎吃什么 補(bǔ)腎最佳食物推薦 11199
- 4性生活姿勢(shì)有哪些 盤點(diǎn)夫妻性 10425
- 5BMI正常值范圍一般是多少? 10137
- 6在線基礎(chǔ)代謝率(BMR)計(jì)算 9652
- 7一邊做飯一邊躁狂怎么辦 9138
- 8從出汗看健康 出汗透露你的健 9063
- 9早上怎么喝水最健康? 8613
- 10五大原因危害女性健康 如何保 7826