清華大學(xué)智能產(chǎn)業(yè)研究院（AIR）與清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系合作構(gòu)建了虛擬醫(yī)院Agent Hospital，提出了醫(yī)學(xué)智能體自我進(jìn)化方法MedAgent-Zero，通過(guò)在虛擬醫(yī)院中產(chǎn)生大量無(wú)需人工標(biāo)注的數(shù)據(jù)，讓醫(yī)學(xué)智能體不斷提升醫(yī)療能力，并在真實(shí)世界數(shù)據(jù)集得到驗(yàn)證。Agent Hospital中所有的病人、護(hù)士和醫(yī)生均由大模型驅(qū)動(dòng)的自主智能體扮演，對(duì)發(fā)病、分診、掛號(hào)、問(wèn)診、檢查、診斷、開藥、康復(fù)和隨訪的“院前-院中-院后”閉環(huán)流程進(jìn)行模擬。Agent Hospital基于知識(shí)庫(kù)與基礎(chǔ)模型對(duì)虛擬病人的疾病產(chǎn)生與發(fā)展過(guò)程進(jìn)行模擬。虛擬醫(yī)生在Agent Hospital中進(jìn)行學(xué)習(xí)（即閱讀醫(yī)學(xué)文獻(xiàn)）與實(shí)踐（即與虛擬病人交互并做診療決策），不斷從成功診療案例中總結(jié)經(jīng)驗(yàn)、從失敗案例中反思教訓(xùn)，在多個(gè)診療任務(wù)上實(shí)現(xiàn)準(zhǔn)確率持續(xù)提升。在診療近萬(wàn)名虛擬病人后（人類醫(yī)生大約需要2年時(shí)間），虛擬醫(yī)生能夠在MedQA數(shù)據(jù)集呼吸道疾病子集上超越當(dāng)前最好的方法，達(dá)到93.06%的準(zhǔn)確率。該研究由AIR馬為之助理研究員與AIR執(zhí)行院長(zhǎng)、計(jì)算機(jī)系副系主任劉洋教授擔(dān)任論文共同通訊作者，在arXiv上公開后受到海內(nèi)外人工智能社區(qū)和醫(yī)學(xué)社區(qū)的廣泛關(guān)注和討論。

· 論文標(biāo)題：Agent Hospital: A Simulacrum of Hospital with Evolvable Medical Agents · 論文鏈接： https://arxiv.org/pdf/2405.02957v1

Agent Hospital概覽

研究背景

近年來(lái)，大規(guī)模語(yǔ)言模型蓬勃發(fā)展，基于大語(yǔ)言模型的智能體技術(shù)備受關(guān)注。已有研究利用智能體技術(shù)實(shí)現(xiàn)了真實(shí)世界模擬，包括“斯坦福小鎮(zhèn)”、“狼人殺游戲”等交互和博弈場(chǎng)景；同時(shí)，智能體技術(shù)也被用在解決各類任務(wù)的調(diào)度規(guī)劃、協(xié)作過(guò)程，但這個(gè)過(guò)程大都依賴于高質(zhì)量人工標(biāo)注數(shù)據(jù)的支持。因此帶來(lái)的研究問(wèn)題是，真實(shí)環(huán)境模擬能否助力智能體的任務(wù)處理能力提升。

智慧醫(yī)療因其場(chǎng)景的重要性和應(yīng)用價(jià)值廣受關(guān)注，研究團(tuán)隊(duì)高度關(guān)注大語(yǔ)言模型和智能體技術(shù)在醫(yī)療場(chǎng)景的應(yīng)用研究。針對(duì)上述研究問(wèn)題，團(tuán)隊(duì)認(rèn)為真實(shí)的模型環(huán)境能夠助力智能體的任務(wù)能力提升和進(jìn)化，因此開展了結(jié)合真實(shí)世界模擬和醫(yī)學(xué)能力提升的Agent Hospital研究。在本工作中，團(tuán)隊(duì)致力于構(gòu)建醫(yī)院模擬環(huán)境，探索醫(yī)學(xué)智能體在該環(huán)境下的自主進(jìn)化。目的是讓智能體能夠像人類醫(yī)生一樣在診療和學(xué)習(xí)過(guò)程中自主積累醫(yī)學(xué)知識(shí)，實(shí)現(xiàn)醫(yī)學(xué)能力的不斷進(jìn)化。

Agent Hospital構(gòu)建

研究團(tuán)隊(duì)首先致力于利用大模型智能體模擬真實(shí)世界的關(guān)鍵醫(yī)療環(huán)節(jié)。在Agent Hospital中，團(tuán)隊(duì)設(shè)計(jì)并覆蓋了從疾病產(chǎn)生到康復(fù)的8個(gè)典型場(chǎng)景，即：發(fā)病、分診、掛號(hào)、問(wèn)診、檢查、診斷、開藥和康復(fù)，且患者會(huì)主動(dòng)參與隨訪反饋。所有的環(huán)節(jié)流程均由大模型支持，在其中的角色間能夠進(jìn)行自主交互。

主要診療環(huán)節(jié)示例

上圖展示了閉環(huán)的診療環(huán)節(jié)：當(dāng)病人智能體角色Kenneth Morgan患病后，他會(huì)前往醫(yī)院求助。分診護(hù)士Katherine Li了解Morgan的癥狀進(jìn)行分析后，將他分診到具體科室就診。Morgan會(huì)根據(jù)醫(yī)囑完成掛號(hào)、咨詢、醫(yī)學(xué)檢查后，醫(yī)生Robert會(huì)給他最終的診斷和治療方案，Morgan將會(huì)根據(jù)醫(yī)囑回家休息并反饋給醫(yī)院康復(fù)情況，直至下次生病再前往醫(yī)院。

從上述示例中可以看到，研究團(tuán)隊(duì)為醫(yī)院主要設(shè)計(jì)了兩類角色：醫(yī)護(hù)人員和患者。所有的角色信息都是由大模型（GPT-3.5）生成，因而可以很輕松地?cái)U(kuò)展增加。部分角色的具體信息如下圖所示，35歲的患者Kenneth Morgan當(dāng)前患有急性鼻炎，且有高血壓病史，當(dāng)前有持續(xù)嘔吐等一系列癥狀；Zhao Lei則是一名經(jīng)驗(yàn)豐富的影像科醫(yī)生，內(nèi)科醫(yī)生Elise Martin具備優(yōu)秀的交流能力，擅長(zhǎng)內(nèi)科急/慢性疾病的診斷、治療。這些完整的人物信息背景提升了醫(yī)院模擬的真實(shí)性。

虛擬角色的信息簡(jiǎn)介

在上述醫(yī)療模擬過(guò)程中，疾病的產(chǎn)生是其中的關(guān)鍵。具體來(lái)說(shuō)，當(dāng)前的病歷信息是由大語(yǔ)言模型結(jié)合醫(yī)學(xué)知識(shí)為患者生成完整的病歷，包括疾病類型、癥狀、持續(xù)時(shí)間、各項(xiàng)檢查結(jié)果等（具體內(nèi)容可見論文附錄）。需要注意的是，為了盡可能保證整個(gè)模擬流程的準(zhǔn)確性，患者智能體只會(huì)感知到自己的疾病癥狀但不知道具體疾病，而醫(yī)生智能體則只能通過(guò)和患者智能體對(duì)話問(wèn)診和開具檢查來(lái)了解信息?；颊咧悄荏w需要進(jìn)行的檢查、所患疾病類型和疾病嚴(yán)重程度判斷將作為三個(gè)關(guān)鍵任務(wù)來(lái)評(píng)價(jià)醫(yī)學(xué)智能體對(duì)虛擬病人的診療能力。

智能體自我進(jìn)化

傳統(tǒng)的大部分醫(yī)學(xué)模型訓(xùn)練方法依賴于預(yù)訓(xùn)練、微調(diào)等技術(shù)，因而需要大量的醫(yī)學(xué)數(shù)據(jù)以及部分高質(zhì)量人工標(biāo)注數(shù)據(jù)的支持。 然而，研究團(tuán)隊(duì)認(rèn)為，人類醫(yī)生能力提升過(guò)程不依賴這樣的海量數(shù)據(jù)，他們往往能從臨床實(shí)踐的診療過(guò)程中積累經(jīng)驗(yàn)，也會(huì)通過(guò)閱讀醫(yī)學(xué)文獻(xiàn)積累關(guān)鍵知識(shí)實(shí)現(xiàn)提升。 在虛擬醫(yī)院中的醫(yī)療智能體應(yīng)該也能實(shí)現(xiàn)類似的能力進(jìn)化。 因此，團(tuán)隊(duì)設(shè)計(jì)了名為“MedAgent-Zero”的智能體自我進(jìn)化算法，它如同AlphaGo-Zero一樣不依賴人工標(biāo)注數(shù)據(jù)，而是在虛擬醫(yī)院中利用學(xué)習(xí)（即閱讀醫(yī)學(xué)文獻(xiàn)）與實(shí)踐（即與虛擬病人交互并做診療決策）兩種途徑實(shí)現(xiàn)能力提升：一方面，醫(yī)學(xué)智能體可以按照上述診療流程，與虛擬病人進(jìn)行診療交互，在開具檢查、疾病診斷和治療建議三個(gè)任務(wù)上自主積累經(jīng)驗(yàn)；另一方面，醫(yī)學(xué)智能體也會(huì)進(jìn)行自主學(xué)習(xí)，基于LLM生成的醫(yī)學(xué)問(wèn)題模擬醫(yī)學(xué)文檔的學(xué)習(xí)過(guò)程。

MedAgent-Zero策略流程示意圖

如上圖所示，MedAgent-Zero的進(jìn)化方式包括兩種途徑： 1) 從成功案例中總結(jié)經(jīng)驗(yàn)，對(duì)于能夠答對(duì)的診療問(wèn)題，智能體會(huì)像人類醫(yī)生一樣進(jìn)行病例庫(kù)經(jīng)驗(yàn)積累； 2) 從失敗案例中反思教訓(xùn)，在回答錯(cuò)誤時(shí)，智能體會(huì)主動(dòng)進(jìn)行錯(cuò)誤反思并進(jìn)行反思。 如果反思的經(jīng)驗(yàn)教訓(xùn)能夠幫助智能體回答對(duì)該問(wèn)題，它將被保留下來(lái)并存儲(chǔ)在經(jīng)驗(yàn)庫(kù)中。

最終，研究團(tuán)隊(duì)將在虛擬數(shù)據(jù)上的訓(xùn)練過(guò)程中進(jìn)行上述兩方面的積累進(jìn)化。在每次推理過(guò)程中，智能體從兩個(gè)庫(kù)中檢索最相似的內(nèi)容并將其加入到Prompt中進(jìn)行In-context Learning，并根據(jù)回答的正確和錯(cuò)誤分別進(jìn)行病歷積累或者是經(jīng)驗(yàn)總結(jié)，從而實(shí)現(xiàn)智能體能力的持續(xù)提升。

醫(yī)學(xué)能力評(píng)價(jià)

在虛擬醫(yī)院中，研究團(tuán)隊(duì)構(gòu)造了上萬(wàn)名虛擬病人的病歷用于醫(yī)學(xué)智能體的自主進(jìn)化實(shí)驗(yàn)，包括甲流、乙流、新冠等8個(gè)呼吸道相關(guān)疾病，涉及十余種不同的醫(yī)學(xué)檢查。按照人類醫(yī)生一周治療約100名病人計(jì)算，人類醫(yī)生可能需要花兩年診斷10000名病人，但是智能體醫(yī)生只需要幾天就可以完成。

團(tuán)隊(duì)主要從兩方面對(duì)虛擬醫(yī)院中的醫(yī)學(xué)智能體進(jìn)行能力評(píng)價(jià)。首先是在虛擬環(huán)境中的醫(yī)學(xué)能力評(píng)價(jià)：如下圖所示，在醫(yī)學(xué)智能體的訓(xùn)練過(guò)程中（左圖），隨著診療病人的增加，醫(yī)學(xué)智能體在三個(gè)關(guān)鍵任務(wù)上的準(zhǔn)確率持續(xù)上升并逐漸趨于平穩(wěn)；而針對(duì)500個(gè)測(cè)試病歷的實(shí)驗(yàn)則發(fā)現(xiàn)（右圖），在診療病人數(shù)量增加的過(guò)程中智能體準(zhǔn)確率略有波動(dòng)，但整體呈現(xiàn)上升趨勢(shì)。

醫(yī)學(xué)智能體在訓(xùn)練集（左圖）和測(cè)試集（右圖）上的任務(wù)準(zhǔn)確率情況 隨后，研究團(tuán)隊(duì)對(duì)比了醫(yī)學(xué)智能體進(jìn)化前后在各個(gè)疾病上的診斷準(zhǔn)確率，發(fā)現(xiàn)均有大幅提升，驗(yàn)證了其自主進(jìn)化的有效性。

智能體進(jìn)化前后在不同疾病的診斷表現(xiàn)

另一方面，團(tuán)隊(duì)使用了外部數(shù)據(jù)集MedQA的呼吸道疾病子集用于評(píng)價(jià)醫(yī)學(xué)智能體在真實(shí)世界的醫(yī)學(xué)能力。令人驚訝的是，即便在智能體進(jìn)化的過(guò)程中沒(méi)有使用任何人工標(biāo)注的數(shù)據(jù)，在診療近萬(wàn)名病人后，醫(yī)學(xué)智能體能夠在該數(shù)據(jù)集上超越當(dāng)前最好的方法，達(dá)到了最高93.06%的準(zhǔn)確率，驗(yàn)證了模擬環(huán)境中醫(yī)學(xué)智能體自主進(jìn)化的有效性。  

不同方法在MedQA子集上的正確率

此外，研究團(tuán)隊(duì)開展了消融實(shí)驗(yàn)驗(yàn)證，結(jié)果表明不管是從成功中積累的樣例還是從失敗中總結(jié)的經(jīng)驗(yàn)都有助于提升模型的醫(yī)學(xué)能力。

MedAgent-Zero的消融實(shí)驗(yàn)表現(xiàn) 綜上所述，該研究工作構(gòu)建了首個(gè)虛擬醫(yī)院場(chǎng)景Agent Hospital，并提出了不依賴人工數(shù)據(jù)標(biāo)注的醫(yī)學(xué)智能體進(jìn)化算法MedAgent-Zero。在虛擬數(shù)據(jù)和真實(shí)數(shù)據(jù)的實(shí)驗(yàn)結(jié)果初步驗(yàn)證了模擬環(huán)境對(duì)于醫(yī)學(xué)智能體能力提升的有效性，為人工智能特別是大語(yǔ)言模型和智能體技術(shù)在智慧醫(yī)療場(chǎng)景的應(yīng)用提出了新的解決方案。但該研究工作目前仍存在一定的局限性，未來(lái)團(tuán)隊(duì)將在覆蓋的疾病病種、模擬環(huán)境的細(xì)致程度以及模型基座的選擇與優(yōu)化等方面繼續(xù)完善優(yōu)化。

通訊作者簡(jiǎn)介

馬為之，清華大學(xué)智能產(chǎn)業(yè)研究院（AIR）助理研究員，入選中國(guó)科協(xié)“青年人才托舉工程”。研究方向?yàn)橹悄苄畔@取、智慧醫(yī)療。個(gè)人主頁(yè)：https://mawz12.github.io。

劉洋，清華大學(xué)萬(wàn)國(guó)數(shù)據(jù)教授、智能產(chǎn)業(yè)研究院（AIR）執(zhí)行院長(zhǎng)、計(jì)算機(jī)系副系主任，國(guó)家杰出青年基金獲得者。研究方向?yàn)槿斯ぶ悄堋⒆匀徽Z(yǔ)言處理與智慧醫(yī)療。個(gè)人主頁(yè)：https://nlp.csai.tsinghua.edu.cn/~ly。

相關(guān)知識(shí)

AIR觀點(diǎn)｜聶再清：數(shù)據(jù)驅(qū)動(dòng)的個(gè)性化營(yíng)養(yǎng)健康管理是慢病管理的核心
3999元！云米AI健康監(jiān)測(cè)馬桶Air上線 居然還能測(cè)血壓
Current status and prospects of air purification and disinfection technology
AIR學(xué)術(shù)｜韓騰：新型感知與反饋?zhàn)匀唤换ゼ夹g(shù)
Health Impact Assessment of Air Pollution from Road Traffic Sources in China
Mass Concentrations, Source Analysis and Health Risk Assessment of Some Emerging Air Pollutants
AI虛擬教練助你練出人魚線，揭秘Keep AI運(yùn)動(dòng)技術(shù)實(shí)力
Ai健身運(yùn)動(dòng)中心！虛擬教練打造“運(yùn)動(dòng)處方”
心景科技：精神心理VR數(shù)字療法，助力實(shí)現(xiàn)“在虛擬中訓(xùn)練，在現(xiàn)實(shí)中康復(fù)”—維科號(hào)
心景科技：精神心理VR數(shù)字療法，助力實(shí)現(xiàn)“在虛擬中訓(xùn)練，在現(xiàn)實(shí)中康復(fù)”

網(wǎng)址: AIR科研｜AIR打造虛擬醫(yī)院，實(shí)現(xiàn)AI醫(yī)生自我進(jìn)化 http://m.u1s5d6.cn/newsview572644.html