隨著技術(shù)的快速進(jìn)步，人工智能（AI）在醫(yī)療領(lǐng)域的應(yīng)用越來(lái)越廣泛，它不僅有助于提高診療效率，還能幫助提升醫(yī)療服務(wù)質(zhì)量。RAG檢索增強(qiáng)系統(tǒng)（Retrieval-Augmented Generation），作為一種先進(jìn)的AI外部模型，其結(jié)合了信息檢索和文本生成的能力，為勻醫(yī)療服務(wù)場(chǎng)景中準(zhǔn)確的數(shù)據(jù)處理和及時(shí)的知識(shí)更新提供了全新的解決方案。

本次分享三個(gè)方面內(nèi)容：
1. Transformer模型的核心原理和優(yōu)勢(shì)

2. "涌現(xiàn)"和"幻覺(jué)"現(xiàn)象分析

3. Embedding技術(shù)和其在RAG中的應(yīng)用

1. Transformer模型的核心原理和優(yōu)勢(shì)

Transformer模型自2017年由Vaswani等人提出以來(lái)，已經(jīng)在自然語(yǔ)言處理（NLP）領(lǐng)域引起了革命性的變化。區(qū)別于以往的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM），Transformer完全基于自注意力機(jī)制（Self-Attention Mechanism），能夠捕捉輸入序列之間的全局依賴(lài)關(guān)系，且不受序列距離的影響，顯著提高了處理長(zhǎng)距離依賴(lài)問(wèn)題的能力。在自注意力機(jī)制中，模型計(jì)算每一個(gè)輸入序列的元素對(duì)所有其他元素的注意力分?jǐn)?shù)，通過(guò)這種權(quán)重分配，模型不僅能夠關(guān)注到序列中局部的重要信息，也可以捕捉全局的語(yǔ)義信息。

Transformer模型的另一個(gè)顯著優(yōu)點(diǎn)是并行計(jì)算的能力。與RNN系列模型相比，Transformer模型在訓(xùn)練過(guò)程中，不需要像RNN那樣按時(shí)間順序逐步運(yùn)算，而是能夠在一次計(jì)算中處理整個(gè)序列，從而在大規(guī)模數(shù)據(jù)集上顯著提高了訓(xùn)練速度。

此外，Transformer模型引入的多頭注意力機(jī)制（Multi-Head Attention）進(jìn)一步增強(qiáng)了模型的表示能力。通過(guò)將注意力分配到不同的表示子空間，多頭注意力能夠讓模型在同一時(shí)間內(nèi)從多個(gè)角度分析輸入的信息，這使得Transformer在處理復(fù)雜的NLP任務(wù)時(shí)表現(xiàn)出更好的性能。

Transformer模型的這些優(yōu)勢(shì)為后續(xù)的模型演進(jìn)提供了堅(jiān)實(shí)基礎(chǔ)。BERT、GPT及其后續(xù)版本正是基于Transformer的架構(gòu)，它們?cè)谝幌盗蠳LP任務(wù)上創(chuàng)造出了新的性能記錄，改寫(xiě)了NLP領(lǐng)域的研究和應(yīng)用景觀(guān)。

通過(guò)深入探討Transformer模型的核心原理和技術(shù)優(yōu)勢(shì)，我們能夠理解其在NLP領(lǐng)域成功的原因，并為進(jìn)一步的研究提供了理論基礎(chǔ)。在接下來(lái)的部分，我們將分析大語(yǔ)言模型在實(shí)際應(yīng)用中的某些局限，即“涌現(xiàn)”和“幻覺(jué)”現(xiàn)象，以及對(duì)相關(guān)技術(shù)的持續(xù)改進(jìn)，特別是在RAG模型中Embedding技術(shù)的應(yīng)用以提升問(wèn)題回答的精確性。

2. "涌現(xiàn)"和"幻覺(jué)"現(xiàn)象分析

接下來(lái)我們聚焦于大型預(yù)訓(xùn)練語(yǔ)言模型在使用過(guò)程中所面臨的兩類(lèi)典型問(wèn)題：“涌現(xiàn)”現(xiàn)象和“幻覺(jué)”現(xiàn)象。

“涌現(xiàn)”現(xiàn)象通常指的是，在對(duì)新的或未見(jiàn)過(guò)的任務(wù)進(jìn)行處理時(shí)，模型表現(xiàn)出意料之外的行為或能力。這一現(xiàn)象多半在數(shù)據(jù)量巨大、模型規(guī)模龐大的語(yǔ)言模型中出現(xiàn)。這種能力的“涌現(xiàn)”可能源于深層網(wǎng)絡(luò)學(xué)到的高度抽象和復(fù)雜的表示能力，它揭示了模型在大規(guī)模數(shù)據(jù)上學(xué)習(xí)到的潛在知識(shí)結(jié)構(gòu)；但同時(shí)，這種復(fù)雜性也可能引起模型在處理某些問(wèn)題時(shí)出現(xiàn)不可預(yù)知的結(jié)果，特別是在其訓(xùn)練數(shù)據(jù)中未充分覆蓋到的領(lǐng)域。

“幻覺(jué)”現(xiàn)象則指的是模型在生成文本時(shí)，基于錯(cuò)誤的上下文信息或者無(wú)準(zhǔn)確依據(jù)的情況下，創(chuàng)造出虛假信息或答案。模型的“幻覺(jué)”往往是由于其訓(xùn)練數(shù)據(jù)的局限性，導(dǎo)致模型無(wú)法正確把握事實(shí)與虛構(gòu)之間的界限。例如，在進(jìn)行事實(shí)核查時(shí)，它可能會(huì)生成似是而非的信息，使得用戶(hù)在無(wú)法辨認(rèn)信息真?zhèn)螘r(shí)陷入誤解。

此外，“幻覺(jué)”現(xiàn)象還可能與模型的過(guò)度自信有關(guān)，即有時(shí)即便模型對(duì)于某一問(wèn)題不夠確定，它仍然會(huì)生成一個(gè)表達(dá)上聽(tīng)起來(lái)非常確信的回答。對(duì)于涉及準(zhǔn)確性要求極高的應(yīng)用場(chǎng)合，如醫(yī)療、法律等領(lǐng)域，這種現(xiàn)象尤其不可忽視。

針對(duì)上述問(wèn)題，深入研究和改進(jìn)語(yǔ)言模型的訓(xùn)練過(guò)程，增強(qiáng)模型對(duì)事實(shí)的敏感度和魯棒性尤為重要。其中一種有效方法是引入結(jié)構(gòu)化知識(shí)的引導(dǎo)，或者通過(guò)外部知識(shí)庫(kù)的檢索來(lái)增強(qiáng)模型的判斷力。這種方法在RAG模型中得到了有效地應(yīng)用，接下來(lái)我們將詳細(xì)探討Embedding技術(shù)在RAG模型中的重要作用以及它是如何應(yīng)用來(lái)增強(qiáng)搜索技術(shù)，從而提高特定應(yīng)用場(chǎng)景下問(wèn)題回答的準(zhǔn)確性。

3. Embedding技術(shù)和其在RAG中的應(yīng)用

Embedding技術(shù)是在自然語(yǔ)言處理（NLP）中將詞匯映射到高維空間向量的常見(jiàn)方法，其核心目的是將自然語(yǔ)言中的離散文本單元（如詞匯或短語(yǔ)）轉(zhuǎn)換成連續(xù)的、密集的實(shí)數(shù)值向量。這一技術(shù)使計(jì)算機(jī)能夠以數(shù)理統(tǒng)計(jì)的方法捕捉并處理單詞之間的復(fù)雜語(yǔ)義關(guān)系和語(yǔ)法模式。諸如Word2Vec、GloVe及BERT內(nèi)置的位置編碼等，都是Embedding技術(shù)流行的實(shí)踐形式。

在現(xiàn)代復(fù)雜的NLP任務(wù)中，詞嵌入技術(shù)有助于提升語(yǔ)言模型對(duì)詞義多樣性和上下文敏感度的處理能力。然而，即使在經(jīng)過(guò)了精心設(shè)計(jì)的Embedding層之后，純粹的生成式語(yǔ)言模型依然可能在實(shí)際生成響應(yīng)時(shí)偏離事實(shí)或出現(xiàn)一定程度的“幻覺(jué)”。

Retrieval-Augmented Generation（RAG）模型的提出，在一定程度上解決了上述問(wèn)題。RAG模型是一種將檢索機(jī)制與生成模型結(jié)合的框架：在生成回答之前，它會(huì)首先檢索一個(gè)外部知識(shí)庫(kù)。這一過(guò)程依賴(lài)于Embedding技術(shù)，以便對(duì)知識(shí)庫(kù)中的內(nèi)容進(jìn)行高效的語(yǔ)義檢索；模型通過(guò)比較輸入問(wèn)題和知識(shí)庫(kù)中文檔的向量表示，來(lái)確定最相關(guān)的內(nèi)容。

一旦確定了相關(guān)的文檔，RAG將這些檢索到的信息與原始問(wèn)題一起，作為語(yǔ)言生成模型的上下文。生成模型隨后在生成答案時(shí)，會(huì)在這個(gè)結(jié)合了外部知識(shí)的上下文基礎(chǔ)上進(jìn)行。這種機(jī)制顯著提高了生成答案的準(zhǔn)確性與可靠性，因?yàn)樗鼘?shí)質(zhì)上擴(kuò)展了模型對(duì)現(xiàn)實(shí)世界知識(shí)的認(rèn)知，從而減少了“涌現(xiàn)”和“幻覺(jué)”的問(wèn)題。

進(jìn)一步地，我們將探討RAG模型如何運(yùn)作以及其在實(shí)際場(chǎng)景下的效能表現(xiàn)，這包括模型如何解析和處理輸入，檢索相關(guān)信息，以及最終如何生成響應(yīng)，并對(duì)其在特定應(yīng)用場(chǎng)景的準(zhǔn)確度進(jìn)行批判性評(píng)估。

案例：深圳市第三人民醫(yī)院，骨一科姜悎力主任，參與測(cè)試

（圖一、耐心解答，并及時(shí)提出反問(wèn)，充實(shí)上下文回答內(nèi)容，提高準(zhǔn)確度）

（圖二、個(gè)性化信息訓(xùn)練后，準(zhǔn)確回答患者。）

（圖三、醫(yī)院不具備卻又是患者迫切需要的康復(fù)手段，直接解決患者困擾）

效果評(píng)估：

1）省時(shí)提效、

在深圳市第三人民醫(yī)院骨一科的試用進(jìn)行比較順利，項(xiàng)目運(yùn)行數(shù)月，自動(dòng)回復(fù)患者問(wèn)題約3000次，按每個(gè)問(wèn)題節(jié)省醫(yī)生2分鐘計(jì)算，可節(jié)約醫(yī)生73小時(shí)。姜主任測(cè)試期間每周門(mén)診時(shí)間一天，提問(wèn)多發(fā)生在門(mén)診日前后，如果門(mén)診時(shí)間更長(zhǎng)的大夫，節(jié)省時(shí)間、提高效率會(huì)更加明顯。

2）患者滿(mǎn)意度、

我們經(jīng)過(guò)對(duì)幾千條對(duì)話(huà)記錄的分析，有97%的患者在與人工智能的交談中得到了滿(mǎn)意的回答。

有3%的患者提問(wèn)沒(méi)有得到充分的滿(mǎn)足，例如本地區(qū)社保局電話(huà)，我的報(bào)銷(xiāo)比例是多少之類(lèi)。這些內(nèi)容，在目前階段并沒(méi)有訓(xùn)練進(jìn)人工智能，它的回答給出了一個(gè)尋找這些信息的辦法。

3）化解潛在矛盾、

測(cè)試期間沒(méi)有因?yàn)槿斯ぶ悄芑卮甬a(chǎn)生一例投訴，相反，還化解了潛在的醫(yī)患矛盾，人工智能總是笑臉相迎，極大的緩解了由于繁重的工作壓力給醫(yī)患溝通帶來(lái)的負(fù)面情緒。

未來(lái)趨勢(shì)

在未來(lái)，我們預(yù)期會(huì)有若干發(fā)展趨勢(shì)改變現(xiàn)有的NLP技術(shù)格局。首先是知識(shí)庫(kù)動(dòng)態(tài)化和個(gè)性化。動(dòng)態(tài)更新的知識(shí)庫(kù)可以確保模型輸出的信息保持實(shí)時(shí)的相關(guān)性，而針對(duì)不同用戶(hù)或不同場(chǎng)景定制的個(gè)性化知識(shí)庫(kù)則能夠提供更加精準(zhǔn)的信息服務(wù)。

本文由“健康號(hào)”用戶(hù)上傳、授權(quán)發(fā)布，以上內(nèi)容（含文字、圖片、視頻）不代表健康界立場(chǎng)。“健康號(hào)”系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)，如有轉(zhuǎn)載、侵權(quán)等任何問(wèn)題，請(qǐng)聯(lián)系健康界（jkh@hmkx.cn）處理。

相關(guān)知識(shí)

AI + 醫(yī)療服務(wù)50個(gè)應(yīng)用場(chǎng)景：重塑醫(yī)療健康新生態(tài)
醫(yī)療健康服務(wù)平臺(tái)的AI應(yīng)用與前景展望
美年健康：AI醫(yī)療最佳應(yīng)用場(chǎng)景跑出加速度
大模型如何服務(wù)醫(yī)療？上海市首個(gè)衛(wèi)生健康語(yǔ)料庫(kù)發(fā)布，首批醫(yī)療應(yīng)用場(chǎng)景MaaS平臺(tái)亮相
深圳推進(jìn)醫(yī)衛(wèi)領(lǐng)域AI全場(chǎng)景應(yīng)用
覆蓋10大醫(yī)療應(yīng)用場(chǎng)景！國(guó)產(chǎn)AI大模型應(yīng)用典型案例盤(pán)點(diǎn)
循證醫(yī)學(xué)知識(shí)庫(kù)的智能預(yù)問(wèn)診系統(tǒng)探究
Gitee AI助力醫(yī)療科研：醫(yī)用耗材使用分析研究
生成式AI賦能醫(yī)療數(shù)智化應(yīng)用 “AI+醫(yī)療”服務(wù)模式還面臨哪些挑戰(zhàn)？
AI在醫(yī)院有哪些應(yīng)用場(chǎng)景？這家醫(yī)院現(xiàn)身說(shuō)法

網(wǎng)址: AI+RAG知識(shí)庫(kù)系統(tǒng)在醫(yī)療服務(wù)場(chǎng)景中的應(yīng)用 http://m.u1s5d6.cn/newsview1265048.html