隨著技術的快速進步，人工智能（AI）在醫(yī)療領域的應用越來越廣泛，它不僅有助于提高診療效率，還能幫助提升醫(yī)療服務質量。RAG檢索增強系統(tǒng)（Retrieval-Augmented Generation），作為一種先進的AI外部模型，其結合了信息檢索和文本生成的能力，為勻醫(yī)療服務場景中準確的數據處理和及時的知識更新提供了全新的解決方案。

本次分享三個方面內容：
1. Transformer模型的核心原理和優(yōu)勢

2. "涌現"和"幻覺"現象分析

3. Embedding技術和其在RAG中的應用

1. Transformer模型的核心原理和優(yōu)勢

Transformer模型自2017年由Vaswani等人提出以來，已經在自然語言處理（NLP）領域引起了革命性的變化。區(qū)別于以往的循環(huán)神經網絡（RNN）和長短期記憶網絡（LSTM），Transformer完全基于自注意力機制（Self-Attention Mechanism），能夠捕捉輸入序列之間的全局依賴關系，且不受序列距離的影響，顯著提高了處理長距離依賴問題的能力。在自注意力機制中，模型計算每一個輸入序列的元素對所有其他元素的注意力分數，通過這種權重分配，模型不僅能夠關注到序列中局部的重要信息，也可以捕捉全局的語義信息。

Transformer模型的另一個顯著優(yōu)點是并行計算的能力。與RNN系列模型相比，Transformer模型在訓練過程中，不需要像RNN那樣按時間順序逐步運算，而是能夠在一次計算中處理整個序列，從而在大規(guī)模數據集上顯著提高了訓練速度。

此外，Transformer模型引入的多頭注意力機制（Multi-Head Attention）進一步增強了模型的表示能力。通過將注意力分配到不同的表示子空間，多頭注意力能夠讓模型在同一時間內從多個角度分析輸入的信息，這使得Transformer在處理復雜的NLP任務時表現出更好的性能。

Transformer模型的這些優(yōu)勢為后續(xù)的模型演進提供了堅實基礎。BERT、GPT及其后續(xù)版本正是基于Transformer的架構，它們在一系列NLP任務上創(chuàng)造出了新的性能記錄，改寫了NLP領域的研究和應用景觀。

通過深入探討Transformer模型的核心原理和技術優(yōu)勢，我們能夠理解其在NLP領域成功的原因，并為進一步的研究提供了理論基礎。在接下來的部分，我們將分析大語言模型在實際應用中的某些局限，即“涌現”和“幻覺”現象，以及對相關技術的持續(xù)改進，特別是在RAG模型中Embedding技術的應用以提升問題回答的精確性。

2. "涌現"和"幻覺"現象分析

接下來我們聚焦于大型預訓練語言模型在使用過程中所面臨的兩類典型問題：“涌現”現象和“幻覺”現象。

“涌現”現象通常指的是，在對新的或未見過的任務進行處理時，模型表現出意料之外的行為或能力。這一現象多半在數據量巨大、模型規(guī)模龐大的語言模型中出現。這種能力的“涌現”可能源于深層網絡學到的高度抽象和復雜的表示能力，它揭示了模型在大規(guī)模數據上學習到的潛在知識結構；但同時，這種復雜性也可能引起模型在處理某些問題時出現不可預知的結果，特別是在其訓練數據中未充分覆蓋到的領域。

“幻覺”現象則指的是模型在生成文本時，基于錯誤的上下文信息或者無準確依據的情況下，創(chuàng)造出虛假信息或答案。模型的“幻覺”往往是由于其訓練數據的局限性，導致模型無法正確把握事實與虛構之間的界限。例如，在進行事實核查時，它可能會生成似是而非的信息，使得用戶在無法辨認信息真?zhèn)螘r陷入誤解。

此外，“幻覺”現象還可能與模型的過度自信有關，即有時即便模型對于某一問題不夠確定，它仍然會生成一個表達上聽起來非常確信的回答。對于涉及準確性要求極高的應用場合，如醫(yī)療、法律等領域，這種現象尤其不可忽視。

針對上述問題，深入研究和改進語言模型的訓練過程，增強模型對事實的敏感度和魯棒性尤為重要。其中一種有效方法是引入結構化知識的引導，或者通過外部知識庫的檢索來增強模型的判斷力。這種方法在RAG模型中得到了有效地應用，接下來我們將詳細探討Embedding技術在RAG模型中的重要作用以及它是如何應用來增強搜索技術，從而提高特定應用場景下問題回答的準確性。

3. Embedding技術和其在RAG中的應用

Embedding技術是在自然語言處理（NLP）中將詞匯映射到高維空間向量的常見方法，其核心目的是將自然語言中的離散文本單元（如詞匯或短語）轉換成連續(xù)的、密集的實數值向量。這一技術使計算機能夠以數理統(tǒng)計的方法捕捉并處理單詞之間的復雜語義關系和語法模式。諸如Word2Vec、GloVe及BERT內置的位置編碼等，都是Embedding技術流行的實踐形式。

在現代復雜的NLP任務中，詞嵌入技術有助于提升語言模型對詞義多樣性和上下文敏感度的處理能力。然而，即使在經過了精心設計的Embedding層之后，純粹的生成式語言模型依然可能在實際生成響應時偏離事實或出現一定程度的“幻覺”。

Retrieval-Augmented Generation（RAG）模型的提出，在一定程度上解決了上述問題。RAG模型是一種將檢索機制與生成模型結合的框架：在生成回答之前，它會首先檢索一個外部知識庫。這一過程依賴于Embedding技術，以便對知識庫中的內容進行高效的語義檢索；模型通過比較輸入問題和知識庫中文檔的向量表示，來確定最相關的內容。

一旦確定了相關的文檔，RAG將這些檢索到的信息與原始問題一起，作為語言生成模型的上下文。生成模型隨后在生成答案時，會在這個結合了外部知識的上下文基礎上進行。這種機制顯著提高了生成答案的準確性與可靠性，因為它實質上擴展了模型對現實世界知識的認知，從而減少了“涌現”和“幻覺”的問題。

進一步地，我們將探討RAG模型如何運作以及其在實際場景下的效能表現，這包括模型如何解析和處理輸入，檢索相關信息，以及最終如何生成響應，并對其在特定應用場景的準確度進行批判性評估。

案例：深圳市第三人民醫(yī)院，骨一科姜悎力主任，參與測試

（圖一、耐心解答，并及時提出反問，充實上下文回答內容，提高準確度）

（圖二、個性化信息訓練后，準確回答患者。）

（圖三、醫(yī)院不具備卻又是患者迫切需要的康復手段，直接解決患者困擾）

效果評估：

1）省時提效、

在深圳市第三人民醫(yī)院骨一科的試用進行比較順利，項目運行數月，自動回復患者問題約3000次，按每個問題節(jié)省醫(yī)生2分鐘計算，可節(jié)約醫(yī)生73小時。姜主任測試期間每周門診時間一天，提問多發(fā)生在門診日前后，如果門診時間更長的大夫，節(jié)省時間、提高效率會更加明顯。

2）患者滿意度、

我們經過對幾千條對話記錄的分析，有97%的患者在與人工智能的交談中得到了滿意的回答。

有3%的患者提問沒有得到充分的滿足，例如本地區(qū)社保局電話，我的報銷比例是多少之類。這些內容，在目前階段并沒有訓練進人工智能，它的回答給出了一個尋找這些信息的辦法。

3）化解潛在矛盾、

測試期間沒有因為人工智能回答產生一例投訴，相反，還化解了潛在的醫(yī)患矛盾，人工智能總是笑臉相迎，極大的緩解了由于繁重的工作壓力給醫(yī)患溝通帶來的負面情緒。

未來趨勢

在未來，我們預期會有若干發(fā)展趨勢改變現有的NLP技術格局。首先是知識庫動態(tài)化和個性化。動態(tài)更新的知識庫可以確保模型輸出的信息保持實時的相關性，而針對不同用戶或不同場景定制的個性化知識庫則能夠提供更加精準的信息服務。

本文由“健康號”用戶上傳、授權發(fā)布，以上內容（含文字、圖片、視頻）不代表健康界立場?！敖】堤枴毕敌畔l(fā)布平臺，僅提供信息存儲服務，如有轉載、侵權等任何問題，請聯系健康界（jkh@hmkx.cn）處理。

相關知識

AI + 醫(yī)療服務50個應用場景：重塑醫(yī)療健康新生態(tài)
醫(yī)療健康服務平臺的AI應用與前景展望
美年健康：AI醫(yī)療最佳應用場景跑出加速度
大模型如何服務醫(yī)療？上海市首個衛(wèi)生健康語料庫發(fā)布，首批醫(yī)療應用場景MaaS平臺亮相
深圳推進醫(yī)衛(wèi)領域AI全場景應用
覆蓋10大醫(yī)療應用場景！國產AI大模型應用典型案例盤點
循證醫(yī)學知識庫的智能預問診系統(tǒng)探究
Gitee AI助力醫(yī)療科研：醫(yī)用耗材使用分析研究
生成式AI賦能醫(yī)療數智化應用 “AI+醫(yī)療”服務模式還面臨哪些挑戰(zhàn)？
AI在醫(yī)院有哪些應用場景？這家醫(yī)院現身說法

網址: AI+RAG知識庫系統(tǒng)在醫(yī)療服務場景中的應用 http://m.u1s5d6.cn/newsview1265048.html