康復運動訓練可以幫助由于中樞神經(jīng)損傷病癥引起運動障礙的患者進行神經(jīng)功能重組,恢復精細動作能力[1-2].當前對于康復訓練的指導,往往通過臨床醫(yī)師的直接觀察與輔助來進行.然而我國目前供應康復患者的醫(yī)療資源不足[3],智能醫(yī)療器械普及度不高,且由于90%以上的康復訓練由患者居家完成[4],許多患者缺乏專業(yè)客觀的康復訓練評估與反饋,這直接影響訓練效果和持久性.直觀而及時地評估反饋能夠提高患者的訓練積極性,也能提高訓練效果[5].因此,研究智能評估康復患者訓練動作的方法具有重要的臨床應用價值.

針對康復訓練的動作評估,傳統(tǒng)方式多采用康復運動量表,例如運動功能性篩查[6]和Fugl-Meyer評估[7].這類量表將特定的動作幅度劃分為多個等級,由臨床醫(yī)師觀察病人表現(xiàn)并根據(jù)量表打分,最后計算多個動作指標得分,得到康復病人運動能力的評估結果.隨著傳感器與體感設備投入應用,以距離度量的方式衡量動作表現(xiàn)水平的研究逐漸增加[8].湯翾等[9]利用Kinect相機對人體關鍵點信息和環(huán)境的深度信息進行跟蹤分析,依次使用歐氏距離和模板匹配定位方法來判斷人體動作是否標準;楊文璐等[10]采用動態(tài)時間規(guī)整(Dynamic Time Warp~ing, DTW)算法來計算Kinect相機所獲得的患者下肢體動作序列信息與動作庫中標準動作序列特征之間的相關度,加入時間參量后綜合得出患者動作評估結果;吳齊云等[11]在使用Kinect相機的基礎上,改進DTW算法,提高運算速率,進行兩組動作序列的角度值匹配,再通過K-means聚類方法對距離進行評估并得到結果.

除了使用距離度量方式進行動作評估,使用概率模型進行動作評估也成為研究熱點.Houmanfar等[12]利用佩戴在人體上的慣性測量傳感器數(shù)據(jù),提出基于運動特征和基于隱馬爾科夫模型兩種動作評估方法,分別實現(xiàn)對單項訓練科目的動作評估和多項訓練科目的總體動作評估.Su等[13]利用Kinect相機,采用DTW算法和模糊邏輯完成對康復患者居家訓練的動作評估.Capecci等[14]則提出用隱半馬爾科夫模型對RGBD相機的動作數(shù)據(jù)進行處理,并通過臨床評估和DTW算法來驗證方法的可靠性.Liao等[15]首次提出采用深度學習框架來進行動作評估,先采用高斯混合模型(Gaussian Mixture Model, GMM)對動作數(shù)據(jù)進行降維和建模,根據(jù)概率模型的似然數(shù)據(jù)輸出動作的評估分數(shù)作為標簽,然后訓練深度學習網(wǎng)絡來評估康復訓練動作.

在以上研究中,傳統(tǒng)人為動作評估方法具有較強的主觀性并且需要大量的康復醫(yī)師資源,難以滿足大量的康復訓練需求.利用動作相似性度量方法(如歐氏距離)來進行動作評估的方式采用與傳統(tǒng)方式類似的觀察視角,度量重要運動關節(jié)的運動數(shù)據(jù)變化,獲得區(qū)分顯著的動作評估結果.但是這種方法往往要求動作序列具有邊界固定性[10],即只能評估已分割完成的單個動作序列樣本,難以評估連續(xù)動作重復樣本.有研究[16-17]采用動作識別的方式檢測康復訓練動作,但通常需要引入深度學習等方式增加運算量,缺乏實用性;基于概率模型的評估方式近年來有較多研究,在對動作的評估中也有研究利用概率模型完成對連續(xù)重復動作序列的自動分割.但基于概率模型的動作評估結果對于健康樣本和患者樣本的區(qū)分效果有限,無法顯著區(qū)分健康人與康復患者的動作評估得分[18].

由此,提出一種對連續(xù)康復訓練動作分割與評估的方法.首先,對健康人動作進行概率模型建模和標準動作模板制作;然后,對于康復患者的連續(xù)重復運動數(shù)據(jù)樣本,使用概率模型進行動作分割,將單個運動分割片段分別進行概率模型評估和距離評估;最后,融合兩種方法的評估結果并進行多特征融合動作評估,得到連續(xù)康復訓練動作樣本的評估得分.該方法運用醫(yī)療領域的先驗知識,利用概率模型對建模后的動作進行分割與評估,結合距離度量手段來提高動作評估模型對正負樣本的區(qū)分度,具有良好的實際應用價值.

1 動作建模

連續(xù)康復訓練動作分割與評估框架如圖1所示.主要步驟為:先根據(jù)健康人運動數(shù)據(jù)建立動作模型,再根據(jù)動作模型對康復患者運動進行分割與評估.

圖1

圖1  連續(xù)康復訓練動作分割與評估框架

Fig.1  Framework of continuous rehabilitation exercises segmentation and evaluation

人體運動數(shù)據(jù)通常是由多個人體關鍵點坐標組成的高維運動向量,用來表征運動時每個人體關鍵點的位置信息,進一步計算能夠得到運動時每一個關節(jié)角度的變化信息.為了使常用于描述低維數(shù)據(jù)的GMM能夠表達人體運動信息,需要對人體運動數(shù)據(jù)進行特征提取來降低維度.

首先對運動數(shù)據(jù)進行預處理,利用運動采集儀器得到的動作數(shù)據(jù)為關節(jié)角度值,若以角度為單位,數(shù)據(jù)區(qū)間為[0°, 180°].不同關節(jié)角數(shù)據(jù)變化差異較大,不進行縮放會對后續(xù)建模處理帶來計算開銷過大、特征混雜的問題,影響算法收斂速度.因此,需要對運動數(shù)據(jù)進行歸一化處理.數(shù)據(jù)預處理具體實施步驟為:先得到整體運動數(shù)據(jù)的均值、最大值與最小值,將所有數(shù)據(jù)減去均值使得數(shù)據(jù)均勻分布在0兩側,以最大值與最小值的差值作為縮放比例,再將所有數(shù)據(jù)乘以縮放比例即可得到在區(qū)間 [-1, 1]的所有數(shù)據(jù).

對于預處理后的運動數(shù)據(jù),采用主成分分析法對高維人體運動數(shù)據(jù)進行降維處理,利用正交變換對一系列可能相關的變量觀測值進行線性變換,從而投影為一系列線性不相關變量的值,保留數(shù)據(jù)中對方差貢獻最大的特征作為動作分析的主要特征.最后,取用具有最大方差的特征數(shù)據(jù)作為人體運動特征進行后續(xù)分析,其方差大小占所有方差總和的97.8%.

1.1 GMM原理

GMM是一種常用的聚類算法,能夠用多個正態(tài)分布的概率密度函數(shù)的線性組合來描述任意維度變量的分布,因此有研究[15]將該模型用于人體動作建模.

將觀測數(shù)據(jù)表示為x,模型參數(shù)表示為θ,則GMM的概率分布模型如下:

P(x|θ)= ∑k=1Kαk?(x|θk)

(1)

式中:K為高斯模型的個數(shù);αk為各高斯模型的系數(shù),αk≥0,∑k=1Kαk=1;?(x|θk)為高斯分布密度函數(shù),對于一維GMM,θk=(μk, σ2k),其中μk為樣本均值,σ2k為樣本方差;對于二維GMM,θk=(μk, Σk),將觀測數(shù)據(jù)表示為列向量x,維數(shù)為2,具體形式如下式所示:

P(x|θ)= ∑k=1Kαk?(x|θk)= ∑k=1Kαk1(2π)D/2|Σk|1/2×exp [-12(x-μk)TΣ-1k(x-μk)]

(2)

式中:D為數(shù)據(jù)維數(shù);μk為樣本均值,維數(shù)為2;Σk為樣本的協(xié)方差矩陣,維數(shù)為2×2.

對于數(shù)據(jù)樣本序列x=(x1, x2, …, xj),j=1, 2, …, N,由GMM計算似然對數(shù)概率值的計算方法如下:

ln P(x)= ∑j=1Nln ∑k=1Kαk?(xj|μk, Σ k)

(3)

基于式(3)計算,可以得到每個運動特征點上在GMM中的對數(shù)似然概率值,通過求取均值即可得到單次動作序列的平均似然概率值,基于概率模型的動作評估根據(jù)此值來生成相應的動作分數(shù).

對于GMM的參數(shù)計算,可以使用期望極大(Expectation Maximization, EM)算法來進行迭代求解[19].EM算法的計算主要為兩步,分別為E步與M步.

對于觀測變量數(shù)據(jù)xj,反映其來自第k個分模型的隱變量記為γjk,k=1, 2, …, K.只有當?shù)趈個觀測來自第k個分模型時,γjk值為1,其他情況下γjk的值為0.完全數(shù)據(jù)(xj, γj1, γj2, …, γjK|θ)的似然函數(shù)如下:

P(x, γ|θ)= ∏j=1NP(xj, γ j1, γ j2, …, γ jK|θ)= ∏k=1K∏j=1N(αk?(xj|θk))γjk

(4)

E步構造包含模型參數(shù)的Q函數(shù),模型參數(shù)為θ=(α, μ, Σ),如下:

Q(θ, θ(i))=E(lnP(x, γ|θ)|x,θ(i))= ∑k=1K(∑j=1N?γjkln αk+∑j=1N?γjkln?(xj|μk,Σk))

(5)

式中:E(·)為期望函數(shù);θ(i)為第i次迭代參數(shù)θ的估計值;?γjk為第k個分模型對觀測數(shù)據(jù)xj的響應度,即

?γjk=E(γjk|x, θ)=P(γ jk=1|xj, θ k)= αk?(xj|θk)∑k=1Kαk?(xj|θk)

(6)

j=1, 2, …, N; k=1, 2, …, K

M步求使Q(θ, θ(i))極大化的θ,確定第 i+1次迭代的參數(shù)的估計值θ(i+1),如下:

θ(i+1)=arg maxθ Q(θ, θ(i))

(7)

初始化θ(0)=(α(0), μ(0), Σ(0)).

為求取對應的模型參數(shù),將式(5)分別對μk、Σk求偏導并令其為0,在∑k=1Kαk=1時對αk求偏導并令其為0,得到每個模型參數(shù)的迭代值,每一輪的迭代如下:

γ(i)jk=α(i)k?(xj|μ(i)k,Σ(i)k)∑k=1Kα(i)k?(xj|μ(i)k,Σ(i)k)μ(i+1)k=∑j=1Nγ(i)jkxj∑j=1Nγ(i)jkΣ(i+1)k=∑j=1Nγ(i)jk(xj-μ(i+1)k)(xj-μ(i)k)T∑j=1Nγ(i)jkα(i+1)k=∑j=1Nγ(i)jkN}

(8)

1.2 連續(xù)重復動作序列分割

康復訓練中的動作需要康復患者多次重復以達到鍛煉相應肢體的目的,在運動數(shù)據(jù)上表現(xiàn)為一連串連續(xù)重復動作序列.如果要評估患者的動作,就需要對連續(xù)動作進行分割,得到單次動作的運動數(shù)據(jù),再進行動作建模以及后續(xù)的動作評估.進行連續(xù)重復動作序列的分割時,首先需要在已分割的健康人運動數(shù)據(jù)樣本上基于概率模型進行動作建模,以概率模型的特性建立分割方法,然后應用到健康人與康復患者的運動數(shù)據(jù)當中.

利用二維GMM對歸一化處理、特征提取后的動作數(shù)據(jù)進行建模,可以獲得如圖2所示的各高斯模型分布.圖中:Tf為時間幀;Wf為角度特征值;橢圓形區(qū)域為各高斯模型的主要分布,數(shù)字代表各模型編號.由于經(jīng)過EM算法的迭代,原本有序的編號重新排列.其中高斯模型數(shù)量根據(jù)各高斯模型能否均勻完整覆蓋所有特征數(shù)據(jù)進行設定,同時也需要根據(jù)后續(xù)動作分割效果進行調(diào)整,在本文中,高斯模型數(shù)量設定為5,在該數(shù)量下各高斯模型能較好地描述所有特征數(shù)據(jù)的分布且能獲得較好的動作分割效果.

圖2

圖2  運動特征點在高斯混合模型上的分布

Fig.2  Distribution of motion feature points on a Gaussian mixture model

文獻[18]利用自左向右的隱馬爾科夫模型完成對連續(xù)重復動作的動作分割,其隱馬爾科夫模型中由狀態(tài)序列到觀測序列的觀測概率矩陣為二維GMM,每一個高斯模型視為隱馬爾科夫模型的一個狀態(tài).由此,將動作模型劃分為多個狀態(tài)進行動作分割,各狀態(tài)對應的就是GMM中的各高斯模型.一次完整的動作周期數(shù)據(jù)是按序遍歷各高斯模型后得到的,故可以通過檢測運動數(shù)據(jù)中所遍歷的高斯模型順序來判斷當前運動數(shù)據(jù)的時間切片是否符合概率模型分布,若符合則保留分布相符合的部分作為一次動作的區(qū)間,即完成一次動作分割,省去額外的概率計算步驟.

為降低運算量與避免使用滑動窗口,采用基于特征的匹配隊列方法[18]進行動作分割.對于連續(xù)重復運動,其單次動作周期常出現(xiàn)在導數(shù)為0處,表明人體在此刻到達動作的末端,即將開始下一段動作.因此可以選取運動曲線中的極值點作為待分割區(qū)域的起點與終點.為避免匹配隊列中各匹配點過于集中以及數(shù)據(jù)噪聲的影響,需要優(yōu)化匹配隊列.將幅值較小的極值點進行過濾,同時對兩個0交叉點中存在多個極值點的情況進行取均值處理,保證在相鄰0交叉點之間只有一個極值點.若直接使用所有的極值點輸入特征匹配隊列,則會出現(xiàn)錯誤分割動作區(qū)間的情況.如圖3所示,左側曲線上的空心圓代表特征匹配隊列中的預備分割點,背景中矩形框代表動作分割的各個區(qū)間,矩形框左下角的編號代表重復動作編號,匹配隊列中的每一分段都將由GMM計算狀態(tài)序列.由圖3可知,未進行優(yōu)化的特征匹配隊列會產(chǎn)生異常分割點和較近距離內(nèi)多個分割點.對異常分割點所形成的動作區(qū)間進行動作分割判斷時,會由于部分數(shù)據(jù)分布特征相似而產(chǎn)生動作分割錯誤的情況,同時也會產(chǎn)生單次動作區(qū)間截斷的問題,而較近距離內(nèi)的多個分割點則會導致冗余運算與錯誤分割.因此,優(yōu)化特征匹配隊列能夠避免異常分割點和重復分割點的出現(xiàn),提高動作分割的正確率.對連續(xù)重復動作的最終分割結果如圖4所示.

圖3

圖3  特征匹配隊列優(yōu)化對動作分割的影響

Fig.3  Impact of feature matching queue optimization on motion segmentation

圖4

圖4  連續(xù)重復動作序列的動作分割

Fig.4  Motion segmentation for continuous repetitive motion sequences

2 多特征融合動作評估

動作評估的相關算法主要分為距離度量和概率模型評估.距離度量是通過測量并計算特定動作運動指標來評估動作的標準程度,例如深蹲動作中的膝關節(jié)角度;概率模型評估則是先提取全身運動特征,對降維后的運動數(shù)據(jù)用概率模型描述,計算每個運動特征點的概率,以此評判動作的好壞.

以上兩種方法對于連續(xù)重復動作序列的動作評估均有不足,距離度量需要所對比的動作序列具有相同的起點與終點,概率模型評估則容易得出正負樣本評估分數(shù)相近的結果.但由于概率模型可以對連續(xù)重復動作序列進行動作分割,所以本文在動作分割的基礎上融合概率模型動作評估與動作相似性距離度量,建立多特征融合動作評估方法,既彌補概率模型動作評估區(qū)分度不高的缺陷,又滿足動作相似性度量對單次動作分割的需求.

2.1 顯著運動特征的動作相似性距離度量

在所有健康樣本中,可以根據(jù)醫(yī)學方面的先驗知識手工制作或者挑選顯著運動特征.例如,在深蹲動作中,可以直接挑選膝關節(jié)與髖關節(jié)的角度變化信息作為顯著運動特征,因為這兩個關節(jié)是參與運動的主要關節(jié),直接關系到運動質(zhì)量與準確度;也可以根據(jù)相關醫(yī)學量表,制作運動特征,例如骨盆前傾、高低肩、脊柱傾斜等.

采用運動關節(jié)的角度變化作為顯著運動特征時,對所有健康樣本中該關節(jié)的運動數(shù)據(jù)求取均值,得到標準運動角度變化曲線;制作多個標準曲線,得到標準動作模板.選取深蹲動作中兩個具有顯著正負樣本區(qū)別的角度特征,進行數(shù)據(jù)縮放后制作標準動作模板,則同一動作下不同樣本與標準動作模板的比較如圖5所示.

圖5

圖5  健康樣本、患者樣本與動作模板的兩個顯著特征比較

Fig.5  Comparison of two significant features between healthy samples, patient samples and motion templates

可以利用度量時間序列相似性的DTW算法來計算同一動作下不同樣本與標準動作模板的相似性,Hoda等[20]已通過臨床實驗驗證了該算法在康復評估中的有效性.DTW算法[11]是一種用來衡量兩個時間序列數(shù)據(jù)相似度的方法,可用于模板匹配,例如孤立詞語音識別、手勢識別等.對于兩個形貌相似的時間序列數(shù)據(jù),它們在時間軸上可能未對齊,因此需要在計算兩者相似度時,將其中一個或者兩個序列的時間軸進行延伸和縮短,來達到映射對齊的要求,如果兩個序列的點相互正確對應,則兩者之間的歐氏距離就會達到最小.

DTW算法的核心為動態(tài)規(guī)劃,令動作模板的時間序列數(shù)據(jù)為

A=(a1, a2, …, ay),y=1, 2, …, U1

B=(b1, b2, …, bz),z=1, 2, …, U2

U1與U2分別為模板動作和測試動作的時間序列長度.令D(y, z)為點ay與bz之間的DTW距離,DTW算法的狀態(tài)轉移方程如下:

D(y, z)=d(ay, bz)+min{D(y-1, z), D(y, z-1), D(y-1, z-1)}

(9)

式中:d(ay, bz)為點ay與bz之間的歐氏距離.根據(jù)動態(tài)規(guī)劃的思路,從D(1, 1)開始,通過迭代中每一步選擇局部最優(yōu)值,計算到D(U1, U2)時便能得到全局最優(yōu)解,只要在獲得最優(yōu)解后逆向遍歷就能找出其所對應的DTW路徑,如圖6所示.圖中:W為時間序列數(shù)據(jù)的值.

圖6

圖6  DTW算法

Fig.6  DTW algorithm

由于模板是通過健康樣本生成的,所以計算健康樣本與模板動作的DTW距離時,得到的結果基本都會維持在一個較低且集中的距離范圍內(nèi);而患者樣本在顯著運動特征方面數(shù)據(jù)差異較大,與模板動作相似度低,兩者之間的DTW距離較遠,且DTW距離分布也較為離散.

2.2 多特征融合動作評估方法

多特征融合動作評估先使用數(shù)據(jù)降維方法處理運動數(shù)據(jù),再利用GMM對降維后的運動數(shù)據(jù)進行動作建模.由于所建立的概率模型對動作只有整體性描述,缺少類似康復量表等具體運動指標的局部性描述,所以重新從原始運動數(shù)據(jù)中提取顯著運動特征,建立動作模板并進行動作評估,將概率模型與顯著運動特征的評估結果融合,給出最終的動作評估分數(shù).多特征融合動作評估的計算方法如下:

式中:Gf、Gg、Gd分別為多特征融合評估、GMM似然評估以及顯著運動特征DTW距離評估的分數(shù),且均通過放縮手段統(tǒng)一到相同數(shù)據(jù)區(qū)間;β為評估分數(shù)的融合系數(shù),取值為0.5,可根據(jù)具體健康人與康復患者動作分數(shù)分布特點進行調(diào)整.

圖7

圖7  多特征融合動作評估方法流程圖

Fig.7  Flow chart of multi-feature fusion motion evaluation method

3 動作評估實驗結果及分析

3.1 實驗數(shù)據(jù)集

為驗證多特征融合的康復訓練動作評估方法的有效性,采用UI-PRMD數(shù)據(jù)集[21],該數(shù)據(jù)集包含來自10個實驗對象的人體運動數(shù)據(jù),其中有10個動作類別(深蹲、跨欄步、內(nèi)聯(lián)弓步等),每個動作類別由實驗對象產(chǎn)生正確樣本和不正確樣本,不正確樣本用來模擬康復患者的動作,表現(xiàn)出一些動作的運動障礙.采用Vicon光學追蹤系統(tǒng)和Kinect傳感器采集數(shù)據(jù),其中每種方式采集的數(shù)據(jù)包含人體關鍵點的角度數(shù)據(jù)和位置數(shù)據(jù).除以上特點外,數(shù)據(jù)集預先完成所有動作的時間序列數(shù)據(jù)分割,每個實驗對象的每個動作都有單次重復動作的運動數(shù)據(jù),方便研究者進行人體動作研究.

3.2 連續(xù)重復動作序列分割

以深蹲動作為研究對象,對健康樣本分割數(shù)據(jù)集進行GMM建模后,對數(shù)據(jù)集中未進行動作分割的連續(xù)重復動作序列進行動作分割,部分健康樣本與患者樣本的動作分割結果如所圖8所示.圖中:Wr為實際關節(jié)角度值;不同底色的矩形區(qū)域為分割得到的單次重復動作區(qū)間.

圖8

圖8  深蹲動作樣本進行分割的部分結果

Fig.8  Partial results of segmentation of deep squat movement sample

所有健康樣本與患者樣本的動作分割結果中正確與錯誤數(shù)量如表1所示.統(tǒng)計結果表明,基于GMM模型的動作分割在數(shù)據(jù)集上表現(xiàn)出色,對健康樣本的識別率達到97%,對患者樣本的識別率達到94%.由分析分割結果可以看出,該分割方法對動作序列中連續(xù)有規(guī)律的動作分割較準確,對首尾兩端的動作以及運動間隔時間較長的動作分割存在一定困難.

表1  連續(xù)重復動作序列分割結果

Tab.1  Results of continuous repetitive motion sequence segmentation

樣本類型樣本總數(shù)正確分割數(shù)錯誤分割數(shù)健康樣本100973患者樣本100946

新窗口打開|下載CSV

3.3 多種動作評估方法效果比較

為表征多種評估方法的評估效果,采用文獻[15]中的數(shù)據(jù)縮放方式和分離度(Separation Degree,SD)評價指標,計算健康人群與康復患者之間動作評估結果的區(qū)分度.

該數(shù)據(jù)縮放方式將數(shù)據(jù)縮放到區(qū)間[1,20],該取值范圍為經(jīng)驗取值[15],對于健康樣本h=(h1, h2, …, hl)與患者樣本p=(p1, p2, …, pl),l=1, 2, …, L,具體數(shù)據(jù)放縮的計算公式為

h'l=19(hl-m)M-m+1p'l=19(pl-m)M-m+1}

(11)

式中:M=maxi, j∈L_{hi, pj}, m=mini, j∈L_{hi, pj}分別為兩個樣本中的最大值與最小值,L_={1, 2, …, L}.

對于放縮后的樣本數(shù)據(jù),通過SD指標(SD)計算兩個動作評估群體樣本之間的區(qū)分度,輸出-1到1之間的標量,該值越接近0表明兩個群體樣本之間區(qū)分度越低,越靠近-1或者1則表明兩個群體之間具有越好的區(qū)分度.對于數(shù)據(jù)放縮后的健康樣本h'=(h'1, h'2, …, h'n),n=1, 2, …, N1,與患者樣本p'=(p'1, p'2, …, p'q),q=1, 2, …, N2,N1與N2分別是兩個樣本的數(shù)量,計算方法如下:

SD(h', p')= 1N1N2∑n=1N1∑q=1N2h'n-p'qh'n+p'q

(12)

在相同深蹲動作數(shù)據(jù)[21]上將多特征融合評估方法與各評估方法進行對比,得到如表2所示的對比結果.首先用各方法對所有實驗對象的數(shù)據(jù)建立一個泛化的評估模型,利用該模型得出每個動作樣本的評估得分,在不同實驗對象之間比較評估得分的分離度.其次,由于數(shù)據(jù)集是通過健康人模擬康復患者表現(xiàn)來得到患者數(shù)據(jù)樣本,故可以通過對同一個實驗對象單獨建立特化的評估模型,來提高各方法在所有降維數(shù)據(jù)上的分離度.由表2的對比結果可以看出,本文多特征融合評估方法在泛化動作模型和特化動作模型兩方面均優(yōu)于現(xiàn)有評估方法結果,其中泛化動作模型方面提高較大,相較原先較好的GMM似然評估方法提高19%.

表2  不同評估方法對于同一動作樣本的分離度對比

Tab.2  Comparison of separation degree of different evaluation methods for the same motion samples

比較對象歐氏
距離馬氏
距離DTW
距離GMM
似然多特征融合
(本文方法)不同實驗對象0.3350.1440.3450.3570.425同一實驗對象0.5230.3790.5290.5840.609

新窗口打開|下載CSV

3.4 多種動作評估方法評分數(shù)據(jù)分布比較

根據(jù)文獻[15]中所使用的換算公式,將人體運動數(shù)據(jù)從GMM似然估計得分、顯著運動特征估計得分以及多特征融合評估得分轉化為[0,1]之間的分數(shù)值,對于健康樣本h=(h1, h2, …, hl)與患者樣本p=(p1, p2, …, pl),l=1, 2, …, L,換算公式為

-hl=(1+ehlμ+3δ-α1) -1-pl=[1+ehlμ+3δ-α1+pl-hlα2(μ+3δ)]-1}

(13)

式中:μ為健康樣本均值;δ為健康樣本方差;α1與α2為兩個經(jīng)驗參數(shù),分別取3.2和10,可根據(jù)具體數(shù)據(jù)特點調(diào)整.

根據(jù)式(13)計算結果進行運動評估分數(shù)繪圖,得到如圖9所示的數(shù)據(jù)分布箱圖與各評估方法分數(shù)圖.圖中:G為動作評分;R為重復動作編號,表示同一動作的重復執(zhí)行次數(shù).在各評估方法運動得分的子圖中,可以看出在GMM似然評估中,患者樣本與健康樣本評分分布距離不大,但一些病患樣本表現(xiàn)出與健康樣本相同的分數(shù);在顯著運動特征評估中,患者樣本評分主要分布區(qū)間與健康樣本評分距離較大,但同時也出現(xiàn)患者樣本評分數(shù)據(jù)離散程度過大、部分患者樣本評分結果高于健康樣本的異常數(shù)據(jù)結果;在多特征融合評估中,健康樣本評分基本保持較為集中且得分較高的分布,病患樣本評分離散分布,得分基本低于健康樣本,與健康樣本較少或幾乎不重疊.圖9表明GMM似然評估下健康樣本與患者樣本分布距離較近,顯著特征DTW距離評估下則有較大的正負樣本分布距離,但同時存在患者樣本異常評分的問題.多特征融合評估方法結合前兩種評估方法,增大了正負樣本的分布距離,減少了異常動作評分的出現(xiàn).

圖9

圖9  不同評估方法對同一動作的評估打分結果

Fig.9  Evaluation scoring results of the same motion by different evaluation methods

以圖9中箱圖各數(shù)據(jù)的上下四分位點作為評估分數(shù)的主要分布區(qū)間,如表3所示,在健康樣本運動評估分數(shù)分布相近的情況下,多特征融合評估患者樣本的主要分布區(qū)間為[0.817, 0.892],均值為0.851,均優(yōu)于GMM似然評估方法的分布區(qū)間與均值.

表3  不同評估方法對于同一動作的不同實驗對象評估分數(shù)主要分布區(qū)間和均值

Tab.3  Main distribution intervals and mean values of evaluation scores of different subjects for the same motion by different evaluation methods

樣本類型GMM似然評估顯著特征DTW距離評估多特征融合評估(本文方法)評分區(qū)間平均值評分區(qū)間平均值評分區(qū)間平均值健康樣本[0.925, 0.941]0.933[0.935, 0.949]0.940[0.930, 0.944]0.937患者樣本[0.854, 0.908]0.874[0.774, 0.889]0.827[0.817, 0.892]0.851

新窗口打開|下載CSV

由此得出,多特征融合評估在增大健康樣本與患者樣本運動質(zhì)量分數(shù)分布距離的同時,也優(yōu)化了健康樣本和患者樣本各自動作評分的分布特點,減少了顯著運動特征評估患者樣本分布中的患者樣本異常評分數(shù)量.

3.5 多特征融合動作評估示例

采用UI-PRMD數(shù)據(jù)集中Vicon光學追蹤系統(tǒng)采集的人體深蹲動作數(shù)據(jù),對一組連續(xù)運動進行動作分割后,分別進行GMM似然評估、顯著運動特征的DTW距離評估以及多特征融合動作評估.

動作樣本分割效果如圖10所示,圖中灰色實線為樣本的運動數(shù)據(jù),不同顏色的矩形區(qū)域為分割出來的單次運動區(qū)間,矩形框左下角的數(shù)字為單次運動區(qū)間的序號,可以看出健康樣本和患者樣本都有較為清晰完整的動作分割結果,原數(shù)據(jù)中的噪聲與誤差對于特征提取后的動作分割影響有限.

圖10

圖10  深蹲動作連續(xù)重復序列的分割結果

Fig.10  Segmentation results for sequential repetition sequences of deep squat movements

采用3種評估方法對分割完成的數(shù)據(jù)進行動作評分,得到如圖11所示的評分圖.可以看出,在GMM似然評估與顯著特征DTW距離評估中都存在個別患者樣本動作分數(shù)高于健康樣本的不合理情況,例如圖11(a)中重復動作編號為1、8的動作和圖11(b)中重復動作編號為6的動作.圖10的原始動作數(shù)據(jù)顯示,患者樣本編號為1、8的動作明顯差于健康樣本,樣本編號為6的患者其動作與健康樣本相似,在數(shù)據(jù)細節(jié)上差別較小.在多特征融合動作評估結果中,該不合理的數(shù)據(jù)分布情況得到有效改善,健康樣本的得分基本高于患者樣本,編號為6的動作由于健康樣本與患者樣本的實際運動數(shù)據(jù)相似而評估分數(shù)相近,表明多特征融合動作評估方法能夠減少單一評估方法導致的異常評估分數(shù),使得健康樣本動作分數(shù)基本高于患者樣本,讓兩者的得分呈現(xiàn)較為合理的分布.

圖11

圖11  3種連續(xù)重復動作評估結果比較

Fig.11  Results of three continuous repetitive motion evaluation methods

4 結論

提出基于GMM的動作分割方法,在單次動作過程中建立多個狀態(tài)以及運動數(shù)據(jù)在狀態(tài)之間的變化對連續(xù)重復的動作序列進行分割,分割結果顯示該方法在健康樣本中正確率為97%,在康復患者樣本中正確率為94%,正確率均較高.針對動作分割所得到的單次動作數(shù)據(jù),提出結合顯著運動特征DTW距離評估與GMM似然評估的多特征融合動作評估方法,從康復訓練動作的整體動作與局部關節(jié)信息兩方面進行動作評估.將本文方法在數(shù)據(jù)集UI-PRMD上進行實驗,與其他動作評估方法進行對比分析,得到以下結論:

(1) 在動作分割的基礎上進行動作評估, 能夠滿足動作相似性距離度量方法對邊界固定性的需求, 無需測試對象刻意進行單次動作或人工手動分割運動數(shù)據(jù), 有效實現(xiàn)對連續(xù)重復動作序列的動作評估, 使之具備在居家治療等場景下應用的潛力.

(2) 通過融合顯著特征DTW距離評估和概率模型似然評估結果, 有效提高單一概率模型動作評估對健康樣本與患者樣本的區(qū)分程度.對于不同實驗對象, 正負樣本的分離度為0.425, 較GMM似然評估方法提升19%;對于同一實驗對象的不同表現(xiàn), 正負樣本的分離度為0.609, 同樣優(yōu)于GMM似然評估方法的結果.

(3) 多特征融合動作評估方法使得健康樣本動作分數(shù)主要分布在0.930~0.944的得分區(qū)間, 均值為0.937;患者樣本動作分數(shù)主要分布在0.817~0.892的得分區(qū)間, 均值為0.851.統(tǒng)計特征均優(yōu)于GMM似然評估方法, 表明多特征融合動作評估方法在動作運動質(zhì)量打分方面具有更好的表現(xiàn).

參考文獻

[1]

崔迪.

虛擬環(huán)境下遠程自適應康復訓練系統(tǒng)與評估模型研究

[D]. 寧波: 中國科學院大學(中國科學院寧波材料技術與工程研究所), 2017.

[本文引用: 3]

CUI Di.

Research on adaptability and evaluation model of remote rehabilitation training system in virtual environment

[D]. Ningbo: Ningbo Institute of Material Technology, Chinese Academy of Sciences, 2017.

[本文引用: 3]

[2]

LUNENBURGER L, WELLNER M, BANZ R, et al.

Virtual Performance-Enhancing Reality (ViPER) for robot-assisted gait training[C]//2006 International Workshop on Virtual Rehabilitation

New York, USA: IEEE, 2006: 174-177.

[本文引用: 1]

[3]

耿松松.

中國殘疾人康復現(xiàn)狀與問題研究

[D]. 蘭州: 蘭州大學, 2013.

[本文引用: 1]

GENG Songsong.

Rehabilitation and problems on disabled in China

[D]. Lanzhou: Lanzhou University, 2013.

[本文引用: 1]

[4]

KOMATIREDDY R, CHOKSHI A, BASNETT J, et al.

Quality and quantity of rehabilitation exercises delivered by a 3-D motion controlled camera: A pilot study

[J]. International Journal of Physical Medicine & Rehabilitation, 2014, 2(4): 214.

[本文引用: 1]

[5]

JOHANSSON B B.

Current trends in stroke rehabilitation. A review with focus on brain plasticity

[J]. Acta Neurologica Scandinavica, 2011, 123(3): 147-159.

DOI:10.1111/j.1600-0404.2010.01417.x    PMID:20726844     [本文引用: 1]

Current understanding of brain plasticity has lead to new approaches in ischemic stroke rehabilitation. Stroke units that combine good medical and nursing care with task-oriented intense training in an environment that provides confidence, stimulation and motivation significantly improve outcome. Repetitive trans-cranial magnetic stimulation (rTMS), and trans-cranial direct current stimulation (tDCS) are applied in rehabilitation of motor function. The long-term effect, optimal way of stimulation and possibly efficacy in cognitive rehabilitation need evaluation. Methods based on multisensory integration of motor, cognitive, and perceptual processes including action observation, mental training, and virtual reality are being tested. Different approaches of intensive aphasia training are described. Recent data on intensive melodic intonation therapy indicate that even patients with very severe non-fluent aphasia can regain speech through homotopic white matter tract plasticity. Music therapy is applied in motor and cognitive rehabilitation. To avoid the confounding effect of spontaneous improvement, most trials are preformed ≥3 months post stroke. Randomized controlled trials starting earlier after strokes are needed. More attention should be given to stroke heterogeneity, cognitive rehabilitation, and social adjustment and to genetic differences, including the role of BDNF polymorphism in brain plasticity.? 2010 John Wiley & Sons A/S.

[6]

TEYHEN D S, SHAFFER S W, LORENSON C L, et al.

The functional movement screen: A reliability study

[J]. The Journal of Orthopaedic & Sports Physical Therapy, 2012, 42(6): 530-540.

[本文引用: 1]

[8]

ZHANG Z, FANG Q, GU X D.

Objective assessment of upper-limb mobility for poststroke rehabilitation

[J]. IEEE Transactions on Bio-medical Engineering, 2016, 63(4): 859-868.

DOI:10.1109/TBME.2015.2477095    PMID:26357394     [本文引用: 1]

The assessment of the limb mobility of stroke patients is an essential part of poststroke rehabilitation. Conventionally, the assessment is manually performed by clinicians using chart-based ordinal scales, which can be subjective and inefficient. By introducing quantitative evaluation measures, the sensitivity and efficiency of the assessment process can be significantly improved. In this paper, a novel single-index-based assessment approach for quantitative upper-limb mobility evaluation has been proposed for poststroke rehabilitation. Instead of the traditional human-observation-based measures, the proposed assessment system utilizes the kinematic information automatically collected during a regular rehabilitation training exercise using a wearable inertial measurement unit. By calculating a single index, the system can efficiently generate objective and consistent quantitative results that can reflect the stroke patient's upper-limb mobility. In order to verify and validate the proposed assessment system, experiments have been conducted using 145 motion samples collected from 21 stroke patients (12 males, nine females, mean age 58.7±19.3) and eight healthy participants. The results have suggested that the proposed assessment index can not only differentiate the levels of limb function impairment clearly (p < 0.001, two-tailed Welch's t-test), but also strongly correlate with the Brunnstrom stages of recovery (r = 0.86, p < 0.001). The assessment index is also proven to have great potential in automatic Brunnstrom stage classification application with an 82.1% classification accuracy, while using a K-nearest-neighbor classifier.

[9]

湯翾, 黃襄念, 周杉.

基于Kinect的肩周炎康復訓練動作識別系統(tǒng)研究

[J]. 現(xiàn)代計算機(專業(yè)版), 2014(23): 53-55.

[本文引用: 1]

TANG Xuan, HUANG Xiangnian, ZHOU Shan.

Research on the frozen rehabilitation training action recognition system based on kinect

[J]. Modern Computer, 2014(23): 53-55.

[本文引用: 1]

[10]

楊文璐, 王杰, 夏斌, 等.

基于Kinect的下肢體康復動作評估系統(tǒng)

[J]. 傳感器與微系統(tǒng), 2017, 36(1): 91-94.

[本文引用: 2]

YANG Wenlu, WANG Jie, XIA Bin, et al.

Assessment system of lower limb rehabilitation action based on Kinect

[J]. Transducer & Microsystem Technologies, 2017, 36(1): 91-94.

[本文引用: 2]

[11]

吳齊云, 戰(zhàn)蔭偉, 邵陽.

基于DTW和K-means的動作匹配和評估

[J]. 電子技術應用, 2016, 42(8): 141-143.

[本文引用: 2]

WU Qiyun, ZHAN Yinwei, SHAO Yang.

Human motion matching and evaluation based on STDTW and K-means

[J]. Application of Electronic Technique, 2016, 42(8): 141-143.

[本文引用: 2]

[12]

HOUMANFAR R, KARG M, KULI? D.

Movement analysis of rehabilitation exercises: Distance metrics for measuring patient progress

[J]. IEEE Systems Journal, 2016, 10(3): 1014-1025.

DOI:10.1109/JSYST.2014.2327792    URL     [本文引用: 1]

[13]

SU C J, CHIANG C Y, HUANG J Y.

Kinect-enabled home-based rehabilitation system using Dynamic Time Warping and fuzzy logic

[J]. Applied Soft Computing, 2014, 22: 652-666.

DOI:10.1016/j.asoc.2014.04.020    URL     [本文引用: 1]

[14]

CAPECCI M, CERAVOLO M G, FERRACUTI F, et al.

A Hidden Semi-Markov Model based approach for rehabilitation exercise assessment

[J]. Journal of Biomedical Informatics, 2018, 78: 1-11.

DOI:S1532-0464(17)30282-4    PMID:29277330     [本文引用: 1]

In this paper, a Hidden Semi-Markov Model (HSMM) based approach is proposed to evaluate and monitor body motion during a rehabilitation training program. The approach extracts clinically relevant motion features from skeleton joint trajectories, acquired by the RGB-D camera, and provides a score for the subject's performance. The approach combines different aspects of rule and template based methods. The features have been defined by clinicians as exercise descriptors and are then assessed by a HSMM, trained upon an exemplar motion sequence. The reliability of the proposed approach is studied by evaluating its correlation with both a clinical assessment and a Dynamic Time Warping (DTW) algorithm, while healthy and neurological disabled people performed physical exercises. With respect to the discrimination between healthy and pathological conditions, the HSMM based method correlates better with the physician's score than DTW. The study supports the use of HSMMs to assess motor performance providing a quantitative feedback to physiotherapist and patients. This result is particularly appropriate and useful for a remote assessment in the home.Copyright ? 2017 Elsevier Inc. All rights reserved.

[15]

LIAO Y L, VAKANSKI A, XIAN M.

A deep learning framework for assessing physical rehabilitation exercises

[J]. IEEE Transactions on Neural Systems & Rehabilitation Engineering, 2020, 28(2): 468-477.

[本文引用: 5]

[16]

AR I, AKGUL Y S.

A computerized recognition system for the home-based physiotherapy exercises using an RGBD camera

[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering: A Publication of the IEEE Engineering in Medicine & Biology Society, 2014, 22(6): 1160-1171.

[本文引用: 1]

[17]

閆航, 陳剛, 崔莉亞, 等.

基于單目視覺的在線人體康復動作識別

[J]. 計算機應用與軟件, 2021, 38(2): 171-178.

[本文引用: 1]

YAN Hang, CHEN Gang, CUI Liya, et al.

Online human rehabilitation action recognition based on monocular vision

[J]. Computer Applications & Software, 2021, 38(2): 171-178.

[本文引用: 1]

[18]

LIN J F S, KULI? D.

Online segmentation of human motion for automated rehabilitation exercise analysis

[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering: A Publication of the IEEE Engineering in Medicine & Biology Society, 2014, 22(1): 168-180.

[本文引用: 3]

[19]

李航. 統(tǒng)計學習方法[M]. 第2版.

北京:

清華大學出版社, 2019.

[本文引用: 1]

LI Hang. Statistical learning methods[M]. 2nd ed.

Beijing:

Tsinghua University Press, 2019.

[本文引用: 1]

[21]

VAKANSKI A, JUN H P, PAUL D, et al.

A data set of human body movements for physical rehabilitation exercises

[J]. Data, 2018, 3(1): 2.

DOI:10.3390/data3010002    URL     [本文引用: 2]

相關知識

下肢評估訓練康復系統(tǒng)（下肢康復機器人）
語言障礙評估與訓練
康復評估訓練跑臺（Plus）
自行車的運動康復與康復訓練.pptx
日常康復訓練.pptx
ISOFORCE全身多關節(jié)等速肌力康復評估訓練系統(tǒng)
便攜運動功能評測訓練系統(tǒng)
體育行業(yè)運動康復訓練與健身指導方案.doc
核心訓練的動作
運動康復康復訓練PPT

網(wǎng)址: 連續(xù)康復訓練動作分割與評估 http://m.u1s5d6.cn/newsview234781.html