本發(fā)明涉及一種基于機器視覺的用戶坐姿矯正系統(tǒng)，屬于健康領(lǐng)域，主要應(yīng)用的知識是計算機深度學(xué)習(xí)領(lǐng)域比較流行的深度學(xué)習(xí)，以及數(shù)理統(tǒng)計的相關(guān)知識。
背景技術(shù)：
：中小學(xué)生學(xué)習(xí)壓力太大導(dǎo)致學(xué)生長時間坐立已成為一個嚴(yán)重的社會問題，嚴(yán)重影響了青少年身體的發(fā)育，特別是不良坐姿容易引起更嚴(yán)重的身體問題，而正確的坐姿則可以將危害降到最小化。在以往的研究中，姿態(tài)識別是一個人們關(guān)注度比較高的領(lǐng)域，從最開始的機器學(xué)習(xí)算法(比較著名的有k-近鄰法，svm等)，到類似圖像分類方面的直接把圖片放到cnn中進行卷積分類的算法，識別的正確率也在逐步提升，而在人體姿態(tài)識別方面，人們引入骨骼關(guān)鍵點的特征提取之后，使得準(zhǔn)確率得到顯著提升。在人體姿態(tài)方面研究挺多，但人們更多的是關(guān)注人體動作方面，具體到基于機器視覺坐姿方面論文卻非常少，而在這些研究中有的是數(shù)據(jù)集局限性大，有的提取的特征不合理，很難具有普適性。湖南大學(xué)黃旭的研究生畢業(yè)論文《基于判別式深度學(xué)習(xí)的坐姿視覺識別方法研究》，在最終優(yōu)化后只是提取了雙目相機的圖片視差作為補充特征，沒有充分利用圖片數(shù)據(jù)，且其數(shù)據(jù)集普化程度小，不具備說服力。技術(shù)實現(xiàn)要素：本發(fā)明所解決的問題：克服現(xiàn)有技術(shù)的不足，提供一種基于機器視覺的用戶坐姿矯正系統(tǒng)，采用人體骨骼關(guān)鍵點作為神經(jīng)網(wǎng)絡(luò)的輸入，使系統(tǒng)不受用戶衣物，所處背景的影響；采用普通攝像頭作為圖片采集工具，所需成本低。通過系統(tǒng)的識別模塊和統(tǒng)計模塊結(jié)合，可以準(zhǔn)確分析出用戶的坐姿狀況。本發(fā)明技術(shù)解決方案：一種基于機器視覺的用戶不良坐姿矯正系統(tǒng)，包括：攝像頭和服務(wù)器，服務(wù)器包括識別模塊和統(tǒng)計模塊；通過安裝在書桌旁的攝像頭按一定時間間隔捕捉用戶的側(cè)面坐姿圖片，根據(jù)需求，選擇性的加裝正攝像頭圖片，用作輔助識別；將所獲取的圖片傳回到服務(wù)器，服務(wù)器中的識別模塊是由大量數(shù)據(jù)集訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，該識別模塊對圖片人物進行骨骼關(guān)鍵點提取，然后將提取的數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)中進行坐姿識別，并將識別結(jié)果傳遞并存儲至統(tǒng)計模塊；統(tǒng)計模塊記錄識別結(jié)果并對一段時間的數(shù)據(jù)進行分析，給出該用戶坐姿不良的評定等級，如果判斷學(xué)生坐姿不規(guī)范，就會將評定等級和矯正坐姿不良的矯正方法提供給智能設(shè)備，智能設(shè)備給出采取相應(yīng)措施的提示給用戶，同時智能設(shè)備再將矯正方法分類按次反饋到給統(tǒng)計模塊，統(tǒng)計模塊再根據(jù)矯正后用戶意見的表現(xiàn)情況，分析出造成用戶坐姿不良的真正原因，讓用戶針對性的進行矯正。所述神經(jīng)網(wǎng)絡(luò)訓(xùn)練所采集數(shù)據(jù)集為采集的學(xué)生坐姿圖片數(shù)據(jù)集，其中采集的照片包含正常坐姿、前趴、后仰、左趴、右趴、左傾、右傾共7種姿勢，正面、側(cè)面圖片分別2000張。所述骨骼關(guān)鍵點提取采用的通用工具openpose；所述關(guān)鍵點包含：正面15個關(guān)鍵點和側(cè)面10個關(guān)鍵點，正面15個關(guān)鍵點包括左耳、右耳、左眼、右眼鼻、頸、左肩、左肘、左手腕、右肩、右肘、右手腕、左臀、中臀和右臀；側(cè)面10個關(guān)鍵點包括左耳、左眼、鼻、頸、左肩、左肘、左手腕、左臀、左膝蓋和左腳踝。所述神經(jīng)網(wǎng)絡(luò)采用了能有效防止訓(xùn)練衰退的resnet網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)(cnn)的識別過程是一樣的，卷積層初步提取特征，池化層提取主要特征，全連接層將各部分特征匯總，最后產(chǎn)生分類器進行識別；resnet網(wǎng)絡(luò)結(jié)構(gòu)(如圖5)主要由residual塊(如圖4)構(gòu)成residual序列，residual序列包含3個3*3*64residual塊,4個3*3*128residual塊，6個3*3*256residual塊，3個3*3*512residual塊。其中residual塊分為：residual和identity兩部分，如圖4所示，f(x)即為residual，x為identity。訓(xùn)練過程中神經(jīng)網(wǎng)絡(luò)會把最后的識別結(jié)果和真實結(jié)果作對比，得到一個loss值，神經(jīng)網(wǎng)絡(luò)通過降低loss值來提高識別精度。所述攝像頭為單攝像頭或雙攝像頭，定時獲取用戶的坐姿圖片。所述統(tǒng)計模塊的具體過程：(1)統(tǒng)計用戶不良坐姿次數(shù)，評出不良坐姿情況y；(2)統(tǒng)計用戶各種矯正方式x(x1,x2,x3)的次數(shù)；(3)統(tǒng)計不良坐姿情況y的變化；(4)根據(jù)x,y的變化關(guān)系分別求出x1，x2，x3與y的相關(guān)系數(shù)，即找到主要影響坐姿不良的主要因素；所述相關(guān)系數(shù)的求解公式如下：x,y的協(xié)方差：sx樣本標(biāo)準(zhǔn)差：sy樣本標(biāo)準(zhǔn)差：相關(guān)系數(shù)：分別求出x1,x2,x3因素與y的相關(guān)系數(shù)，根據(jù)實際相關(guān)系數(shù)越大，表示x與y的相關(guān)性越大，根據(jù)相關(guān)性系數(shù)找到造成坐姿不良的主要原因。本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點在于：通過安裝在書桌旁的攝像頭按一定時間間隔捕捉用戶的側(cè)面坐姿圖片，根據(jù)需求，選擇性的加裝正攝像頭圖片，用作輔助識別；將所獲取的圖片傳回到服務(wù)器，服務(wù)器中的識別模塊是由大量數(shù)據(jù)集訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，該識別模塊對圖片人物進行骨骼關(guān)鍵點提取，然后將提取的數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)中進行坐姿識別，并將識別結(jié)果傳遞并存儲至統(tǒng)計模塊；統(tǒng)計模塊記錄識別結(jié)果并對一段時間的數(shù)據(jù)進行分析，給出該用戶坐姿不良的評定等級，如果判斷學(xué)生坐姿不規(guī)范，就會將評定等級和矯正坐姿不良的矯正方法提供給智能設(shè)備，智能設(shè)備給出采取相應(yīng)措施的提示給用戶，同時智能設(shè)備再將矯正方法分類按次反饋到給統(tǒng)計模塊，統(tǒng)計模塊再根據(jù)矯正后用戶意見的表現(xiàn)情況，分析出造成用戶坐姿不良的真正原因，讓用戶針對性的進行矯正。附圖說明圖1為雙攝像頭識別過程；圖2為單攝像頭識別過程；圖3為本發(fā)明的實現(xiàn)流程圖；圖4為resnet的residual塊；圖5為resnet的整體結(jié)構(gòu)。具體實施方式本發(fā)明是建立在計算機視覺的基礎(chǔ)上進行的，通過安裝在書桌旁的攝像頭獲取用戶學(xué)習(xí)時的坐姿圖像，再將圖像上傳到后臺進行處理，反饋識別結(jié)果，然后根據(jù)結(jié)果來進行相應(yīng)處理。后臺即是進行圖像識別的云服務(wù)器，用戶的坐姿照片會通過網(wǎng)絡(luò)傳到后臺進行識別處理，具體需求及技術(shù)如下：(1)設(shè)備需求：智能手機1部攝像頭1-2個配套系統(tǒng)(手機軟件)(2)識別模塊通過對人體坐姿的分析，很容易可以知道，因為有桌子遮擋的緣故，僅通過正面的圖像很難獲取人體的整體特征圖，而這時從側(cè)面去可以獲取比正面?zhèn)€更加全面的數(shù)據(jù)特征，為了獲取更加全面的特征，可以采用雙攝像頭(正,側(cè)面各一個)來采集用戶坐姿圖像，當(dāng)然如果用戶考慮成本情況，也可以選擇只要一個攝像頭放在側(cè)面，這樣已經(jīng)比較好的提取了區(qū)分度較高的特征，實際應(yīng)用沒有問題，加上正面攝像頭也只是為了做補充。圖1，圖2所示,在識別過程，在以往的姿態(tài)識別中，人們往往取正面的圖像作為輸入，然后通過算法識別出關(guān)鍵點，一般為18個或25個，不同數(shù)據(jù)集有所不同，但大部分情況下數(shù)據(jù)集采集的圖像是人物不被遮擋的場景，通過已有的算法特征可以很方便進行姿態(tài)識別。本發(fā)明的內(nèi)容和一般的姿態(tài)識別問題有很多不同，正面拍攝的圖像將會被課桌遮擋掉下半身的圖像，只能提取出15個骨骼關(guān)鍵點(上半身)，而會忽略掉很多關(guān)鍵點信息。從常識可知，一般不良坐姿分為身體前傾和身體側(cè)傾兩種形式，而只關(guān)注正面的坐姿是沒法正確獲取身體特征的。因為正面前傾的不良坐姿會少了上半身和下半身的關(guān)節(jié)點位置關(guān)系，得不到好的結(jié)果，在處理從圖像讀取目標(biāo)空間信息的時候，人們往往會采用深度相機進行數(shù)據(jù)采集，這樣就可以方便地獲取目標(biāo)的空間坐標(biāo)，但深度相機并不適用于本發(fā)明，因為深度相機也無法獲取遮擋部分的數(shù)據(jù)。而如果從側(cè)面來對人體圖像捕捉，就可能很客觀的獲得上半身和下半身的位置關(guān)系，綜合考慮各種情況，決定采用以側(cè)面圖片數(shù)據(jù)為主，以正面圖片特征為輔的方式(如圖1)進行特征提取，即在用戶側(cè)面安裝一個攝像頭，采集側(cè)面的圖片數(shù)據(jù)，側(cè)面只能觀察到人體的一半，所以可以有效提取其中的10個關(guān)鍵點，而關(guān)鍵點會以坐標(biāo)(x，y，c)形式給出，其中x,y分別是骨骼關(guān)鍵點的橫縱坐標(biāo)，c則是提取到的關(guān)鍵點的置信度。可以加入適當(dāng)?shù)膒adding把兩部分?jǐn)?shù)據(jù)按通道疊加到一起，這項就獲得了數(shù)據(jù)長度為輸入數(shù)據(jù)。其中openpose是比較成熟的骨骼關(guān)鍵點提取工具，應(yīng)用該工具可以很容易的獲取信息，之后再將關(guān)鍵點輸入resnet進行訓(xùn)練最后得到效果比較好的模型，利用該訓(xùn)練模型來進行坐姿識別。當(dāng)然用戶為了節(jié)約成本，也可以采用單攝像頭裝在側(cè)面的方式(如圖2)，這種方式的正確率可能稍微低一些，但是也可以取得不錯的效果。(3)統(tǒng)計模塊①情況分級結(jié)合實際額情況可知，不良坐姿在一定時間內(nèi)出現(xiàn)的時間達到一定長度才會危害身體健康，不應(yīng)該把不標(biāo)準(zhǔn)坐姿認(rèn)定為不良坐姿，人體在保持一個姿勢一定的時間后，需要一段時間來休息。為了很好的評定用戶的不良程度情況，根據(jù)實際情況做了相應(yīng)的一些假設(shè)，設(shè)定系統(tǒng)每隔1分鐘會對姿態(tài)進行一次標(biāo)準(zhǔn)判定，然后記錄到后臺，根據(jù)記錄的結(jié)果把坐姿分為四種情況：正常，輕微不良，不良，嚴(yán)重不良(如表1)：表1坐姿不良等級表等級正常輕微不良不良嚴(yán)重不良不良坐姿(次)<55-1011-20>20統(tǒng)計計分4321每隔半小時會反饋一次結(jié)果產(chǎn)生一次評定結(jié)果，將坐姿情況同步到智能設(shè)備，用戶可以實時了解坐姿狀況。②原因判斷造成坐姿不良的原因有很多，有可能是桌椅不匹配，也有可能是不良習(xí)慣造成的，還可能是一些身體骨骼發(fā)育不健全帶來的問題，如果是桌椅不匹配引起的坐姿不良，建議更換合適的桌椅就好了，如果是不良習(xí)慣，建議采用輔助性矯正工具來進行適當(dāng)矯正，而對于骨骼發(fā)育不健全等引起的坐姿不良則需要及時就醫(yī)，以免引起更加嚴(yán)重的后果。一般來說，引起坐姿不良的原因可能是多方面的，可以根據(jù)統(tǒng)計結(jié)果給出合理建議，針對性的對用戶進行坐姿矯正。設(shè)x為引起坐姿不良的原因，其中x1為座椅矯正次數(shù)，x2為采用輔助器具矯正次數(shù)，x3醫(yī)療骨骼矯正次數(shù)，設(shè)坐姿不良程度為y，根據(jù)x,y的實際情況，可以分析出引起坐姿不良的真正原因。x,y的協(xié)方差：sx樣本標(biāo)準(zhǔn)差：sy樣本標(biāo)準(zhǔn)差：相關(guān)系數(shù)：這樣可以分別求出x1,x2,x3因素與y的相關(guān)系數(shù)，根據(jù)實際相關(guān)系數(shù)越大，表示x與y的相關(guān)性越大，可以根據(jù)相關(guān)性系數(shù)找到造成坐姿不良的主要原因。如圖3所示，是整個矯正系統(tǒng)的具體流程，其中識別模塊和統(tǒng)計模塊是該系統(tǒng)的核心所在。通過安裝在用戶的前面和側(cè)面攝像頭手機兩個方向的圖片數(shù)據(jù)，然后將圖片上傳到服務(wù)器，服務(wù)器內(nèi)置有識別模塊和統(tǒng)計模塊兩個模塊。識別模塊會將目標(biāo)姿態(tài)進行分類，判斷是否符合坐姿規(guī)范，之后將結(jié)果反饋到統(tǒng)計模塊中去。在統(tǒng)計模塊中已經(jīng)介紹，結(jié)合實際情況，一般用戶坐下學(xué)習(xí)的時間在半小時以上，而不良坐姿在持續(xù)一定時間后才會對身體造成危害，系統(tǒng)每半個小時進行一次坐姿情況反饋，用戶可以通過智能設(shè)備的得到坐姿情況情況。目前從三個原因來分析用戶的坐姿不良形成原因，用戶首次使用矯正系統(tǒng)后，如檢測出被存在坐姿不良的情況，因為矯正不良坐姿是個比較漫長的過程，所以建議用戶從三方面入手改進工作，根據(jù)之后的統(tǒng)計結(jié)果可以分析出造成該用戶坐姿不良的原因，然后指導(dǎo)用戶針對性的矯正。通過安裝在桌子旁邊的攝像頭采集青少年學(xué)習(xí)的實時圖片，通過已經(jīng)訓(xùn)練好的模型進行判斷，如果判斷學(xué)生的坐姿不規(guī)范，就會通過智能設(shè)備進行提醒。在通過對人體特征的分析，采用單或雙攝像頭兩種方式來獲取人體坐姿數(shù)據(jù)。(1)識別算法先采用openpose對數(shù)據(jù)提取的照片提取骨骼關(guān)鍵點，坐標(biāo)的形式會以(x,y,c)的形式給出，其中x,y分別是骨骼關(guān)鍵點的橫縱坐標(biāo)，c則是提取到的關(guān)鍵點的置信度。之后將關(guān)鍵點數(shù)據(jù)進行處理后放入深度殘差網(wǎng)絡(luò)(resnet)中做分類識別，然后就可以獲得評測目標(biāo)的坐姿是否標(biāo)準(zhǔn)。(2)統(tǒng)計方法本發(fā)明通過統(tǒng)計青少年在單位時間內(nèi)出現(xiàn)不良坐姿的頻率，對青少年不良坐姿進行評定分級，把結(jié)果反饋給青少年監(jiān)護人，一般造成不良坐姿的因素有很多，會根據(jù)家長矯正后的結(jié)果獲得新的評定等級，根據(jù)新的等級影響因素來尋找真正造成坐姿不良的方法，幫家長找到正確的影響因素。如圖4所示，weightlayer即為卷積層，用來提取圖片特征，relu是非線性激活函數(shù)，x為identity即輸入本身,f(x)即為殘差部分(residual)，圖4整體為殘差塊，即構(gòu)成深度殘差網(wǎng)絡(luò)的基本模塊。圖5是深度殘差網(wǎng)絡(luò)(resnet)的整體結(jié)構(gòu)，輸入圖片(input)經(jīng)過7*7,64通道的卷積核，之后便通過殘差模塊構(gòu)成的殘差序列(residual序列)，殘差序列(residual序列)包含3個3*3*64residual塊,4個3*3*128residual塊，6個3*3*256residual塊，3個3*3*512residual塊，avgpool為平均池化層，用于簡化參數(shù)，同時減小鄰域大小受限造成的誤差，最后fc為全連接層，fc可以整合前面提取的所有特征，用于分類得到最終的輸出(output)。當(dāng)前第1頁12

相關(guān)知識

背背佳等矯姿帶能否改善不良體態(tài)？專家：有一定矯正作用
基于機器視覺的智能魚群健康狀況監(jiān)測系統(tǒng)
兒童姿勢矯正器到底是不是智商稅？記者體驗：4種矯正器各有利弊
基于人體姿態(tài)識別的自重健身輔助教練系統(tǒng)、方法、終端
孩子幾種不良體形及矯正方法
近視了更要注意坐姿和型態(tài)，不正確的姿勢要提前矯正
矯正體態(tài)不良的方法有哪些
想改善坐姿？試試這些性價比高的矯姿坐墊，帶來健康坐姿！
體態(tài)矯正“神器”有用嗎？
身形矯正方法是什么

網(wǎng)址: 一種基于機器視覺的用戶不良坐姿矯正系統(tǒng)的制作方法 http://m.u1s5d6.cn/newsview567221.html