未來可能是VR/AR的世界，人機(jī)交互將從平面走向空間，鼠標(biāo)鍵盤將會失去作用，大量的人機(jī)交互系統(tǒng)需要重新設(shè)計(jì)。

——韓騰

活動概況

11月4日傍晚，AIR DISCOVER青年科學(xué)家論壇第四期在清華清華大學(xué)智能產(chǎn)業(yè)研究院（AIR）如期舉行。本期活動榮幸地邀請到了韓騰博士做題為《新型感知與反饋?zhàn)匀唤换ゼ夹g(shù)》的報(bào)告。

講者簡介

韓騰，博士，中科院軟件所副研究員，碩士生導(dǎo)師。師從英國皇家工程院新型技術(shù)主席Sriram Subramanian及加拿大普適分析研究主席Pourang Irani。曾在美國達(dá)特茅斯學(xué)院、臺灣大學(xué)、加拿大Autodesk研究院、日本本田研究院、微軟亞洲研究院、聯(lián)想研究院進(jìn)行過學(xué)術(shù)訪問。其主要研究方向?yàn)槿藱C(jī)交互、情景感知、觸覺交互和混合現(xiàn)實(shí)。發(fā)表CHI、UIST、IMWUT/Ubicomp等人機(jī)交互國際頂會論文17篇獲得多項(xiàng)最佳論文相關(guān)獎項(xiàng)。其中，UIST2020最佳論文提名獎為大陸機(jī)構(gòu)首次獲獎。

報(bào)告內(nèi)容

韓博士在本次報(bào)告中梳理了人機(jī)交互的發(fā)展歷程，介紹了交互范式和交互技術(shù)，分享了他在觸覺感受機(jī)理和柔性致動器領(lǐng)域的研究，暢想了未來觸覺交互的輸入輸出方式及在人機(jī)混合增強(qiáng)方向的應(yīng)用。

人機(jī)交互的發(fā)展歷程

人機(jī)交互是基于用戶行為和認(rèn)知能力，設(shè)計(jì)、評估和實(shí)現(xiàn)人類使用的交互式計(jì)算系統(tǒng)，為信息科技和消費(fèi)電子產(chǎn)業(yè)的發(fā)展、創(chuàng)新與革命做出了巨大的貢獻(xiàn)。在移動互聯(lián)網(wǎng)、觸屏交互、虛擬現(xiàn)實(shí)、人工智能等眾多領(lǐng)域，人機(jī)交互正在成為必不可缺的一部分。

人機(jī)交互的發(fā)展史起源于20世紀(jì)50年代。早期的通用計(jì)算機(jī)（UNIVAC）是按鈕式交互。上世紀(jì)60年代末，70年代初，Douglas Engelbart 設(shè)計(jì)發(fā)明了第一只鼠標(biāo)，從此鍵盤不再是電腦輸入的唯一途徑，計(jì)算機(jī)使用界面也就此開啟新紀(jì)元。同時(shí)期，Alan Kay不斷思考如何將龐大的計(jì)算機(jī)變小，構(gòu)想出筆記本電腦的原型“Dynabook”，為窗口化圖形用戶界面（GUI）的發(fā)展帶來了開創(chuàng)性的影響。接下來，蘋果公司于1984年推出了麥金托什個(gè)人電腦，2007年推出第一代iphone。韓博士指出，喬布斯之所以被稱“偉大”，是因?yàn)樗娜藱C(jī)交互理念對未來產(chǎn)生了深遠(yuǎn)的影響。

交互范式

人機(jī)交互研究的主要層次之一是交互界面，或稱之為范式，是一種可被重復(fù)利用、被用戶熟知、蘊(yùn)含設(shè)計(jì)經(jīng)驗(yàn)的人機(jī)交互模式。韓博士通過介紹前人的高瞻遠(yuǎn)矚，引導(dǎo)我們思考未來的PC會是什么樣子，從而規(guī)劃和設(shè)計(jì)下一代的交互范式。

韓博士認(rèn)為未來可能是VR/AR的世界，人機(jī)交互將從平面走向空間。在這樣的未來交互范式中，目前常見的VR系統(tǒng)手柄可能并非空間交互的最有效的工具。在實(shí)驗(yàn)中，韓博士團(tuán)隊(duì)發(fā)現(xiàn)，手腕雖然作為我們控制手柄的主要運(yùn)動關(guān)節(jié)，卻并不是手部控制最精準(zhǔn)的部位。受到筆和筷子的啟發(fā)，韓博士團(tuán)隊(duì)進(jìn)一步探索了使用筆桿的輸入方式。進(jìn)行實(shí)驗(yàn)對比后得出，筆桿在靈活度、準(zhǔn)確性及舒適性上都是更優(yōu)于手柄的的交互工具。

此篇文章獲得了CHI 2020 最佳論文提名獎。

Li, Nianlong, Teng Han*, Feng Tian, Jin Huang, Minghui Sun, Pourang Irani, and Jason Alexander. “Get a Grip: Evaluating Grip Gestures for VR Input using a Lightweight Pen.” In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, pp. 1-13. 2020. (Honorable Mention Awards)

交互技術(shù)

韓博士接下來介紹了交互技術(shù)的發(fā)展。我們現(xiàn)在所處的正是從移動/穿戴計(jì)算時(shí)代（NUI）向普世計(jì)算時(shí)代（Ubiquitous）萬物互聯(lián)過渡的階段。

在移動/穿戴計(jì)算時(shí)代（NUI），智能手表作為最基礎(chǔ)的可穿戴設(shè)備曾掀起交互研究與設(shè)計(jì)的熱潮。但由于手表的屏幕很小，注定不能將手機(jī)的觸摸模式完全復(fù)制。韓博士意識到除手表屏幕可作為交互界面外，手表周圍仍有很大的可利用空間，于是便對此開啟了手勢輸入技術(shù)的研究。日常自然的手勢，如響指、拍手等，在交互領(lǐng)域原本是不存在的，但韓博士團(tuán)隊(duì)認(rèn)為，很多自然手勢都伴隨著不同聲音的產(chǎn)出，具有很好的利用價(jià)值。在實(shí)驗(yàn)階段，韓博士團(tuán)隊(duì)設(shè)計(jì)了一個(gè)麥克風(fēng)矩陣，可以捕捉和分離聲音信號，并判斷聲音方位，從而實(shí)現(xiàn)了使智能手表做到聽聲辨位、辨意，利用手勢產(chǎn)生的聲音對手表進(jìn)行控制的目標(biāo)。

Teng Han, Khalad Hasan, Keisuke Nakamura, Randy Gomez, and Pourang Irani. “Soundcraft: Enabling spatial interactions on smartwatches using hand generated acoustics.” In Proceedings of the 30th Annual ACM Symposium on User Interface Software and Technology, pp. 579-591. 2017.

近些年智能手表的廣泛使用，使人們普遍意識到，手表只是一個(gè)輔助工具，并不能取代手機(jī)。近兩年的人機(jī)交互研究也越來越側(cè)重于萬物互聯(lián)的普適計(jì)算，認(rèn)為未來的交互一定是圍繞著智能環(huán)境展開，自然地將計(jì)算設(shè)備融入人們的生活環(huán)境和日常物品，進(jìn)行場景情境感知與互動。因此，在未來智能環(huán)境下輸入和輸出便成為了人機(jī)交互主要面臨的挑戰(zhàn)。

首先是輸入。為解決交互需求、場景和資源的問題，需要做到智能傳感的定制化，即根據(jù)場景進(jìn)行多模感知系統(tǒng)的重構(gòu)。為應(yīng)對物理空間信息的復(fù)雜、多樣、分布、動態(tài)等特性，韓博士提出，結(jié)合柔性功能材料、結(jié)構(gòu)、工藝的特點(diǎn)，可重構(gòu)情境感知工具。在此基礎(chǔ)上，韓博士深入研究了微流體技術(shù)。

韓博士著重介紹了基于微流重構(gòu)技術(shù)的創(chuàng)新性設(shè)計(jì)。例如，用傳統(tǒng)方式做出的電子元件中，通?？梢酝ㄟ^點(diǎn)陣狀電極用于電感性感知，線圈狀電極用于電容性感知，但功能是不可兼得的。韓博士采用微流重構(gòu)技術(shù)結(jié)合液態(tài)金屬的方式，利用流體機(jī)械結(jié)構(gòu)的改變，動態(tài)地實(shí)現(xiàn)結(jié)構(gòu)可控，使電極的形狀可以在線圈狀電極和點(diǎn)陣狀電極之間自由切換。

Wei Sun, Yanjun Chen, Simon Zhan, Teng Han*, Feng Tian, Hongan Wang, and Xing-Dong Yang. 2021. RElectrode: A Reconfigurable Electrode For Multi-Purpose Sensing Based on Microfluidics. Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems. Association for Computing Machinery, New York, NY, USA, Article 13, 1–12.

其次是輸出。在人的五感中，觸覺的靈敏程度是非常高的，然而觸覺交互在傳統(tǒng)的人機(jī)系統(tǒng)里是被忽略的。在面向未來的人機(jī)交互范式，觸覺將成為一個(gè)重要的研究領(lǐng)域。

相關(guān)研究表明，人的皮膚并不具備濕度的感受器，而是通過對溫度變化、壓力和摩擦力的復(fù)合感受來理解濕度。韓博士為此設(shè)計(jì)了模擬裝置，模擬不同溫度、摩檫力情況下的物體表面。這個(gè)裝置的設(shè)計(jì)可以讓被試者有逼真的濕度感受。該技術(shù)可以應(yīng)用到VR領(lǐng)域。

Teng Han, Sirui Wang, Sijia Wang, Xiangmin Fan, Jie Liu, Feng Tian, and Mingming Fan. "Mouillé: Exploring Wetness Illusion on Fingertips to Enhance Immersive Experience in VR." In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, pp. 1-10. 2020.

繼對濕度的研究后，韓博士又聯(lián)想到對痛覺的模擬。雖然痛覺不是令人愉快的感受，但是在VR領(lǐng)域，無傷害的痛覺模擬有很多應(yīng)用場景。相關(guān)研究表明，辣椒素和受傷所產(chǎn)生的灼燒感是一致的，它們所刺激的是同一類神經(jīng)末梢。然而，在實(shí)踐中存在著兩個(gè)挑戰(zhàn)：首先，辣椒素的作用有延遲，無法像受傷時(shí)一樣立刻感受到疼痛；其次，辣椒素濃度過高時(shí)很難快速抹除，易對人體皮膚造成一定的損害。針對這個(gè)問題，韓博士團(tuán)隊(duì)在選用低濃度辣椒素溶液的同時(shí)，配合溫度控制，當(dāng)溫度提升時(shí)痛感也會提升，解決了痛感定量控制的問題。同時(shí)，韓博士使用了微針，微針可以撐開表皮但不傷害真皮，使溶液可以快速下沉到神經(jīng)末梢，解決了感知延遲的問題。

Chutian Jiang, Yanjun Chen, Mingming Fan, Liuping Wang, Luyao Shen, Nianlong Li, Wei Sun, Yu Zhang, Feng Tian, and Teng Han*. 2021. Douleur: Creating Pain Sensation with Chemical timulant to Enhance User Experience in Virtual Reality. Proc. ACM Interact. Mob. Wearable Ubiquitous Technol. 5, 2, Article 66 (June 2021), 26 pages.

在觸覺研究領(lǐng)域，韓博士分享的另一項(xiàng)工作是設(shè)計(jì)觸覺代理工具。觸覺代理工具是一種讓使用者可以在虛擬環(huán)境下體會到真實(shí)物理反饋的交互工具。為了統(tǒng)一多樣化的工具，韓博士團(tuán)隊(duì)進(jìn)行了建模，從手部的運(yùn)動軌跡和作業(yè)時(shí)感受到的力兩個(gè)維度進(jìn)行設(shè)計(jì)：用鏈桿結(jié)構(gòu)仿造了真實(shí)的運(yùn)動模式；通過關(guān)節(jié)結(jié)構(gòu)的設(shè)計(jì)，模擬了力的反饋。

這篇文章獲得了UIST 2020 最佳論文提名獎，是大陸機(jī)構(gòu)首次獲獎。

Li, Nianlong, Han-Jong Kim, Luyao Shen, Feng Tian, Teng Han*, Xing-Dong Yang, and Tek-Jin Nam. “HapLinkage: Prototyping Haptic Proxies for Virtual Hand Tools Using Linkage Mechanism.” In Proceedings of the 32th Annual ACM Symposium on User Interface Software and Technology. 2020. (Honorable Mention Awards)

在做了很多觸覺技術(shù)的研究后，韓博士發(fā)現(xiàn)能夠落地的技術(shù)很少，其主要原因是裝置形態(tài)不夠輕薄。為此，韓博士團(tuán)隊(duì)設(shè)計(jì)了一個(gè)可固定在指尖的薄片。薄片內(nèi)置一個(gè)流體管道和小球；控制流體的沖擊，利用小球震蕩的位置、頻率和振幅，讓手指感受到特定的震動信息。

Teng Han, Shubhi Bansal, Xiaochen Shi, Yanjun Chen, Baogang Quan, Feng Tian, Hongan Wang, and Sriram Subramanian. 2020. HapBead: On-Skin Microfluidic Haptic Interface using Tunable Bead. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems (CHI '20). Association for Computing Machinery, New York, NY, USA, 1–10.

總結(jié)回顧

本次講座，韓博士從交互范式、交互技術(shù)和智能環(huán)境三個(gè)角度出發(fā)，分享了其多篇優(yōu)秀論文，引導(dǎo)和啟發(fā)了參會者對未來交互方式的暢想。未來的交互方式將不再局限于二維空間，而是向三維空間擴(kuò)展；交互媒介將不再局限于一個(gè)屏幕，而是向任何設(shè)備和脫離屏幕的空間擴(kuò)展；同時(shí)感知方式將會更加多?；?；虛擬環(huán)境中將會有更多感官反饋和更真實(shí)的沉浸體驗(yàn)。韓騰博士分享的幾篇成果讓我們看到了未來交互方式的冰山一角，還有更多的交互系統(tǒng)設(shè)計(jì)等待探索。

撰文 / 張研

編輯排版 / 曾心謠

校對責(zé)編 / 黃妍

精彩視頻回顧及完整版PPT下載，請點(diǎn)擊：

AIR DISCOVER｜韓騰：新型感知與反饋?zhàn)匀唤换ゼ夹g(shù)

相關(guān)知識

上海交大陸鈺明課題組建立新型植物內(nèi)源蛋白檢測技術(shù)
新興技術(shù)與全球健康：探索科技前沿的醫(yī)療創(chuàng)新管理新視角
新型技術(shù)打破醫(yī)學(xué)界限，五大技術(shù)幫助醫(yī)療數(shù)字健康轉(zhuǎn)型
韶關(guān)多功能生物反饋訓(xùn)練系統(tǒng),心理健康自助儀
醫(yī)學(xué)新技術(shù)有哪些？
數(shù)字技術(shù)賦能學(xué)校心理健康服務(wù)
交往的藝術(shù)：社交智商與溝通力訓(xùn)練
新技術(shù)助力健康中國夢
2020值得期待的九大應(yīng)用于醫(yī)療領(lǐng)域的新技術(shù)
生命科學(xué)與健康技術(shù).pptx

網(wǎng)址: AIR學(xué)術(shù)｜韓騰：新型感知與反饋?zhàn)匀唤换ゼ夹g(shù) http://m.u1s5d6.cn/newsview330850.html