A. VR眼動跟蹤技術和VR手勢識別技術哪個好
手勢識別
手勢能夠將物理動作描述成無聲的語言交流,它能傳遞人的想法、情緒及某些指令信息。手勢識別可以來自人的身體各部位的運動,但一般是指臉部和手的運動。在交互設計領域,人們可以使用一隻手或兩只手對相關設備進行操作,根據不同的應用目的,手勢可以分為控制手勢、對話手勢、通信手勢和操作手勢。
它被認為是計算機對運動所進行的解釋,一種新的感知計算方式,通過運動感測器和加速儀運用各種編程演算法,允許人們通過手勢識別對控制設備執行命令。
手勢識別在VR中的重要性及其原因
虛擬現實是由計算機根據現實與想像空間生成的一種模擬環境,讓用戶具有身臨其境的沉浸感,通過各種交互行為刺激用戶的視覺、觸覺、聽覺等感知系統,從而建立全方位的感官體驗。
目前,人們的體驗常常受制於VR頭顯和不夠自然的交互方式。相比之下,手勢識別能夠在虛擬環境中,賦予人們貼近現實生活的手勢導航和控制能力,建立最直接的人機交互方式。
將手勢識別技術應用於虛擬現實
虛擬現實環境想要具備完全的沉浸感,就這意味著需要在計算機創造的空間內精確的模擬現實世界中最細微的動作、振動及變化。這其中發揮首要作用的就是感測器技術。
它負責監測和記錄人們運動的速度、方向甚至是最簡單的垂直和水平位移狀態。通過處理這些實時的運動數據,結合復雜的計算機演算法,VR系統才能重建出我們所熟知的世界。那麼,在這些大量的工作背後,手勢識別具體經歷了幾個工作階段呢?大致可分為以下四個:
1.數據採集或手勢圖像收集階段
這是將手部、身體或者臉部的動作輸入數據進行分類採集的階段。
2.手勢圖像預處理階段
這一步是利用邊緣檢測、濾像和歸一化處理等技術捕捉主要的手勢特徵,並將其輸入到用於手勢識別的模型中。
3.圖像追蹤階段
這一階段是對預處理圖像進行深入追蹤,通過感測器捕獲具體動作的方向,確定運動對象的空間位置。這需要藉助外部的多種追蹤器才能實現,如磁性、光學、聲學、慣性等方面的感測設備。
4.識別階段
以上的所有階段都是為了最終的識別做准備,在成功提取手勢特徵的圖像跟蹤後,這些數據就會被儲存在由復雜經網路或決策樹構建的系統中,並進行該手勢意義及命令的判斷與分析工作。至此,手勢信息已被正式識別,分類器可根據提取的規則特徵進行手勢分類,以獲得手勢識別的結果。
手勢識別需要的支持設備
為了能夠使手勢識別技術真正面向市場,還需要藉助各種電子工具和輸入設備。從觸覺、視覺和動作捕捉方面進行分類,可發現諸如,監測手指彎曲程度的手套裝備、測量加速度和旋轉角度的感測器裝置、以及利用深度感知攝像機捕捉3D姿態的視覺處理設備。
眼動追蹤
然而,作為說明用戶的可能意圖或注視點這樣的一般情景信號,眼動追蹤非常有用。許多眼動追蹤的用例將會在後台工作,可能包括以下內容:
1.圖形渲染資源分配:如果一個人正在注視某個地方,更多的圖形渲染資源可以在這個大方向上分配。這樣給定的渲染功率可以提供更高質量的輸出。
2.數據預取:某些VR數據操作需要一定的時間才能完成,例如。於在線資料庫中查找東西。如果一個人在特定方向上掃視,那在他選擇要與之交互之前,數據讀取可以在後台開始。這改善了VR環境中的感知響應性,這對移動數據網路尤為有用。
3.多模式智能3D對象選擇:對於VR,在雜亂的環境中指向小對象可能相當困難。眼動追蹤可以通過把眼動信息與控制器輸入組合來幫助消除選擇歧義,讓用戶更准確地選擇對象。
4.自動頭顯校準:知道用戶眼睛注視位置的頭顯可以更好地調整自己的圖像輸出參數,以獲得最佳的用戶舒適度。
5.平衡操作:前庭眼反射是一種眾所周知的自動反應,會把眼球運動與前庭系統的變化聯系起來。知道眼睛運動和頭顯運動(通過加速度計)將可以對用戶前庭系統的可能狀態進行判斷,因此可實現系統性操作,或可能在VR使用期間減少暈動症的影響。
所以,眼動跟蹤技術和手勢識別技術對於vr體驗都是很重要的,兩個功能缺一不可,更多信息請看ARA聯盟。