在虛擬現實（VR）和增強現實（AR）環境中，文本輸入一直是個難題，其繁瑣程度和速度遠遠落後於傳統的 PC 和智慧型手機。
懸浮式虛擬鍵盤不僅要求使用者笨拙地舉起雙手，逐個按鍵輸入，還缺乏觸覺反饋，無法讓手腕得到休息。盡管一些 VR 頭顯如 Quest 支持藍芽鍵盤以實作快速打字，但這又意味著使用者需要額外攜帶一個比頭顯還大的裝置。
為了解決這一問題，Meta 與蘇黎世聯邦理工學院的研究人員共同開發了一種名為 TouchInsight 的軟體系統。該系統能夠將任意平面轉化為虛擬鍵盤，不僅提供了部份觸覺反饋，還讓使用者的手腕得以休息，同時避免了攜帶實體鍵盤的麻煩。
盡管在技術上，開發者已經可以在 Quest 上構建表面釘選的虛擬鍵盤，但實踐中，即使虛擬表面與真實表面的高度有絲毫偏差，也會導致錯誤率飆升。Meta 去年曾展示過一種解決方案，但其需要在桌子上放置一系列基準標記，且未透露錯誤率。
而 TouchInsight 系統則無需任何標記或外部硬體，只需將頭顯放在任意桌子上即可使用。據論文介紹，該系統由六位研究人員共同開發，其最高打字速度可達 70 詞每分鐘（WPM），平均速度為 37 WPM，雖然略低於普通人在傳統鍵盤上的打字速度（約40 WPM），但已足夠滿足大多數使用者的需求。更重要的是，TouchInsight 的平均未校正錯誤率僅為 2.9%，遠低於之前的解決方案。
TouchInsight 的工作原理是透過一個神經網路來預測觸摸事件的時刻、手指接觸和觸摸位置。它利用雙變量高斯分布來表示位置，以解決傳感不準確導致的不確定性問題，並透過上下文先驗來準確推斷使用者的預期輸入。
此外，TouchInsight 的套用場景不僅限於打字。研究人員表示，該系統還支持混合現實遊戲，如打地鼠遊戲，玩家可以用手指壓扁小地鼠，體驗更加真實的互動。
據悉，研究人員將於下周在匹茲堡舉行的 ACM 使用者介面軟體和技術研討會上演示 TouchInsight 系統。然而，目前尚不清楚 Meta 是否計劃近期將 TouchInsight 整合到其 Horizon OS 中。
