在高風險的航空領域，飛行員在壓力下的表現能力至關重要。為此，全面而精確的訓練成為飛行員掌握應對挑戰性狀況所需技能的關鍵。近日，美國紐約大學開發了一款基於微軟 HoloLens 的 AR（增強現實）視覺分析工具——HuBar，旨在透過深入分析飛行員的行為和認知工作量，來總結和比較其任務表現，進而最佳化訓練計劃。
HuBar 作為一種創新的視覺分析工具，能夠深入探究飛行員在執行任務時的行為和精神狀態。透過這一工具，研究人員和培訓師可以辨識出飛行員在執行任務中的模式，精確定位困難區域，並據此最佳化AR輔助培訓計劃，從而提升學習效果和實際表現。
紐約大學團隊表示，盡管飛行員培訓是 HuBar 的一個潛在用例，但其套用範圍遠不止於此。HuBar 能夠將 AR 輔助任務中的各種數據視覺化，這種全面的分析能力有助於提高各種復雜場景下的效能和學習效果。例如，在外科手術、軍事行動和工業任務等領域，HuBar 同樣能夠發揮重要作用，幫助改善相關訓練。
在針對航空領域的實驗中，團隊分析了多名直升機駕駛員在 AR 飛行模擬中的數據。透過 HuBar 的詳細分析，研究人員發現表現不佳的駕駛員經常查閱手冊，這反映出他們對任務的熟悉程度較低。利用這些資訊，培訓師可以精確定位駕駛員遇到困難的具體領域，並了解原因，從而為改進 AR 輔助培訓計劃提供有價值的見解。
HuBar 的獨特之處在於其分析非線性任務的能力，並能夠同時整合和視覺化多個復雜數據流。這包括大腦活動、身體運動、註視追蹤、任務程式、錯誤和精神工作量分類等。透過這種方法，研究人員和培訓人員可以在各種任務完成路徑中辨識認知狀態、身體動作和任務績效之間的相關性。
此外，HuBar 的互動式視覺化系統還有助於在不同的過程之間進行比較，從而有可能在復雜的、非順序的過程中辨識模式和異常。這意味著，透過 HuBar，研究人員可以準確地看到一個人在任務中何時以及為什麽會精神超載或負荷不足，這在廣泛的套用中是前所未有的。
隨著增強現實系統的普及，像 HuBar 這樣的工具對於理解這些技術如何影響人類的表現和認知負荷至關重要。研究人員總結道，未來的增強現實訓練系統可能會根據使用者的精神狀態進行即時調整，而 HuBar 正在幫助我們準確地理解如何在不同的應用程式和復雜的任務結構中實作這一目標。
