當前位置: 華文世界 > 數碼

「全面對標Vision Pro」,國產MR真有這麽強?

2024-06-29數碼

克雷西 發自 凹非寺

量子位 | 公眾號 QbitAI

1X999元,國產XR廠商給出了一個不買Vision Pro的理由。

成立四年的初創公司——玩出夢想科技,釋出了全新安卓系統空間電腦「玩出夢想MR」。

它擁有 雙目8K 的超清顯示器,視覺感受十分逼真,而且 VST延遲也僅有14毫秒

這樣的指標可以說 與蘋果Vision Pro十分接近,甚至幾乎感覺不到差異

高畫質、低延遲,用來看電影是一個很不錯的選擇,而且還搭載了300多款遊戲和套用,同時支持PC等器材的即時串流。

此外,玩出夢想科技更是打出了全面媲美Vision Pro的口號,那麽玩出夢想MR究竟是怎樣一款產品?

註:具體價格暫未公布

8K超高畫質畫質,娛樂辦公都覆蓋

硬件上,玩出夢想MR搭載了 高通第二代驍龍XR2+ 芯片、 雙目8K Micro-OLED螢幕 雙3200萬像素高畫質攝影機

超高畫質的顯示器,用來觀看電影是一個很容易想到的用途。

玩出夢想MR是 IMAX和DTS 全球首個空間計算與混合現實領域合作夥伴,在觀影場景表現驚艷。

此外,在玩出夢想科技自研的影院模式下,支持在空間中 1:1還原超千寸的IMAX級巨幕

聽覺上支持DTS客製空間混響音效,可 模擬7.1聲道的音響效果 ,帶來真實沈浸的觀影感受。在此基礎之上,玩出夢想MR還能在播放影片的同時,將空間中的場景替換為電影院,體驗上更有看電影的感覺了。

當然,花成千上萬的價格買個電影播放器,再怎麽沈浸也還是貴了一點點,所以,其他功能也是必不可少的。

比如空間遊戲,目前玩出夢想MR支持MR遊戲、VR遊戲、大屏2D遊戲類別,生態當中已有300余款遊戲或套用,涵蓋的類別也十分豐富——

一方面,有面向重度遊戲玩家的FPS、動作類遊戲(如【玩命特攻】) ;另一方面,也有偏休閑益智類的遊戲(如【夢境世界】) ,可以滿足不同偏好的玩家。

在早期調查中,已經有【滅亡之後:凜冬】【夢境世界】等一些遊戲擁有了一定的使用者數量和黏性,並且很受玩家的喜歡,未來玩出夢想科技還將和更多廠商展開合作,引入爆款遊戲。

除了遊戲本身,互動方式也十分豐富,在AI技術的賦能下,器材既可以透過眼動、手勢來操控,也可以用語音控制;

也可以拿起手柄,不僅能更加真切地感受到手中的重量,還能接受到來自手柄的擬真力反饋,讓空間互動,特別是體感遊戲,變得更加真實,同時在射擊類、動作類遊戲中讓控制更加精準。

另外,利用器材上的雙3200萬像素高畫質網絡攝影機,無需手持器材就能拍攝出真實的空間影片。

而且玩出夢想MR還加入了防抖演算法,拍影片時不用再擔心手抖了。

拍攝出的影片也無需後期處理,拍完就能直接看,其他器材拍攝的空間影片也能播放。

在這些娛樂功能之外,玩出夢想MR也可以運用在辦公生產力場景。

除了與之相關的套用,也可以把電腦螢幕串流到空間之中,可使用的顯示空間變得更大了,但操作習慣無需改變,像平常一樣使用鍵鼠就可以在MR環境當中辦公了。

當然,如果想要長時間使用,除了功能多多益善之外,佩戴的體驗也至關重要。

玩出夢想MR佩戴起來十分舒適,它的重量分布經過專門分配設計,采用了3:2的均衡配重,可以減輕頸部和面部的佩戴壓力,即使長時間佩戴也不易疲勞。

另外,12mm的超大眼盒設計,睫毛不容易觸碰到鏡片,還支持51-78mm的自動瞳距調節,適應不同使用者的生理特點。

從增加套用場景到改善使用體驗都可謂是效果拉滿,而背後所套用的技術,可想而知是一個浩大工程。

技術細節充滿AI

實作這樣的效果,需要演算法、硬件、光學等多個領域的技術積累。

玩出夢想科技團隊有70%的成員都是技術研發人員,包括光學、硬件、軟件、演算法等全鏈路,全棧式的自研能力可以說是玩出夢想科技的重大優勢。

其中,軟件及演算法研發工作主要圍繞著三個方面進行——動作追蹤(互動)、地圖構建,以及光學(視覺)層面的最佳化。

其中,互動和視覺對於我們來說,是更容易直接感受的。

★手眼語音多模態融合互動

互動方面,前面已經介紹,玩出夢想MR支持手柄、手勢、眼動、語音等多種使用方式,這背後需要頭部、手部、手柄、眼動等追蹤能力。

  • 頭部追蹤上,是由多個網絡攝影機負責捕捉頭部的運動資訊,IMU提供角度變化資訊,透過傳感器融合演算法將這兩種數據結合,得到頭部在空間中的精確位置和朝向。玩出夢想科技布局了頭部6DoF追蹤技術,可以即時捕捉使用者頭部的位置和朝向,實作頭控視角的變換,提高MR體驗的沈浸感。
  • 手部追蹤透過分析網絡攝影機影像中手的形狀、紋理等特征,估計手的位置、朝向以及每個關節的角度。這需要大量的訓練數據和精細的模型設計。玩出夢想科技重點布局了手部26DoF追蹤技術,不僅能辨識手的位置和方向,還能檢測每個手指關節的運動,實作更靈活、自然的手勢互動。
  • 眼動追蹤則一般透過近眼網絡攝影機和紅外發射器實作。紅外光照射眼睛,近眼網絡攝影機捕捉眼睛對紅外光的反射,透過分析反射光斑的位置,來估計眼球的轉動、判斷眼球註視點。在配備了高精度眼動追蹤的同時,玩出夢想科技還探索將眼動追蹤用於渲染最佳化、身份辨識、 視線追蹤等領域,以提高顯示效果和互動體驗。
  • 需要註意的是,這些互動方式並非獨立運用,實際過程中往往還需要將多種方法融合使用。

    所以,除了分別在這三種追蹤技術上進行布局外,玩出夢想科技也在將這些技術進行融合與協同。

    利用傳感器融合演算法,玩出夢想科技將不同追蹤技術的數據進行時間同步和語意理解,以準確解析使用者意圖。

    例如,當使用者看向一個物體並用手指指向它時,器材需要將眼動數據和手勢數據結合,判斷使用者想要選中這個物體。

    這就需要對不同傳感器來源的數據進行時間同步和融合,並透過機器學習演算法來理解使用者的意圖。

    不難看出,在互動技術當中,機器學習的影子頻繁出現,在MR的技術底層當中,AI已經深度融入。

    ★雙目8K Micro-OLED+顯示器幕逐台校準

    再來看光學層面,VST是MR器材的核心功能之一,玩出夢想科技在這方面實作了14ms的超低延遲,基本與蘋果Vision Pro持平。

    這與其搭載的高通第二代驍龍XR2+芯片的算力當然密不可分,但研發團隊還需要對演算法進行最佳化,比如去除安卓系統中冗余的部份,才能充分利用芯片優勢。

    為了更快的響應速度,也為了雙目8K的超高清晰度,玩出夢想科技選擇了顯示精度更高的8K Micro-OLED顯示器。

    當然除了最核心的螢幕,玩出夢想科技自研的4片式超輕樹脂Pancake光學方案也十分重要。

    經過精密設計和計算,玩出夢想MR最大限度減少了光學系統引入的繞射和像差,讓成像質素得以保證。

    另外,為了實作更準確一致的顯示效果,玩出夢想科技針對所有器材逐台進行了色彩標定和幾何標定,確保顯示偏色ΔE<3,雙目合像誤差小於0.01°,並且雙屏色溫、亮度高度一致。

    ★AI給地圖打上語意標簽

    另一個地圖構建的模組,人們的感受可能就不那麽直觀了,但依然十分重要。

    因為要實作虛實融合,器材不僅需要感知使用者,還需要感知和理解周圍的環境。

    玩出夢想MR的地圖模組可以快速透過傳感器感知周圍環境,並生成由點雲、網格、語意標簽三個要素組成的地圖數據。

    而語意地圖的生成,需要同時使用幾何資訊和視覺資訊,就像動作追蹤模組一樣,這個過程同樣「AI含量滿滿」。

    首先,器材透過三維重建演算法生成環境的幾何模型,並與網絡攝影機拍攝的影像進行配準,給每個幾何元附加上對應的顏色紋理。

    接下來是語意理解的步驟。器材透過深度學習演算法來分析每個像素點或者網格面片所屬的物體類別,生成語意標簽資訊並附加到地圖數據中。

    除了地圖本身,玩出夢想科技在儲存、演算法效率和數據組織上也都進行了最佳化,使得語意地圖的生成和存取都非常高效,可以支持即時的套用需求。

    借蘋果的東風

    在擁有大量技術積累的同時需要指出的是,實作產品的批次生產,只有這些技術是不夠的。

    因為在硬件上,特別是一些客製化元件,初創公司往往還面臨著供應商不願意專門生產客製化配件的窘境。

    理由也很充分——客製化配件需要對生產線進行調整,而新物種的配件需求量無法保證,很難給供應商帶來收益。

    不過,頭部玩家蘋果的入局改變了這一局面——Vision Pro讓供應商也看到了MR的未來,開始重新審視相關配件的利潤點。

    玩出夢想科技CMO朱然認為,蘋果開啟了空間計算時代的序幕——

    蘋果的入局,無論是針對市場教育程度、供應鏈的整合,還是內容CP廠商的積極性來說,都起到了快速助推的作用。

    朱然還表示,小型創業公司沒有蘋果那麽多行銷資源去做大規模市場教育。

    但在蘋果進行了市場教育後,只要樹立好自己的產品差異化和品牌差異化,就可以在細分市場上獲得一席之地。

    實際上,對於初創公司來說,借助頭部選手的東風,建立起自己的產品體系,的確是一種潛在的發展思路。

    不只是供應商,蘋果Vision Pro也將空間計算的未來展現在了使用者面前,讓使用者看到了MR器材並非花拳繡腿。

    在這種趨勢的帶動下,XR終端保有量將會提高,內容生態閉環或將得到打破,湧現出一大批的優質套用,帶來產業的繁榮。

    最後再回到此次釋出的玩出夢想MR,它將於今年下半年在國內外正式開售。

    — 完 —

    量子位 QbitAI · 頭條號簽約

    關註我們,第一時間獲知前沿科技動態