當前位置: 華文世界 > 數碼

OPPO、銳思智芯、高通三方攜手,共同推動智能電話影像 AI Motion 變革

2024-01-11數碼

OPPO、銳思智芯、高通近期釋出,合作推動創新性融合視覺傳感(Hybrid Vision Sensing, HVS®)技術在智能電話領域套用。透過HVS®傳感器來更高效地提取運動資訊和影像數據,從而幫助進一步改善拍照效能並實作影像的AI Motion功能。

三方將合作開發一套完整方案,包括從Hybrid Vision Sensor獲取原始視覺資訊,傳輸至驍龍® 流動平台,並搭配專用演算法。該合作方案將幫助實作智能電話影像創新功能,如拍照去模糊,超分辨率,和影片超慢動作重建等需要基於影像和運動資訊結合的演算法來實作的功能特性,具有開創性意義。

高通產品管理副總裁(Vice President of Product Management)Judd Heape表示:與傳統影像傳感技術相比,EVS技術在捕捉運動資訊方面具有更大優勢。而HVS®解決方案結合了影像和事件傳感技術各自的優勢。在平台硬件和演算法的支持下,智能電話的影像能力得到顯著提升。我們很高興與OPPO和銳思智芯合作,共同為這項技術的產品化貢獻力量。我們也相信,這項技術將會在各個領域得到更廣泛的套用。

OPPO影像產品總監張璇:「多年來,我們在前沿傳感器技術上進行了廣泛的研究,尤其在 HVS®(融合視覺傳感)技術領域投入較大精力。我們與銳思智芯和高通有著深度的合作,參與芯片和演算法的多次叠代開發。我們對這項技術的潛力充滿信心,未來也將持續投入其中,與合作夥伴共同期待這一技術在OPPO超光影影像引擎的套用。」

運動資訊在攝影和機器視覺中至關重要。傳統的影像傳感器將一段時間(即曝光時間)內的運動資訊重疊到一幀影像裏,但這容易導致運動模糊和有效運動數據的遺失。

利用視覺傳感器有效獲取高精度的運動資訊是當今各領域的首要需求之一。基於傳統影像傳感器,業內通常透過提升幀率來獲取高精度運動資訊,但同時也不得不付出承擔龐大冗余數據的代價,隨之而來的是資源消耗、系統成本的增加,以及系統處理效率的降低。另外,高幀率意味著過短的曝光時間,從而大大削弱了相機對環境光線的適應能力。

因此,對於許多套用而言,透過提升幀率獲取更多有效的高精度運動資訊,性價比低且不切實際。需要性價比更高的技術路徑實作對運動資訊的高效捕捉。

事件相機(Event-based Vision senor, EVS)是一種無快門連續記錄變化/運動資訊機制的成像技術。透過其獨特的像素內處理機制,能夠在記錄運動資訊時實作高幀率、高動態範圍和低數據冗余之間的平衡。

由於EVS對靜態資訊不敏感,在捕捉許多機器視覺套用所需的關鍵靜態影像資訊時能力欠佳,通常需要搭配一顆傳統影像傳感器 (RGB)使用,不過這兩項技術的融合也並非易事,要面臨兩種類別視覺資訊(EVS和RGB)的時空配準方面的挑戰,同時成本和系統復雜度加大,一定程度上也遏制了EVS發揮原本的技術優勢。。

銳思智芯於2019年推出的融合視覺傳感 (HVS®) 技術將 EVS 和傳統影像功能融合到同一顆傳感器芯片上。銳思智芯的 ALPIX® 系列傳感器可同時輸出高質素RGB影像和EVS數據流,為捕獲帶有運動資訊的影像提供經濟高效且演算法友好的解決方案。

銳思智芯創始人兼行政總裁鄧堅表示:「在當前的視覺傳感器領域,人們不僅對2D RGB資訊的期望越來越高;還迫切希望傳感器能夠提供額外的數據,例如距離、光譜和運動資訊。我們與OPPO和高通合作,共同推動將 ALPIX-Eiger®無縫整合到手機套用中。它作為增強型RGB影像傳感器,其影像質素可與市場上領先的影像傳感器相媲美,同時引入了EVS捕捉運動資訊。能夠見證和參與這項技術從概念到產品落地,我們感到無比興奮與自豪。」

「真正改變世界的不是技術本身,而是技術衍生出來的產品套用為社會帶來的價值。我們希望將融合視覺傳感技術 (HVS®) 帶給每個使用者。這是我們的初衷,我們期待這次合作取得豐碩的成果」,鄧堅補充道。