1
機器在雨霧天「看不見」怎麽辦？面對在低對比度視覺環境下辨識目標的挑戰，南京大學物理學院梁世軍副教授和繆峰教授領導的團隊創新提出了「傳感器內動態計算」概念。透過在基於新型材料結構的傳感器內整合更多計算與資訊處理功能，該技術能夠在對比度變化的環境中始終保持對目標的精準辨識和高魯棒追蹤。該工作推動了智慧機器視覺技術的發展，有望在多個領域內實作其革新套用。
在雨雪大霧天氣出行時，路上的行人、非機動車等目標物往往難以分辨，造成交通安全隱患。這是由於在這些特殊氣象條件下，來自目標物的光強與周圍背景光強非常接近，整體視野內影像的對比度偏低，難以有效辨識出目標。類似的情況也發生在夜間等光照條件不理想的場景下，例如在昏暗的走廊與街巷中，來自人和物體的反射光強與周圍背景反射光強都比較弱。在上述這些低對比度光學環境下，目標物的輪廓與邊緣等關鍵特征模糊，極大增加了在背景環境中對目標進行有效分辨和辨識的難度。
機器視覺是人工智慧正在快速發展的一個分支，簡單說來就是用機器代替人眼來實作目標辨識等功能，在工業自動化、無人駕駛、智慧城市等眾多領域有著廣泛套用。現有機器視覺系統（前端影像傳感器+後端處理器）在低對比度環境下，主要透過在後端軟體處理過程中，人為增強影像的對比度來提高目標的區分度，或者透過增加前端傳感器內所有像元的感光度和延長曝光時間，這些方式不僅會拖慢速度和引入更多雜訊，而且會增加後端算力負擔，可謂治標不治本。對此，一個可行的方案是在光電傳感器進行探測的同時，就在傳感器內部實作對低對比度環境內目標特征的放大與增強，用特征增強後的影像取代原始低對比度影像，這樣利用後端處理器或神經網路進行目標辨識時，將有望顯著提升辨識準確率和魯棒性。
針對上述挑戰，南京大學物理學院梁世軍副教授、繆峰教授團隊透過在傳感器內引入更多計算與資訊處理功能，首次提出傳感器內動態計算範式，推動智慧機器視覺技術功能升級與套用拓展。團隊透過原理性實驗驗證，實作了低對比度光學場景下弱目標特征的準確提取，展現了對弱目標的魯棒、精確的辨識與追蹤能力。該動態計算範式的硬體實作基於石墨烯/鍺異質整合構築的光電響應度多埠可調控感光器件。透過在相鄰器件之間引入訊號互動與關聯控制，根據影像局域光強梯度動態調控摺積核權重，形成可自適應影像內容的傳感器內動態摺積計算單元。
相關研究成果以「In-sensor Dynamic Computing for Intelligent Machine Vision」（面向智慧機器視覺的傳感器內動態計算）為題於2024年2月8日線上發表在國際電子學領域頂級期刊Nature Electronics 【自然·電子學】上（https://www.nature.com/articles/s41928-024-01124-0）。同期【自然·電子學】「研究簡報（Research briefing）」欄目以「Pixel-Correlated Computing for Detecting and Tracking Targets in Dim Lighting（用於弱目標檢測與追蹤的像素關聯計算）」為題，對該研究成果進行了專題報道，評價該工作展示了「一種先進的感內計算技術（an advanced form of in-sensor processing technology）」。由於這類材料與器件的制備均可采用較為成熟的工藝，該技術有望實作大規模芯片級整合與系統級套用。
研究團隊在影像傳感器內構建了新型「動態摺積」計算單元（如圖a）。傳統摺積核在滑過整幅影像的過程中，摺積核權值是固定的，不隨影像資訊進行適應力變化，難以對影像局部特征進行有針對性和特異性處理。與傳統摺積操作不同的是，透過傳感器硬體構建的局域關聯「動態摺積核」，由處於中心的1個動態像元和周圍8個靜態像元組合而成。其中，靜態像元負責感知當前位置影像的局域光強（灰度）變化，例如影像的局域梯度，所有靜態像元的光電響應度（權重）是固定且一致的。而動態像元的光電響應度（權重）會隨著周圍8個靜態像元的光電流輸出特性（反映了影像的局部特征）進行動態調控。如果檢測到此處有較大的局域光強變化，動態像元將調整自身光電響應度使得整個「動態摺積」單元能夠主動的根據影像局域資訊，進行有選擇性和針對性的特征放大與增強。
該「動態摺積」單元的硬體實作是基於多埠可調光電響應特性的石墨烯/鍺異質結光電器件。透過外圍電路的配合，能夠在陣列中的器件之間引入動態訊號互動與關聯控制。研究團隊透過原理性實驗，展示了對昏暗走廊中站立的人這個典型弱目標的特征提取效果（如圖b）。該動態關聯計算範式革新了傳統影像傳感陣列中每個像元彼此獨立工作的靜態傳感模式，為智慧機器視覺系統在復雜與極端光學場景中的弱目標精準探測提供了通用且可行的技術途徑。
圖 (a) 局域關聯感內計算原理示意圖以及器件結構示意圖；(b) 一種典型場景下弱目標特征提取的實驗結果。
- 推薦閱讀 -
棟梁特等獎學金 | 做紮根祖國豐壤的書寫者，她願成為「時代洪流中的礁石」！
南大第四！自然指數最新排名公布！
今天，給南大寫一封情書
來源 | 南京大學
美編 | 曾曼睿
責編 | 李欣怡
