來源：機器之心Pro
AIxiv專欄是機器之心釋出學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯系報道。投稿信箱：liyazhou @jiqizhixin .com；zhaoyunfeng @jiqizhixin .com
本論文的第一作者朱欽峰是西交利物浦大學和利物浦大學聯合培養的一年級在讀博士，其導師為範磊副教授。他的主要研究方向為語意分割、多模態資訊融合、3D視覺、高光譜影像和數據增強。該課題組正在招收24/25級博士生，歡迎信件咨詢。
信箱：qinfeng.zhu21 @student .xjtlu.edu.cn
主頁： https://zhuqinfeng1999.github.io/
本文是對發表於模式辨識領域頂刊Pattern Recognition 2024的最新綜述論文：「Advancements in Point Cloud Data Augmentation for Deep Learning: A Survey 」的解讀。
該論文由西交利物浦大學朱欽峰、範磊和翁寧馨完成。
這篇綜述首次全面總結了 點雲數據增強 的相關研究工作。
深度學習已成為點雲分析任務（如檢測、分割和分類）的主流和有效方法之一。為了減少在訓練深度學習模型過程中的過擬合，特別是在訓練數據量或多樣性有限的情況下提高模型效能，數據增強通常是關鍵。盡管各種點雲數據增強方法已在不同的點雲處理任務中廣泛套用，但目前尚未釋出這些方法的系統性綜述或討論。
因此，本文對這些方法進行了調研，將其分類到 一個包含基礎和特定點雲數據增強方法的分類框架 中。透過對這些增強方法的全面評估，本文確定了它們的潛力和局限性，為選擇合適的增強方法提供了有用的參考。
此外，本文還探討了 未來研究的潛在方向 。本調研有助於提供點雲數據增強當前研究的全面概覽，促進其更廣泛的套用和發展。
Free Access: https://authors.elsevier.com/c/1j3TW77nKoLGM
arXiv：https://arxiv.org/pdf/2308.12113
作者主頁：https://zhuqinfeng1999.github.io/
圖1.點雲數據增強方法的分類。
點雲數據增強
在深度學習領域，當可用的訓練數據集有限時，數據增強常被使用。這涉及執行一系列特定的操作來修改或擴充套件原始數據，從而增加數據集的數量和多樣性。
由於優質的增強數據集有助於提高網路的魯棒性、增強泛化能力並減少過擬合，因此在訓練深度學習網路時，數據增強幾乎總是被視為理想的選擇。在影像數據增強和文本數據增強領域，已經觀察到了全面的發展。
在眾多近期發表的關於點雲處理任務的研究論文中，研究人員探索了各種增強點雲數據的方法。這些方法的廣泛範圍為研究者在選擇合適的方法時帶來了挑戰。因此，系統地調查這些方法並將它們分類成不同組別具有重要價值。
本文呈現了一個關於點雲數據增強方法的全面調查。
基於我們的調查，我們提出了一個這些增強方法的分類體系，如圖1所示。
增強方法可以被分為兩個主要類別：基礎點雲增強和特定點雲增強，這與影像增強的典型分類方法相似。
基礎點雲增強 指的是那些概念簡單且在不同任務和套用環境中具有普適性的方法，這一點透過它們在調查文獻中與其他方法的廣泛結合使用得到了證明。
特定點雲增強 則指通常為解決特定挑戰或應對特定套用環境而開發的方法。在大多數情況下，特定點雲增強在計算上比基礎增強更為復雜，這取決於增強方法的實作細節。我們提出的分類體系中的子類別別代表了文獻中已用於點雲數據增強的各種方法的總結，或具有潛力被用於點雲數據增強的方法。
該綜述的主要貢獻如下：
基礎點雲增強
仿射變換涉及到仿射空間的變換，它保留了共線性和距離比例。在影像數據增強中，常用的仿射變換方法包括縮放、平移、旋轉、翻轉和剪下。同樣地，仿射變換也可以套用於點雲數據增強。典型的方法包括平移、旋轉、翻轉和縮放，並且這些方法已被廣泛用於生成額外的新訓練數據。
這些操作可以套用於整個點雲數據集，也可以使用特定策略套用於點雲數據中選定的例項（例項指的是諸如圖2（a）所示的車輛這樣的語意物件），或者套用於選定例項的特定部份。
但是，透過仿射變換增強的數據可能面臨資訊遺失或語意不合理的問題。這些仿射變換的具體操作及其討論詳見論文。
圖2.透過仿射變換增強點雲數據的範例:(a)原始點雲數據，(b)平移車輛，(c)旋轉車輛，(d)縮放車輛，(e)翻轉場景。
丟棄增強 是指丟棄點雲數據中的一些數據點，如圖3所示。去除點的選擇是由具體策略決定的。丟棄的點可以是整個點雲數據的一部份，也可以是場景中隨機選擇的點。丟棄增強有助於深度學習模型對表示遮擋或部份可見場景的缺失或不完整數據變得更加魯棒。
它還可以防止深度學習模型過於依賴訓練數據集中的特定數據點。然而，遺失過多或關鍵的點雲資訊可能會導致訓練數據中對現實世界物件的不真實表示，並影響深度學習模型的訓練。基於丟棄增強的各種方法和討論詳見論文。
圖3.透過丟棄增強的點增強範例:(a)原始點雲數據，(b)隨機丟棄的增強點雲，(c)丟棄部份的增強點雲。
抖動是指對點雲中單個點的位置施加微小的擾動或雜訊，如圖4所示。基於抖動增強的各種方法和討論詳見論文。
圖4.抖動增強範例:(a)原始點雲數據，(b)抖動增強的點雲數據。
在場景級的點雲數據集中，例如戶外自動駕駛場景，標註的例項通常是有限的。在這種情況下，GT-sampling成為一種簡單而有效的數據增強方法。
GT-sampling是指將帶有標簽的例項添加到訓練數據集中的操作，如圖5所示，標記的GT例項來自同一訓練數據集或其他數據集。GT-sampling通常適用於場景級點雲數據集，而通常不考慮例項級點雲數據集，如ShapeNet。基於GT-sampling增強的各種方法和討論詳見論文。
圖5.(a)語意合理的GT-sampling，添加的車輛在紅框中。(b) 語意不合理的GT-sampling，一輛車在建築物墻體內，另一輛在樹木中。
除此以外，本文還介紹了套用於基礎點雲數據增強方法的策略，如Patch-based策略，和自動最佳化策略（見圖6）。本文對典型的基礎點雲增強方法進行了匯總，如表1所示。
圖6.自動最佳化的常見過程。
表1.代表性基礎點雲增強方法。
特定點雲增強
特定點雲增強方法通常旨在解決特定的挑戰或套用場景。特定點雲增強包括：Mixup增強，域增強，對抗性變形增強，上采樣增強，補全增強，生成增強，多模態增強和其他。
這些特定增強方法的具體定義以及討論詳見文中。表2概述了具有代表性的特定增強方法的發展，提供了各種資訊。
表2.代表性特定點雲增強方法。
需要註意的是，目前一些對抗性變形、上采樣、補全和生成技術並沒有直接套用到點雲數據增強中，如表3所示。為了對特定方法進行全面的分類，本文還包括了這些潛在的方法並對其進行了討論。
表3.潛在的特定點雲增強方法。
討論
論文中對點雲數據增強方法的適用任務以及場景進行了詳細的討論，並指出了點雲數據增強在一致性學習中的作用，如圖7所示。
圖7.(a)常規的深度學習訓練，將原始數據和增強數據發送到深度學習網路進行訓練，得到訓練後的模型;(b)一致性學習，透過各種增強方法對輸入點雲數據進行變換，生成多個增強變量，然後將其饋送到多個網路進行一致性學習，在訓練期間做出一致的預測。
表4對進行數據增強前後進行定量評估的文獻進行了整理，展示了數據增強的效果。作為比較各種增強方法的另一部份，附錄中（詳見論文）還概述了使用增強點雲數據的下遊任務的定量效能，以及這些任務中采用的增強方法。
表4.點雲數據增強對於增強模型表現的匯報結果。
未來工作
研究團隊針對該領域，指出了進一步研究的九點可能的方向：
參考文獻：
[1] Qinfeng Zhu , Lei Fan , Ningxin Weng , Advancements in Point
Cloud Data Augmentation for Deep Learning: A Survey, Pattern Recognition (2024), doi:
https://doi.org/10.1016/j.patcog.2024.110532
