來源：3D視覺工坊
添加小助理：dddvision，備註：三維重建，拉你入群。文末附行業細分群
論文題目： MicroDiffusion: Implicit Representation-Guided Diffusion for 3D Reconstruction from Limited 2D Microscopy Projections
作者：Mude Hui, Zihao Wei等
作者機構： University of California , Santa Cruz等
論文連結：https://arxiv.org/pdf/2403.10815.pdf
程式碼連結：https://github.com/UCSC-VLAA/MicroDiffusion
該研究介紹了一種名為MicroDiffusion的新方法，旨在從有限的2D投影中實作高質素、深度解析的3D體積重建。與現有的隱式神經表示（INR）模型和去噪擴散概率模型（DDPM）相比，MicroDiffusion將這兩種模型的優點相結合，透過預先訓練的INR模型作為全域先驗，引導DDPM的生成過程，從而增強了擴散過程中的結構化3D資訊，提高了局部2D影像的細節，並減少了雜訊。透過將擴散模型置於最接近的2D投影的條件下，MicroDiffusion能夠顯著提高結果3D重建的保真度，達到了比INR和標準DDPM更優異的影像質素和結構保真度。
MicroDiffusion框架的提出具有重要意義，因為它有效地解決了在生物醫學研究中追求快速體積成像和深度視覺化的挑戰。透過將INR和 Diffusion Models 相結合，MicroDiffusion框架能夠利用有限的2D投影數據來生成高分辨率的3D影像，從而提高了光學顯微鏡的成像能力。這一方法不僅能夠加快影像采集速度，還能保留重要的3D空間資訊，使得使用者能夠以高速獲取詳細的生物結構影像。值得註意的是，MicroDiffusion框架在各種數據集上都取得了成功套用，包括密集分布的樹突和稀疏分布的神經元，這表明了其在醫學診斷和基礎生物醫學研究中的廣泛套用潛力。最重要的是，這項工作為未來設計下一代體積光學顯微鏡提供了重要的思路，同時也為在3D顯微鏡體積重建中融合機器學習技術設定了新的標準，為實作高速、高分辨率的3D光學顯微鏡成像提供了新的可能性。
該研究介紹了一種名為MicroDiffusion的方法，用於從有限的2D投影中重建高質素、深度解析的3D體積。傳統的光學顯微鏡方法受限於數據采集速度慢而無法有效實作高時間分辨率，而新方法利用非繞射光束將3D體積投影為2D投影，加快了成像速度。然而，這種方法犧牲了每個2D快照內的深度資訊，需要新的工具來準確重建3D深度。MicroDiffusion方法結合了隱式神經表示（INR）模型的全域結構一致性和去噪擴散概率模型（DDPM）的細節增強能力。具體實作包括INR預訓練和隱式表示引導的擴散，透過線性插值豐富了擴散過程中的結構化3D資訊，提高了影像保真度。實驗結果表明，MicroDiffusion在三個光學顯微鏡數據集上的表現優於基線方法，能夠準確重建3D體積，揭示細微的結構和細節。
在本節中，作者介紹了兩種方法：隱式神經表示（INR）和MicroDiffusion，用於光學顯微鏡重建。首先，他們回顧了INR的關鍵概念，並展示了他們為光學顯微鏡重建而設計的INR模型。然後，他們詳細介紹了MicroDiffusion，這是一種基於隱式表示引導的擴散模型。這兩種方法的引入為光學顯微鏡重建提供了新的視角和方法，有望提高重建的準確性和質素。
2.1 隱式神經表示（INR）
在本節中，作者回顧了隱式神經表示（INR）的關鍵概念，並介紹了他們為光學顯微鏡重建而設計的INR模型。他們使用函數f_{\text {inr}}來隱式表示3D場景，並透過位置編碼將座標對映到預測的內容，如強度或占據率。訓練INR的目標是最小化預測強度與實際數據之間的重建誤差。接著，他們介紹了MicroDiffusion，這是一種基於隱式表示引導的擴散模型。MicroDiffusion利用INR作為全域先驗來引導擴散模型，在每個局部2D切片中增強細節並減少噪音。這兩種方法為光學顯微鏡重建提供了新的視角和方法，有望提高重建的準確性和質素。
2.2 隱式表示引導的擴散
在這一部份，作者介紹了如何利用擴散模型和隱式神經表示（INR）來重建3D體積。擴散模型逐漸從高斯雜訊中恢復數據，而INR利用神經網絡隱式表示3D場景。作者還提出了MicroDiffusion，將INR的全域結構一致性與擴散模型的細節增強能力相結合，以提高3D重建的質素。在MicroDiffusion中，作者將INR輸出作為先驗知識，用於引導擴散模型，從而增強局部2D切片的細節並減少噪音。這種方法為光學顯微鏡重建提供了新的視角和方法，有望提高重建的準確性和質素。
這一部份介紹了作者的實驗設計、實施和結果分析。他們使用傳統的多光子激光掃描顯微鏡收集了實驗數據，該方法是現代生物醫學研究的金標準成像工具。透過對聚焦的 高斯光束 進行3D掃描，生成了高質素的3D體積堆疊，作為研究問題的基本真實數據集。作者的實驗包括使用生物結構的3D體積堆疊，如樹突、神經元和小鼠皮層淺層的血管系統，以測試模型在不同密度的生物特征的多樣化3D體積堆疊上的效果。
作者還生成了三個合成數據集，模擬了使用非繞射光束進行快速數據采集的情況。在後續實驗中，作者變化了這種寬度，使其成為掃描和生成基礎真實數據集的高斯點擴充套件函數軸向寬度的不同倍數（稱為步長n），從而將體積數據采集時間減少了n倍。
在實作細節方面，為了提高計算效率，作者將所有樣本下采樣到橫向平面的分辨率為128×128像素。對於純隱式神經表示（INR）模型和INR編碼器，作者使用高斯基於嵌入技術將3D座標對映到512維空間。INR模型使用Adam最佳化器進行最佳化，學習率為10^{-3}，持續5000個 epoch ，大約需要8小時在A-100 GPU上執行。此外，作者還采用了AdamW最佳化器，學習率為2^{-4}，權重衰減為10^{-4}。
在實驗中，作者設立了基線方法，包括插值方法和純INR方法。他們還進行了消融研究，研究了不同的條件特征和INR先驗對重建質素的影響。最後，作者透過定量和定性的指標評估了他們的方法，並展示了MicroDiffusion方法在密度較高的生物特征中重建的效果更接近於基礎真實數據。
MicroDiffusion是一種創新的3D重建框架，旨在解決快速體積成像和生物醫學研究中對深度豐富視覺化的需求。該框架巧妙地結合了Implicit Neural Representation (INR)和Diffusion Models，利用有限的2D投影重建高分辨率的3D影像，顯著增強了光學顯微鏡的成像能力。MicroDiffusion不僅加快了影像采集速度，還保留了3D空間資訊，可以以高速獲取詳細的復雜生物結構影像。該方法成功套用於各種數據集，從密集分布的樹突到稀疏分布的神經元，展示了其在醫學診斷和基礎生物醫學研究中的潛力。這項工作為設計下一代體積光學顯微鏡鋪平了道路，為將機器學習整合到3D顯微鏡體積重建中設定了新的標準，並為高速、高分辨率的3D光學顯微鏡開啟了新的可能性。
下載
在公眾號「3D視覺工坊 」後台，回復「 3dcv 」,即可獲取工業3D視覺、SLAM、自動駕駛、三維重建、事件相機、無人機等近千余篇最新頂會論文；巴塞隆拿自治大學和慕尼黑工業大學3D視覺和視覺導航精品課件；相機標定、結構光、三維重建、SLAM，深度估計、模型部署、3D目標檢測等學習資料。
3D視覺方向交流群成立啦
目前工坊已經建立了3D視覺方向多個社群，包括 SLAM、工業3D視覺、自動駕駛、三維重建、無人機 方向， 細分群 包括：
[工業3D視覺 ]相機標定、立體匹配、三維點雲、結構光、機械臂抓取、缺陷檢測、6D位姿估計、相位偏折術、Halcon、攝影測量、陣列相機、光度立體視覺等。
[SLAM ]視覺SLAM、激光SLAM、語意SLAM、濾波演算法、多傳感器融合、多傳感器標定、動態SLAM、MOT SLAM、NeRF SLAM、機器人導航等。
[自動駕駛 ]深度估計、Transformer、毫米波|激光雷達|視覺網絡攝影機傳感器、多傳感器標定、多傳感器融合、自動駕駛綜合群等、3D目標檢測、路徑規劃、軌跡預測、3D點雲分割、模型部署、車道線檢測、Occupancy、目標跟蹤等。
[三維重建 ]NeRF、多檢視幾何、OpenMVS、MVSNet、colmap、紋理貼圖等
[無人機 ]四旋翼建模、無人機飛控等
除了這些，還有求職、硬件選型、視覺產品落地、最新論文、3D視覺最新產品、3D視覺行業新聞等交流群
大家可以添加小助理： dddvisiona ，備註：加群+方向+學校|公司, 小助理會拉你入群。
