来源：3D视觉工坊
添加小助理：dddvision，备注：三维重建，拉你入群。文末附行业细分群
论文题目： MicroDiffusion: Implicit Representation-Guided Diffusion for 3D Reconstruction from Limited 2D Microscopy Projections
作者：Mude Hui, Zihao Wei等
作者机构： University of California , Santa Cruz等
论文链接：https://arxiv.org/pdf/2403.10815.pdf
代码链接：https://github.com/UCSC-VLAA/MicroDiffusion
该研究介绍了一种名为MicroDiffusion的新方法，旨在从有限的2D投影中实现高质量、深度解析的3D体积重建。与现有的隐式神经表示（INR）模型和去噪扩散概率模型（DDPM）相比，MicroDiffusion将这两种模型的优点相结合，通过预先训练的INR模型作为全局先验，引导DDPM的生成过程，从而增强了扩散过程中的结构化3D信息，提高了局部2D图像的细节，并减少了噪声。通过将扩散模型置于最接近的2D投影的条件下，MicroDiffusion能够显著提高结果3D重建的保真度，达到了比INR和标准DDPM更优异的图像质量和结构保真度。
MicroDiffusion框架的提出具有重要意义，因为它有效地解决了在生物医学研究中追求快速体积成像和深度可视化的挑战。通过将INR和 Diffusion Models 相结合，MicroDiffusion框架能够利用有限的2D投影数据来生成高分辨率的3D图像，从而提高了光学显微镜的成像能力。这一方法不仅能够加快图像采集速度，还能保留重要的3D空间信息，使得用户能够以高速获取详细的生物结构图像。值得注意的是，MicroDiffusion框架在各种数据集上都取得了成功应用，包括密集分布的树突和稀疏分布的神经元，这表明了其在医学诊断和基础生物医学研究中的广泛应用潜力。最重要的是，这项工作为未来设计下一代体积光学显微镜提供了重要的思路，同时也为在3D显微镜体积重建中融合机器学习技术设定了新的标准，为实现高速、高分辨率的3D光学显微镜成像提供了新的可能性。
该研究介绍了一种名为MicroDiffusion的方法，用于从有限的2D投影中重建高质量、深度解析的3D体积。传统的光学显微镜方法受限于数据采集速度慢而无法有效实现高时间分辨率，而新方法利用非衍射光束将3D体积投影为2D投影，加快了成像速度。然而，这种方法牺牲了每个2D快照内的深度信息，需要新的工具来准确重建3D深度。MicroDiffusion方法结合了隐式神经表示（INR）模型的全局结构一致性和去噪扩散概率模型（DDPM）的细节增强能力。具体实现包括INR预训练和隐式表示引导的扩散，通过线性插值丰富了扩散过程中的结构化3D信息，提高了图像保真度。实验结果表明，MicroDiffusion在三个光学显微镜数据集上的表现优于基线方法，能够准确重建3D体积，揭示细微的结构和细节。
在本节中，作者介绍了两种方法：隐式神经表示（INR）和MicroDiffusion，用于光学显微镜重建。首先，他们回顾了INR的关键概念，并展示了他们为光学显微镜重建而设计的INR模型。然后，他们详细介绍了MicroDiffusion，这是一种基于隐式表示引导的扩散模型。这两种方法的引入为光学显微镜重建提供了新的视角和方法，有望提高重建的准确性和质量。
2.1 隐式神经表示（INR）
在本节中，作者回顾了隐式神经表示（INR）的关键概念，并介绍了他们为光学显微镜重建而设计的INR模型。他们使用函数f_{\text {inr}}来隐式表示3D场景，并通过位置编码将坐标映射到预测的属性，如强度或占据率。训练INR的目标是最小化预测强度与实际数据之间的重建误差。接着，他们介绍了MicroDiffusion，这是一种基于隐式表示引导的扩散模型。MicroDiffusion利用INR作为全局先验来引导扩散模型，在每个局部2D切片中增强细节并减少噪音。这两种方法为光学显微镜重建提供了新的视角和方法，有望提高重建的准确性和质量。
2.2 隐式表示引导的扩散
在这一部分，作者介绍了如何利用扩散模型和隐式神经表示（INR）来重建3D体积。扩散模型逐渐从高斯噪声中恢复数据，而INR利用神经网络隐式表示3D场景。作者还提出了MicroDiffusion，将INR的全局结构一致性与扩散模型的细节增强能力相结合，以提高3D重建的质量。在MicroDiffusion中，作者将INR输出作为先验知识，用于引导扩散模型，从而增强局部2D切片的细节并减少噪音。这种方法为光学显微镜重建提供了新的视角和方法，有望提高重建的准确性和质量。
这一部分介绍了作者的实验设计、实施和结果分析。他们使用传统的多光子激光扫描显微镜收集了实验数据，该方法是现代生物医学研究的金标准成像工具。通过对聚焦的 高斯光束 进行3D扫描，生成了高质量的3D体积堆栈，作为研究问题的基本真实数据集。作者的实验包括使用生物结构的3D体积堆栈，如树突、神经元和小鼠皮层浅层的血管系统，以测试模型在不同密度的生物特征的多样化3D体积堆栈上的效果。
作者还生成了三个合成数据集，模拟了使用非衍射光束进行快速数据采集的情况。在后续实验中，作者变化了这种宽度，使其成为扫描和生成基础真实数据集的高斯点扩展函数轴向宽度的不同倍数（称为步长n），从而将体积数据采集时间减少了n倍。
在实现细节方面，为了提高计算效率，作者将所有样本下采样到横向平面的分辨率为128×128像素。对于纯隐式神经表示（INR）模型和INR编码器，作者使用高斯基于嵌入技术将3D坐标映射到512维空间。INR模型使用Adam优化器进行优化，学习率为10^{-3}，持续5000个 epoch ，大约需要8小时在A-100 GPU上运行。此外，作者还采用了AdamW优化器，学习率为2^{-4}，权重衰减为10^{-4}。
在实验中，作者设立了基线方法，包括插值方法和纯INR方法。他们还进行了消融研究，研究了不同的条件特征和INR先验对重建质量的影响。最后，作者通过定量和定性的指标评估了他们的方法，并展示了MicroDiffusion方法在密度较高的生物特征中重建的效果更接近于基础真实数据。
MicroDiffusion是一种创新的3D重建框架，旨在解决快速体积成像和生物医学研究中对深度丰富可视化的需求。该框架巧妙地结合了Implicit Neural Representation (INR)和Diffusion Models，利用有限的2D投影重建高分辨率的3D图像，显著增强了光学显微镜的成像能力。MicroDiffusion不仅加快了图像采集速度，还保留了3D空间信息，可以以高速获取详细的复杂生物结构图像。该方法成功应用于各种数据集，从密集分布的树突到稀疏分布的神经元，展示了其在医学诊断和基础生物医学研究中的潜力。这项工作为设计下一代体积光学显微镜铺平了道路，为将机器学习集成到3D显微镜体积重建中设定了新的标准，并为高速、高分辨率的3D光学显微镜打开了新的可能性。
下载
在公众号「3D视觉工坊 」后台，回复「 3dcv 」,即可获取工业3D视觉、SLAM、自动驾驶、三维重建、事件相机、无人机等近千余篇最新顶会论文；巴塞罗那自治大学和慕尼黑工业大学3D视觉和视觉导航精品课件；相机标定、结构光、三维重建、SLAM，深度估计、模型部署、3D目标检测等学习资料。
3D视觉方向交流群成立啦
目前工坊已经建立了3D视觉方向多个社群，包括 SLAM、工业3D视觉、自动驾驶、三维重建、无人机 方向， 细分群 包括：
[工业3D视觉 ]相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
[SLAM ]视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
[自动驾驶 ]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
[三维重建 ]NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
[无人机 ]四旋翼建模、无人机飞控等
除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群
大家可以添加小助理： dddvisiona ，备注：加群+方向+学校|公司, 小助理会拉你入群。
