MIMIR-UW：一个用于水下导航与检测的多功能合成数据集

原文标题：MIMIR-UW：一个用于水下导航与检测的多功能合成数据集

作者：奥拉娅·阿尔瓦雷斯-图农、赫曼斯·坎纳、卢伊扎·里贝罗·马内特、胡伊·玄·范、乔纳斯·勒费弗尔·塞杰森、尤里·布罗德斯基、埃尔达尔·卡亚坎

摘要

本文提出了 MIMIR-UW，这是一个多功能水下合成数据集，适用于 SLAM、深度估计和物体分割任务，旨在弥合理论与水下环境应用之间的差距。MIMIR-UW 整合了三种相机传感器、惯性测量数据以及机器人姿态、图像深度和物体分割的地面真实数据。该水下机器人被部署在管道探测场景中，携带人造光源以产生不均匀光照，并包含自然光反射和后向散射效应等真实场景特征。数据集提供了四种环境共十一条轨迹，具有不同的光照条件或动态元素难度等级。本文提出了两项数据集评估指标，便于将 MIMIR-UW 与其他数据集进行比较。研究在 MIMIR-UW 上部署并测试了当前最先进的 SLAM、分割和深度估计方法。此外，通过在真实管道检测场景中应用基于 MIMIR-UW 训练的分割和深度估计模型，验证了该数据集在模拟-真实场景迁移方面的潜力。据作者所知，这是首个针对如此多种方法的水下数据集。该数据集可在线公开获取：https://github.com/remaro-network/mimir-UW/

I. 引言

图 1 MIMIR-UW 概览：水下机器人搭载 3 台摄像头 × 3 种传感器与 IMU，沿多项式轨迹运动，覆盖海底、海底藻类、海洋海底和沙管四种环境，同时输出 RGB、深度与分割图像。

尽管模拟器和数据集在开发计算机视觉算法中至关重要，但多种因素限制了它们在水下场景中的应用。例如，水下环境中的强烈信号衰减阻碍了最先进真实姿态与运动捕捉设备的使用；此外，生成用于图像分割的真实数据需要针对特定对象进行专门化处理，例如珊瑚、鱼类物种及管道损伤等场景；部署区域的可及性也是另一个关键制约因素。海上结构物适合部署水下机器人，因为这类设施需要定期接受检查 1。然而在石油天然气行业中，主要所有者出于隐私和安全考虑，通常不愿公开其数据供公众使用。

与基于几何的定位方法不同，基于学习的定位算法会受到成像条件多样性和相机运动模式的影响。同样地，其他学习方法（如分割和深度估计）也需要多样化的成像条件才能实现泛化能力。目前主流的同步定位与地图构建（SLAM）、图像分割及深度估计技术主要依赖地面或空中设备实现，但这些设备的性能受限于其模型的动态特性及环境条件。要将计算机视觉领域的深度学习技术应用于水下环境，就必须具备适应此类特殊环境的数据集。

在上述水下环境数据采集固有困难的背景下，模拟器是生成数据集的一种可行替代方案。逼真的模拟渲染技术已使模拟到现实的转换成为机器人学中的基础学科 2 3。然而，针对水下成像条件的逼真模拟 4 5 尚未被整合到主流开源机器人模拟器中 6 7 8。不过，开源 3D 生成工具 Unreal Engine 提供了具备逼真图像渲染功能的框架，通过集成外部插件 9 10，可为机器人模拟提供支持。AirSim 插件 10 提供了用于采集姿态、分割及深度估计真实数据的 API，并支持 Robot Operating System（ROS）集成。

本文提出了一种基于 Unreal Engine 和 AirSim 构建的水下合成数据集，适用于管道检测场景（见图 1）。本文的贡献如下：

  1. 数据集：一个用于定位、分割和深度估计的合成数据集。该数据集是在四种水下场景下采集的，涵盖不同的运动轨迹和光照条件以及动态元素的存在。
  2. 指标：引入用于定量描述数据集特征的指标。
  3. 实验评估：采用最先进的 SLAM、分割及深度估计算法进行实验评估。该数据集在真实管道检测场景下，验证了基于学习的分割与深度估计方法向实际应用场景迁移的能力。

据我们所知，这是首个包含如此丰富标注数据及管道检测场景的水下数据集。通过这种方式，我们旨在简化算法测试流程，并借助模拟到真实场景的迁移技术，推动基于学习的计算机视觉算法在水下环境中的发展。

本文的结构如下：第 II 节介绍数据集收集的相关研究；随后，第 III 节阐述 MIMIR-UW 及数据收集流程；第 IV 节提出数据集比较的评估指标；第 V 节展示该数据集在所提出的基线算法下的适用性；最后，第 VI 节总结本研究的主要结论。

二、相关工作

深度学习方法对海量数据的高要求，以及水下环境对机器人部署带来的严峻挑战，近期推动了水下机器人模拟器和数据集的开发。然而，成像条件的模拟仅限于指数衰减或阳光反射 4 6 7，这使得它们不足以用于计算机视觉系统的测试。公开可用的水下计算机视觉数据集涵盖多种场景，从目标检测 11 12 到图像分割 13 14 15 以及定位 16 17 18。在水下环境中，定位算法的真值获取尤为困难，因此可用于视觉定位的数据集十分有限。具体而言，Aqualoc 数据集提供了来自 Colmap 库的估算真值 16；而 EuRoC 19、KITTI 20、TUM-RGB-D 21 和 ETH-MS 22 等知名数据集已被广泛用于算法基准测试。TartanAir 23 引入了一个包含多种环境的合成数据集，这些环境呈现出具有挑战性的成像条件。

表 1 用于 SLAM、图像分割和深度估计的最先进数据集对比

数据集 类型 环境 姿态 分割 相机 深度 感知混叠 动态场景
KITTI 20 真实 城市 ✓ × 立体 ✓ × ✓
EuRoC 19 真实 室内 ✓ × 立体 × × ×
TUM-RGB-D 21 真实 室内 ✓ × RGB-D ✓ ✓ ✓
ETH-MS 22 真实 室内/室外 ✓ × 立体 × × ×
Aqualoc 16 真实 水下 ✓ × 单目 × ✓ ✓
Aurora 17 真实 水下 ✓ × 单目 × ✓ ✓
Caves 18 真实 水下 ✓ × 单目 ✓ ✓ ✓
TartanAir 23 合成 多种 ✓ ✓ 单目 ✓ × ✓
TrashCan 13 真实 水下 × ✓ 单目 × N/A N/A
SUIM 14 真实 水下 × ✓ 单目 × N/A N/A
NAUTEC UWI 15 真实 水下 × ✓ 单目 × N/A N/A
MIMIR-UW（我们的） 合成 水下 ✓ ✓ 立体 ✓ ✓ ✓

III. MIMIR-UW：多功能数据集

A. 数据收集

所提出的数据集采集自 Unreal Engine 4 中创建的四个水下环境，分别称为“海底”（SeaFloor）、“海底藻类”（SeaFloorAlgae）、“海洋海底”（OceanFloor）和“沙管”（SandPipe），用于管道检测场景。图 2 展示了记录图像的样本。如表 2 所示，每个环境中均记录了多种轨迹，其长度和持续时间各不相同。在所有环境中，机器人携带两盏人工光源，导致场景中产生不均匀的光反射。SeaFloor 呈现为浅水环境，能见度良好，但存在自然光产生的动态光反射；SeaFloorAlgae 在 SeaFloor 环境的基础上增加了场景中动态物体浓度较高、会遮挡管道的挑战；OceanFloor 则为深水环境，大部分可见度来源于机器人的人工光源。同样地，SandPipe 也模拟了深水环境，但其管道表面覆盖着沙子，仅在运动轨迹的某些区域露出部分表面。

表 2 MIMIR-UW 的实际应用方面

环境 序列 时长 [秒] 路径长度 [米] 帧数 姿态数
SeaFloor Track0 120.840 238.623 2847 1992
SeaFloor Track1 89.693 191.460 2030 1420
SeaFloor Track2 109.157 244.969 2537 1775
SeaFloorAlgae Track0 125.823 249.013 2934 2053
SeaFloorAlgae Track1 89.753 186.586 2076 1452
SeaFloorAlgae Track2 107.696 245.851 2489 1741
OceanFloor Track0 107.843 226.698 2421 1694
OceanFloor Track1 107.603 227.482 2404 1682
OceanFloor Track2 279.132 714.786 6263 4383
SandPipe Track0 120.891 298.885 2741 1918
SandPipe Track1 117.810 294.957 2605 1823

图 2 MIMIR-UW 各环境的示例图像。为重现水下视觉效果，环境中包含水体畸变、漂浮颗粒、光刻线、气泡、鱼类、岩层及珊瑚礁等元素；与 Aqualoc、Aurora 和 Caves 等水下数据集不同，MIMIR-UW 额外提供前置摄像头视角与管道检测内容，未配备前置摄像头的情况标注为 N/A。

1）传感器数据与真实值采集

该数据集通过三台摄像头进行记录：两台采用立体构型的前向摄像头和一台向下拍摄的摄像头。每台摄像头包含三个数据源——RGB 图像、分割图及深度信息，均通过 AirSim 图像 API 获取。分割标签由 AirSim 图像 API 自动生成。每张 RGB 图像均对应一个分割图像，其中每个像素点的颜色均标注了其所属物体类别。系统共包含 14 个类别：动态物体（如鱼类、气泡和藻类）以及静态物体（包括管道、岩石、海底和天空）。AirSim 图像 API 提供的深度信息以浮点数形式存储，数值单位为米；所有位于相机平面平行面上的点位均获取相同的深度值。为提升存储效率，这些深度数据会被转换并存储为逆深度图像。对于记录值为零的情况，逆深度图像中相应位置仍保留零值，以避免除零错误。AirSim 的 API 还能获取惯性测量数据及姿态真实值，这些数据同样包含在数据集中。对于每条轨迹，我们提供了记录该轨迹时使用的 AirSim 设置文件，以及各摄像头的本征参数与外参数。

2）轨迹生成

该数据集由模拟水下机器人根据一组航点生成的轨迹进行记录。这些航点的选择旨在生成能够确保在给定环境中运动多样性的轨迹，并从不同视角重新访问相同区域以实现闭环。最小捕捉轨迹生成方法可生成连接航点的平滑轨迹 24；这些轨迹通过描述四维状态（对应三个线性轴及机器人相对于时间的航向）的 10 次多项式函数生成。为简化处理，对这些轨迹的跟踪可简化为一个通用的质点控制问题。

IV. 数据集指标

本节提出了一套测量指标，用于定量评估数据集的特性，并将其与现有数据集进行比较。所提出的指标能够衡量特定算法类别数据的复杂度，从而使得算法基准测试更具统一性。

A. 图像熵

我们依赖熵来量化每幅图像所包含的信息量。图像的空间信息通过 25 中推导出的各向同性公式被纳入香农二阶熵计算之中。

考虑一个离散带限信号 ，其在 和 轴上分别包含 个样本。该信号的导数 和 是通过对图像应用卷积 Sobel 算子获得的。随后，利用克罗内克 函数 计算信号导数的联合概率密度函数 ，具体表达式为：

公式（1）：

因此，香农的联合熵公式可得出德尔熵（delentropy） 如下：

公式（2）：

当 呈均匀分布时，delentropy 值达到最大。这表明图像中存在非显著特征，可能导致分割过程中像素被误分类，或在基于特征的定位中出现特征不匹配的情况。相反，对于缺乏分割分类或定位跟踪所需信息的零梯度图像，其熵值会降至最小。因此，所提出的计算机视觉流程的理想条件应处于 delentropy 的中间数值区间。

B. 运动多样性

为评估数据集中运动模式的多样性，本文采用了 23 中提出的指标，该指标基于运动模式的主成分分析。给定序列 个拼接后的相对平移 和旋转 ，通过奇异值分解计算其主运动分量。获得的特征值 和 及其对应的特征向量分别表示该序列的第一、第二和第三主运动轴及其幅值。

运动多样性指标可按以下公式计算：

公式（3）：

当运动均匀分布时，特征值会取得相等数值，从而使运动多样性指标收敛至某一稳定值。反之，若一个或两个次级轴上均无运动，则其特征值为零，因此运动多样性指标亦为零。

C. 结果

本次数据集对比对象为 EuRoC 和 Aqualoc：两者均采集自移动平台，其自由度与 MIMIR-UW 相当。Aqualoc 包含在真实环境中录制的水下序列。尽管 EuRoC 是在水面以上录制的，但它是一个成熟的数据集，可用于比较水下与水面环境下的成像条件差异及其对所提出评估指标的影响。

图 3 EuRoC、Aqualoc 与 MIMIR-UW 各序列的 delentropy 分布。相比其他数据集，MIMIR-UW 的图像模糊、暗淡且对比度低，低熵值占比更高。

delentropy 结果如图 3 所示。与简单序列相比，EuRoC 中复杂的序列通过暗色或模糊图像产生的 delentropy 值较低。考虑到 EuRoC 和 Aqualoc 序列具有更高的纹理和对比度，其 delentropy 值集中在比 MIMIR-UW 更高的区间。MIMIR-UW 的 OceanFloor 和 SandPipe 序列包含极暗图像（仅显示场景中的邻近元素）以及完全黑暗且无任何邻近物体的图像，因此产生了大量低 delentropy 值。SeaFloorAlgae 序列因藻类丰富的纹理特征，为 MIMIR-UW 提供了最高的熵值。

表 3 运动多样性指标

数据集 平移多样性 旋转多样性 总数
EuRoC 0.334 0.359 0.347
Aqualoc 0.226 0.067 0.147
MIMIR-UW 0.684 0.008 0.345

Aqualoc 的运动多样性值最低，因为该移动机器人仅在 平面内移动（见表 3）。MIMIR-UW 的运动轨迹设计旨在最大化线性轴上的多样性，在平移指标上优于 EuRoC；而总体而言，EuRoC 与 MIMIR-UW 的运动多样性指标相近。然而，EuRoC 在旋转维度上表现出更高的多样性。

V. 实验评估

本节对 MIMIR-UW 在 SLAM、深度估计及物体分割算法方面所面临的挑战与机遇进行了实验性评估。此外，我们采用了一个真实管道检测场景的样本数据集（如图 4 所示），以展示 MIMIR-UW 在从仿真到实际应用迁移中的能力。

图 4 从左至右分别为来自 SandPipe、SeaFloor 以及用于仿真到真实场景迁移的真实场景的管道图像。SandPipe 的形状、颜色及环境条件与该真实世界数据样本更为相似。

A. SLAM

为展示所提供数据集对 SLAM 算法的挑战，我们分别以单目和立体方式运行 ORB-SLAM3 26。ORB-SLAM 是当前最先进的间接视觉 SLAM 算法之一。早期版本 ORB-SLAM 失败的主要原因之一是轨迹丢失及后续重定位失败。然而自 ORB-SLAM3 起，其后端集成了所谓的 Atlas 地图：每当轨迹丢失时，系统会初始化新的“主动”地图，并将原有地图存储在内存中转化为“被动”地图。在运行过程中，后端会在主动地图和可用被动地图集合上同时搜索环闭合路径。鉴于 MIMIR-UW 中的轨迹设计专门用于环闭合检测，Atlas 地图为此提供了值得深入分析的独特特征。

另一方面，数据集中存在的散射区域和低纹理区域对依赖特征跟踪的间接方法（如 ORB-SLAM）构成挑战。在此类场景下，基于直接方法的 SLAM 技术尤为值得关注——该方法通过优化围绕相机变换或深度图逆向参数的聚合光度误差来实现定位精度提升。因此，采用了基于直接法的 SLAM 算法 DSO 27，该算法通过选择梯度较高的像素进行光度误差计算，从而实现实时性能。

绝对位置误差（APE）与相对位置误差（RPE）分别用于量化轨迹的整体一致性与局部一致性，其评估对象为关键帧相机姿态下估计轨迹与真实轨迹之间的偏差 21。

表 4 SLAM 算法在 MIMIR-UW 中的部署结果

环境 序列 单目 ATE [m] 单目 RPE [m] 单目时长 [秒] 立体 ATE [m] 立体 RPE [m] 立体时长 [秒] DSO ATE [m] DSO RPE [m] DSO SR
SeaFloor Track0 3.67 0.13 34.8 19.25 0.612 79.38 - - 0
SeaFloor Track1 8.78 0.19 64.5 9.61 0.497 86.52 2.73 0.0053 0.4
SeaFloor Track2 5.18 0.142 40.2 14.31 0.826 85.46 17.06 0.109 1
SeaFloorAlgae Track0 2.99 0.122 31.27 14.50 0.687 75.26 3.71 0.019 0.4
SeaFloorAlgae Track1 1.15 0.134 53.8 7.02 0.287 83.98 7.00 0.048 1
SeaFloorAlgae Track2 9.16 0.144 53.11 2.99 0.47 64.35 4.51 0.044 0.9
OceanFloor Track0 5.78 0.523 11.3 3.89 0.880 18.47 - - 0
OceanFloor Track1 8.37 0.214 26.7 12.42 1.181 91.13 - - 0
OceanFloor Track2 23.66 0.286 64.4 57.10 1.575 172.8 - - 0
SandPipe Track0 20.084 0.184 83.7 5.48 1.831 25.72 - - 0
SandPipe Track1 6.85 0.0764 76.7 17.72 5.13 114.64 10.64 0.027 0.7

对于单目观测装置，轨迹采用 28 中所述的最小二乘法对齐进行缩放和校准。每条轨迹均进行了十次测试，其结果的中位数值列于表 4。

MIMIR-UW 包含了许多极具挑战性的序列，这些序列会导致跟踪失败。因此，本文仅展示了 DSO 的成功率（SR）。SR 的计算方式为：在总共进行的十次测试中，成功完成的跟踪次数占总次数的比例。由于 ORB-SLAM 无法完成某些序列，本案例中提供了每个成功获取估计值的平均耗时。DSO 在能够顺利完成的序列中表现更优。纹理丰富且 delentropy 值较高的序列（如 SeaFloor 和 SeaFloorAlgae）比纹理较低的序列（如 OceanFloor）误差更小。尽管直接 SLAM 方法在低纹理区域表现更佳，但在暗色序列中情况并非如此——暗色序列仅能显示附近物体，这会导致更高的相对运动，进而产生更大的视差，而这正是直接 SLAM 失败的主要原因。虽然 ORB-SLAM 对视差的影响较小，但图像特征的缺失使得跟踪失败更为频繁。立体视觉系统虽然不易发生跟踪丢失，但其误差却出乎意料地更高。

B. 分割

MIMIR-UW 提供的语义分割标签已被用于训练和评估两个管道分割网络。为此选定的网络分别是 DeepLabV3 29 和全卷积网络（FCN）30。FCN 通过用卷积层替代分类网络中的全连接层，并对输出进行上采样以恢复输入维度，从而实现了对预训练分类网络进行微调以应用于分割任务。DeepLabV3 通过采用扩张卷积技术解决了卷积层导致的空间信息损失问题——该技术能够在不牺牲空间分辨率的前提下，更有效地捕捉语义上下文信息 31。

两个网络均采用 ResNet50 作为主干架构，并使用 ImageNet 预训练权重。网络通过 Adam 优化器以 0.0001 的学习率进行微调，损失函数采用交叉熵损失函数。模型最多训练 50 个周期，若验证集上的平均交并比（mIoU）连续六个周期未提升，则提前终止训练。在 MIMIR-UW 数据集中，管道约占所有图像总像素数的 10%。对于训练集，每个类别的权重与其在图像中占据的像素数量成反比。为避免数据冗余，每条轨迹中选取第五张图像。所使用分割评估指标包括 mIoU 和像素平均准确率（mean Acc）。

表 5 使用 MIMIR-UW 训练的分割网络测试结果

实验名称 数据分割 序列（轨道）[摄像头] FCN mean Acc FCN mIoU DeepLabV3 mean Acc DeepLabV3 mIoU
SeaFloor 训练集/验证集 (80/20)% SeaFloor[0,1][cam0] → SeaFloor[2][cam0] 0.876 0.785 0.880 0.790
SandPipe 训练集/验证集 (80/20)% SandPipe[dark][cam0] → SandPipe[light][cam0] 0.643 0.445 0.726 0.522
All 训练集/验证集 (80/20)% SandPipe, SeaFloor, OceanFloor[all][cam0] → SeaFloorAlgae[all][cam0] 0.838 0.700 0.830 0.704
S2R - SandPipe 训练集/验证集 (80/20)% SandPipe[light][cam2] → Real Pipeline 0.552 0.413 0.527 0.380
S2R - 增强型 SandPipe 训练集/验证集 (80/20)% SandPipe[light][cam2] → Real Pipeline 0.712 0.601 0.722 0.616
S2R - 增强型 SeaFloor 训练集/验证集 (80/20)% SeaFloor[light][cam2] → Real Pipeline 0.577 0.440 0.583 0.448

图 5 上述模型训练得到的样本分割结果示例，自左至右依次为原始图像、真实值、FCN 与 DeepLabV3；其中 SeaFloor、All 与 S2R 实验均使用增强版 SandPipe 进行训练。

SeaFloor 实验中的模型仅使用 SeaFloor 环境的轨迹进行训练，并针对同一环境中未见过的轨迹进行测试。尽管属于不同轨迹，但数据分布的相似性使得两种分割网络均取得了良好效果。SandPipe 实验则使用 SandPipe 环境的轨迹，在暗光序列下训练并在明光条件下测试。尽管数据分布相似，该模型的表现仍逊于 SeaFloor。一个可能的原因在于不同的光照条件会影响物体在图像中的外观，从而导致同一管道模型产生不同的数据分布。

All 实验涵盖了数据集中的所有轨迹。此处，SeaFloorAlgae 仅用于测试，而其他所有环境均用于训练和验证。覆盖管道的藻类构成了一个未预见的数据元素，在训练过程中模型性能会受到挑战。尽管如此，实验结果与 SeaFloor 实验的结果非常接近，这表明该方法能够为训练数据分布提供高度多样性。

模拟到真实（S2R）实验旨在利用真实管道检测数据集作为测试集，展示 MIMIR-UW 在模拟到真实迁移中的潜力。首个 S2R 测试使用 SandPipe 数据集进行。正如数据分布差异所预期的那样，实验结果表明其性能远低于仅使用模拟数据进行的实验。为了使模拟管道的外观更接近真实管道，通过对 SandPipe 数据集的训练集和验证集进行随机翻转以及亮度、对比度和饱和度的随机调整来增强数据集。如表 5 所示，增加管道外观的多样性显著提升了模型的性能。最终的 S2R 实验使用 SeaFloor 数据集进行，采用了与前述实验相同的增强技术。结果表明，尽管采用了增强策略，训练集与测试集数据分布之间的高度差异仍会对模型性能产生负面影响。

实验结果表明 DeepLabV3 具备编码空间信息的能力，使其在几乎所有场景下均优于 FCN。这些实验凸显了 MIMIR-UW 在探索分割领域开放性挑战方面的潜力，例如跨环境泛化能力、仿真到真实场景的迁移能力，以及在低光照（因而低 delentropy）环境（如 SandPipe）下的表现。

C. 深度估计

通过评估两种基于学习的深度估计方法——Monodepth2 32 和 MonoRec 33 在所提出的数据集及真实场景流程数据集上的性能，证明了 MIMIR-UW 在水下深度估计中的适用性。

Monodepth2 采用 U-net 架构 34 进行多尺度深度估计，该网络以单张 RGB 图像作为输入，通过优化每个像素的最小重投影误差并屏蔽不符合光度一致性特征的像素，来预测均值归一化的逆深度图像。MonoRec 框架包含三个模块：负责编码几何信息的成本体积模块、预测光度不一致性掩码的掩码模块，以及生成逆深度图像的深度模块；其中掩码模块与深度模块均采用遵循 U-net 架构的神经网络 34。该框架可接收共享视锥视角的任意数量 RGB 图像、它们之间的姿态变换参数，以及由运动结构处理流程生成的相机内参信息。

网络在 MIMIR-UW 和 KITTI 20 的子集上进行训练，以体现水下与水上数据训练之间的差异。基于 KITTI 训练的场景由通讯作者公开提供 32 33。在 Monodepth 案例中，采用图像分辨率为 的单目与立体数据训练的模型；用于逆深度预测均值归一化的最小深度与大深度分别设置为 0.003 米和 80 米。所使用的 MonoRec 模型为第一阶段深度自助法训练模型，其训练图像分辨率为 。

表 6 MIMIR-UW 上的深度估计实验

环境 序列 MonoRec (MIMIR) SCInv MonoRec (MIMIR) AbsRel MonoRec (KITTI) SCInv MonoRec (KITTI) AbsRel Monodepth2 (MIMIR) SCInv Monodepth2 (MIMIR) AbsRel Monodepth2 (KITTI) SCInv Monodepth2 (KITTI) AbsRel
SeaFloor Track0 1.076 2.759 - - 0.998 0.994 - -
SeaFloor Track1 1.054 2.341 - - 0.786 0.993 - -
SeaFloor Track2 1.160 1.792 0.7200 0.3390 1.094 0.996 0.7198 0.4268
海床藻类 轨迹0 1.224 3.071 1.027 0.7697 1.231 0.999 0.9612 0.7083
SeaFloorAlgae Track1 1.027 2.202 1.112 0.5147 1.070 0.997 0.8889 0.5235
SeaFloorAlgae Track2 1.177 1.929 1.034 0.5657 1.179 0.995 0.9705 0.6040
真实管道 - 1.843 - 0.2569 - 0.9455 - 0.3977 -

真实深度与预测逆深度之间的误差通过标准度量指标——尺度不变误差（SCInv） 和 绝对相对距离（AbsRel） 35 进行量化，结果如表 6 所示。

在所有选定的评估数据上，基于 MIMIR-UW 训练的网络均优于基于 KITTI 训练的网络。对于 MonoRec，在 MIMIR-UW 上训练时，除 SeaFloorAlgae 的第 1 条轨迹外（该轨迹的 SCInv 略高），两种指标下的误差均更低；这归因于对藻类等可变形物体进行深度测量的难度，并通过 SeaFloor 与 SeaFloorAlgae 数据集在 MIMIR-UW 训练中的 AbsRel 误差差异得到证实。基于 Monodepth 训练得出的结果也一致：MIMIR-UW 在所有指标上均优于 KITTI。

当使用 SeaFloor 数据进行训练时，两个网络在真实数据上的 AbsRel 值均低于模拟数据，这表明模拟数据在深度估计任务中可能存在真实数据中不存在的困难。然而，由于每幅深度图像的真实数据具有极高的稀疏性（见图 6），无法通过该评估方法在真实数据上验证模拟到真实数据的迁移效果。

图 6 在 MIMIR-UW 上训练的 SeaFloor 轨迹与实际管道深度估计模型的样本结果，自左至右依次为原始图像、真实值、MonoRec 与 Monodepth2。

在 KITTI 数据集上训练的网络表现出较大的评估指标误差，说明基于水面以上数据集训练的神经网络难以有效泛化到复杂的水下成像场景。相反，在所提出的合成水下数据集上进行训练后，网络在模拟数据和真实数据上的表现均有所提升，这表明需要采用 MIMIR-UW 方法。

VI. 结论与未来工作

本研究构建了一个多功能合成水下数据集，可用于开发 SLAM、图像分割和深度估计等计算机视觉算法。我们采用 delentropy 和运动多样性指标来评估数据集所包含的信息量，并以此将 MIMIR-UW 与其他数据集进行对比。评估结果表明：相较于其他数据集，MIMIR-UW 中的图像因光线昏暗且模糊而具有更高的挑战性；低纹理特征与高视差会导致视觉 SLAM 算法出现失效或漂移现象；类似条件也会对图像分割和深度估计方法造成阻碍。

据我们所知，MIMIR-UW 为本文评估的各类方法带来了新的挑战，从而为开发更稳健、更具泛化能力的算法创造了契机。此外，MIMIR 数据集还展现出巨大的应用潜力，在分割和深度估计中，模拟到真实数据的转换方法已得到验证。

未来的研究工作包括在整合水下物理机制的完整水下模拟框架内，生成更多样化的水下环境条件、旋转运动以及用于图像分割和光流计算的标注数据。

致谢

本文是在项目 REMARO 下完成的，该项目获得了欧盟《研究与创新框架计划——地平线 2020》的资助（资助协议编号：956200）。感谢 EIVA 提供真实数据并允许样本图像的公开传播。

参考文献

  1. Agbakwuru, J. Underwater pipeline leak detection and repair in poor visibility conditions: Challenges and prospects. Journal of Environmental Protection (2012). ↩

  2. Ugurlu, H. I., Pham, X. H. & Kayacan, E. Simulation-to-real deep reinforcement learning for safe end-to-end planning of aerial robots. Robotics 11, 109 (2022). ↩

  3. [Pham, H. X. et al.]{.nocase} PencilNet: Zero-shot sim-to-real transfer learning for robust gate perception in autonomous drone racing. IEEE Robotics and Automation Letters 7, (2022). ↩

  4. Alvarez-Tunon, O., Jardon, A. & Balaguer, C. Generation and processing of simulated underwater images for visual inspection of infrastructures using UUV technology. Sensors 19, 5497 (2019). ↩↩

  5. [Song, Y. et al.]{.nocase} A deep-sea robot imaging simulator. in International conference on pattern recognition 375--389 (2021). ↩

  6. [Manhaes, M. M. M. et al.]{.nocase} UUV simulator: A gazebo-based package for underwater intervention and multi-robot simulation. in Oceans 2016 MTS/IEEE monterey 1--8 (2016). ↩↩

  7. Prats, M., Perez, J., Fernandez, J. J. & Sanz, P. J. An open-source tool for simulation and supervision of underwater intervention tasks. in 2012 IEEE/RSJ international conference on intelligent robots and systems 2577--2582 (2012). ↩↩

  8. Project dave. (2023). ↩

  9. Potokar, E., Ashford, S., Kaess, M. & Mangelson, J. HoloOcean: An underwater robot simulator. in IEEE international conference on robotics and automation (2022). ↩

  10. Shah, S., Dey, D., Lovett, C. & Kapoor, A. AirSim: High-fidelity visual and physical simulation for autonomous vehicles. in Field and service robotics 621--635 (2018). ↩↩

  11. [Jian, M. et al.]{.nocase} An extended marine underwater environment database and baseline evaluation. Applied Soft Computing 80, 425--437 (2019). ↩

  12. Panetta, K., Kezebou, L., Oludare, V. & Agaian, S. A comprehensive underwater object tracking benchmark dataset and GAN-based underwater image enhancement. IEEE Journal of Oceanic Engineering (2021). ↩

  13. Hong, J., Fulton, M. & Sattar, J. TrashCan: A semantic segmentation dataset for marine debris detection. arXiv preprint arXiv:2007.08097 (2020). ↩↩

  14. [Islam, M. J. et al.]{.nocase} Semantic segmentation of underwater imagery: Dataset and benchmark. in 2020 IEEE/RSJ international conference on intelligent robots and systems 1769--1776 (2020). ↩↩

  15. [Drews-Jr, P. et al.]{.nocase} Deep learning-based underwater image segmentation in the wild. Journal of the Brazilian Computer Society 27, 1--14 (2021). ↩↩

  16. [Ferrera, M. et al.]{.nocase} Aqualoc: An underwater dataset for visual-inertial-pressure localization. The International Journal of Robotics Research 38, 1549--1559 (2019). ↩↩↩

  17. [Bernardi, M. et al.]{.nocase} Aurora: A multi-sensor dataset for robotic ocean exploration. The International Journal of Robotics Research (2022). ↩↩

  18. Mallios, A., Vidal, E., Campos, R. & Carreras, M. Underwater cave sonar dataset. The International Journal of Robotics Research 36, 1247--1251 (2017). ↩↩

  19. [Burri, M. et al.]{.nocase} The EuRoC micro aerial vehicle datasets. The International Journal of Robotics Research 35, 1157--1163 (2016). ↩↩

  20. Geiger, A., Lenz, P. & Urtasun, R. Are we ready for autonomous driving? The KITTI vision benchmark suite. in 2012 IEEE conference on computer vision and pattern recognition 3354--3361 (2012). ↩↩↩

  21. Sturm, J., Engelhard, N., Endres, F., Burgard, W. & Cremers, D. A benchmark for the evaluation of RGB-d SLAM systems. in 2012 IEEE/RSJ international conference on intelligent robots and systems 573--580 (2012). ↩↩↩

  22. ETH Computer Vision Group and Microsoft Zurich Mixed Reality and AI Lab. ETH-microsoft localization dataset. (2021). ↩↩

  23. [Wang, W. et al.]{.nocase} TartanAir: A dataset to push the limits of visual SLAM. in 2020 IEEE/RSJ international conference on intelligent robots and systems 4909--4916 (2020). ↩↩↩

  24. Richter, C., Bry, A. & Roy, N. Smooth minimum-time trajectory planning for aggressive quadrotor flight in dense indoor environments. in Field and service robotics (2018). ↩

  25. Larkin, K. G. Reflections on shannon information: Finding the natural information entropy of images. arXiv preprint arXiv:1609.01117 (2016). ↩

  26. Campos, C., Elvira, R., Gomez Rodriguez, J. J., Montiel, J. M. M. & Tardos, J. D. ORB-SLAM3: An accurate open-source library for visual, visual-inertial, and multimap SLAM. IEEE Transactions on Robotics 37, 1874--1890 (2021). ↩

  27. Engel, J., Koltun, V. & Cremers, D. Direct sparse odometry. IEEE Transactions on Pattern Analysis and Machine Intelligence 40, 611--625 (2017). ↩

  28. Grupp, M. Evo: Python package for the evaluation of odometry and SLAM. (2017). ↩

  29. Chen, L.-C., Papandreou, G., Schroff, F. & Adam, H. Rethinking atrous convolution for semantic image segmentation. arXiv preprint arXiv:1706.05587 (2017). ↩

  30. Long, J., Shelhamer, E. & Darrell, T. Fully convolutional networks for semantic segmentation. in IEEE conference on computer vision and pattern recognition 3431--3440 (2015). ↩

  31. [Everingham, M. et al.]{.nocase} The PASCAL visual object classes challenge. International Journal of Computer Vision 88, 303--338 (2010). ↩

  32. Godard, C., Aodha, O., Firman, M. & Brostow, G. Digging into self-supervised monocular depth estimation. in IEEE/CVF international conference on computer vision (2019). ↩↩

  33. Wimbauer, F., Yang, N., Stumberg, L. von, Zeller, N. & Cremers, D. MonoRec: Semi-supervised dense reconstruction in dynamic environments from a single moving camera. in IEEE conference on computer vision and pattern recognition (2021). ↩↩

  34. Ronneberger, O., Fischer, P. & Brox, T. U-net: Convolutional networks for biomedical image segmentation. in International conference on medical image computing and computer-assisted intervention 234--241 (2015). ↩↩

  35. Eigen, D., Puhrsch, C. & Fergus, R. Depth map prediction from a single image using a multi-scale deep network. in Advances in neural information processing systems vol. 27 (2014). ↩