二、AR & MR & VR DAQRI 智能眼镜远程稠密重建交互   基于三维点云真实环境的虚拟对象替换   网易开源单目深度估计、稠密重建增强现实

17. 基于自适应关键帧选择的移动增强现实应用的实时视觉惯性 SLAM

摘要

  • SLAM 技术用于许多应用例如 AR ,VR,机器人，无人机和自动驾驶车辆,在 AR 应用中，快速相机运动估计，实际尺寸和比例是重要问题；
  • 在本研究中，我们引入了基于自适应关键帧选择的实时视觉惯性 SLAM，用于移动 AR 应用；
    • 具体地，SLAM 系统是基于自适应关键帧选择视觉-惯性里程计设计的，该方法包括自适应关键帧选择方法和轻量级视觉-惯性里程计；
    • 惯性测量单元（IMU）数据用于预测当前帧的运动状态；
    • 并且通过基于学习和自动设置的自适应选择方法判断当前帧是否是关键帧；
    • 使用轻量级视觉惯性里程计方法处理相对不重要的帧（不是关键帧） 以提高效率和实时性能；
  • 我们在 PC 环境中对其进行模拟，并将其与最先进的方法进行比较，实验结果表明，在没有 groundtruth 尺度匹配的情况下，关键帧轨迹的平均平方根平方误差 （RMSE）为 0.067 m，EuRoC 数据集的尺度误差为 0.58％；
    • 此外，移动设备的实验结果表明，使用所提出的方法，性能提高了 34.5％ 至 53.8％。

实现方法

  • 1. 自适应的关键帧选择
    • IMU 预积分
    • 基于学习和自动设置的自适应选择方法
      • 自适应选择模块使用 IMU 预积分测量来在每次帧到达时将当前帧与参考帧进行比较，以确定当前帧是否是重要帧；
      • 自适应选择模块通过连续地学习预集成 IMU 数据的值和输入帧的结果是否是关键帧来自动更新学习模型。
    • 自适应执行策略
  • 2. 轻量级的 VIO
    • 自适应 KLT 特征跟踪方法；
    • 运动估计。

18. 基于最近增强现实平台的稀疏视觉信息定位服务

摘要

  • 将设备或用户精确地定位在已知空间内的能力，在基于位置的增强现实环境中使用许多用例；
  • 本文使用 ARCore [4] 提出了一种基于稀疏视觉信息的定位服务，这是一种用于移动设备的最先进的增强现实平台；
  • 我们的服务由两部分组成：前端和后端；
    • 在前端，使用A RCore 生成的点云作为特征点，计算相应的二进制关键点描述符算法，如 ORB [6] 或 FREAK [1] 来描述该位置；
    • 在后端，使用二进制字技术[3]的包在地图中搜索这个二进制描述符，响应识别位置的位置。
  • 此文没用。

19. 具有稠密重建的增强现实远程协作

  • [19] Zillner J, Mendez E, Wagner D. Augmented Reality Remote Collaboration with Dense Reconstruction[C]//2018 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct). IEEE, 2019: 38-39.
    • 具有稠密重建的增强现实远程协作
    • DAQRI 智能眼镜：https://daqri.com/products/smart-glasses/   ISMAR：CCF 计算机图形学与多媒体 B 类会议

摘要

  • 本文介绍了一种增强现实远程协作系统，该系统利用高保真、密集的场景重建来实现直观和精确的远程制导；
  • 需要帮助的本地工作人员可以使用我们的系统自动生成环绕的 3D 网格并将其传输给远程专家；
  • 远程专家可以独立于六个自由度的本地工作人员来导航和探索重建的环境；
  • 世界系中稳定的文本和图像注释可以放置在场景中，并且在表面上绘制的笔划可以智能地定位在世界中；
  • 此外，重建允许远程专家从网格中分割彩色对象，并使用生成的 3D 模型创建简单的动画，以传达精确的指令。

实现方法

  • 首先使用增强现实眼镜姿态估计和深度传感器进行高质量、稠密的场景重建，同时本地工作人员可以继续与环境进行交互（左图）；
  • 远程专家可以在第一人称视频流和无约束的第三人称视图之间切换，以独立于本地工作人员探索场景（中图）；
  • 远程专家可以绘制到重建的环境上，将文本和图像放置在场景中并从重建的网格中分割 3D 模型以创建新的指令，例如，关于如何使用特定对象或工具（右图）。

20. 虚拟现实和增强现实中的非对称协作交互

摘要

  • 我们提出了协作虚拟环境（CVE）中不对称交互的评估；
  • 在我们的非对称设置中，两个共同定位的用户与虚拟 3D 对象交互，一个在**沉浸式虚拟现实（VR）中，另一个在移动增强现实（AR）**中；
  • 我们与 36 位参与者进行了一项研究，以评估配对工作的性能和协作方面，并将其与两个对称方案进行比较，无论是沉浸式 VR 还是移动 AR 中的用户；
  • 为了进行这个实验，我们采用文献中的协作 AR 操作技术，开发和评估我们自己的 VR 操作技术；
  • 我们的结果表明，非对称 VR-AR 比 AR 对称条件获得了明显更好的性能，并且与 VR 对称性能相似，无论条件如何，即使参与者之间存在可视化和交互不对称，对也具有类似的工作参与，表明高合作水平。

21. 基于真实环境的虚拟对象替换：在增强现实系统中的潜在应用

摘要

  • 增强现实（AR）是一种新兴技术，允许用户与虚拟环境进行交互，包括模拟现实世界中的场景；
  • 大多数当前的 AR 技术涉及在这些场景中放置虚拟对象，然而，对现实世界对象进行建模的困难极大地限制了模拟的范围，从而极大地限制了用户体验的深度；
  • 在本文研究中，我们开发了一个过程，通过该过程实现完全基于现实世界中的场景的虚拟环境；
  • 在对现实世界进行建模时，所提出的方案将场景划分为离散对象，然后将其替换为虚拟对象，这使用户可以无限制地在虚拟环境中进行交互；
  • RGB-D 相机与 SLAM 技术结合使用以获得用户的移动轨迹并获得与真实环境相关的信息；
  • 在对环境进行建模时，基于图形的分割用于分割点云并执行对象分割，以便随后用等效的虚拟实体替换对象；
  • 超二次曲面用于从分割结果中导出形状参数和位置信息，以确保虚拟对象的比例与现实世界中的原始对象匹配；
  • 只有在将对象替换为其真实环境中的虚拟对应物后才能转换为虚拟场景；
  • 涉及模拟真实世界位置的实验证明了所提出的渲染方案的可行性，最后提出了一种攀岩应用场景，以说明所提出的系统在 AR 应用中的潜在用途。

主要贡献

  • 开发了一个综合的渲染系统，结合了建图，点云分割和形状拟合；
  • 在点云分割中，局部闭环优化用于减少局部误差，并且全局闭环消除了与原点和目的地有关的位置的误差，而不影响分割建图；
  • 在点云分割之前，超体素生成和平面检测用于旨在减少分割和总计算时间的预处理方法。

22. 基于增强现实的抛光表面在线质量评估方法

摘要

  • 增强现实被认为是工业 4.0 计划内外第四次工业革命的支持技术之一，实际上，增强现实解决方案可以提高工作质量和生产率，并可以更好地利用人力资源，该技术可以在过程的关键阶段帮助操作员进行工业应用；
  • 由于表面质量评估被认为是抛光过程中的关键阶段，因此本文提出了一种利用增强现实技术支持操作员的新方法；
  • 由表面测量系统测量的计量数据通过操作员佩戴的增强现实眼镜直接投射到抛光部件上，并用于评估工作表面的质量，而不是想象某个参数变化如何影响所获得的结果，信息直接存在于组件的表面上；
  • 用户可以从数据中看到需要改进的地方，并做出更好，更快的决策，这超越了工业抛光的潜力；
  • 所提出的方法在工业单元上实现和验证，其中机器人自动执行抛光任务并沿表面移动表面测量系统的头部以测量计量参数；
  • 由于所提出的方法，最终用户和操作者可以直接在组件上看到所达到的质量是否满足规格，或者表面的某些部分是否需要通过额外的抛光步骤进一步改进。

实现方法

  • 首先，将真实元件的数字表示，或至少是待评估曲面的数字表示提取为三维模型；
  • 几何描述要求参考系统根据真实构件的特征对数字模型进行对齐，从而提供真实构件与数字构件之间的精确关系；
  • 利用数字数据，可以提取出曲面空间中的一组数据点(即点云) ，并根据所选表面测量装置的要求进行分布；
  • 测量阶段需要一台专用的机器，将表面测量设备沿着组件在表面数字描述提供的点上移动，因此，需要通过定义数字模型中使用的参考系统的位置来对齐实部上的点云；
  • 检查操作开始收集数据；
  • 创建并可视化表面的 3D 地图；
  • 为了有效地了解表征曲面及其在曲面上分布的每个几何参数的值是多少，利用 AR 技术提供了直接投影在实分量相关曲面上的三维数据地图；
    • 这需要首先将 3D 表面地图对齐到真实表面(步骤7)，然后在真实表面上直接重叠和可视化质量数据(步骤8)；
    • 为了向用户显示所有感兴趣的参数，通过 AR 设备在身临其境的视图中添加了一个虚拟界面，允许用户通过菜单直接在参数之间切换。

23. 单视图中学习深度的在线单目密集重建

摘要

  • 在线稠密重建是增强现实(AR)应用的一项主要任务，特别是对于碰撞和遮挡等现实交互；
  • 单目相机在 AR 设备上应用最为广泛，但由于缺乏真实深度，现有的单目稠密重建方法在实际应用中表现较差；
  • 本文提出了一种基于深度学习的在线单目稠密重建框架，克服了低纹理区域或纯旋转运动重建的固有困难；
  • 首先，我们设计了一个结合自适应损耗的深度预测网络，使我们的网络可以扩展到训练具有各种内在参数的混合数据集；
  • 然后我们将深度预测与单目 SLAM 框架点云融合松散地结合起来，构建场景的稠密三维模型；
  • 实验证明，我们的单视图深度预测在不同基准上达到了最先进的精度，所提出的框架可以使用专用的点云融合方案在各种场景下重建光滑、表面清晰和稠密的模型；
  • 此外，在 AR 应用程序中使用我们的稠密模型测试碰撞和遮挡检测，这表明所提出的框架特别适用于 AR场景；
  • 我们的代码将与我们的室内 RGB-D 数据集一起公开提供：https://github.com/NetEaseAI-CVLab/CNN-MonoFusion

主要贡献

  • 首先，为了解决不同焦距的图像深度的尺度不一致性，我们提出了一种自适应损失函数，通过将该参数结合到损耗中来避免网络被焦距变化混淆，这使得网络甚至可以从不同的来源训练数据集，从而实现更好的泛化；
  • 其次，我们提出了一种在线单目稠密重建框架，该框架具有改进的深度预测网络和点云融合，易于与任何主流单目 SLAM 系统相结合；
    • 同时，我们的室内 RGB-D 数据集将在 74 个场景中具有 207k 图像对，涵盖足够的动作；

24. 探索混合现实空间的通信配置

摘要

  • 混合现实(mix-reality, MR)使用户能够在现实世界中探索无法实现的场景，这使得用户可以借助数字内容进行交流；
  • 我们研究参与者和内容的不同配置如何影响共享沉浸式环境中的通信；
  • 在我们的多用户 MR 环境中并排设计和实现了镜像面对面和裸眼配置，并对镜像面对面配置进行了初步的用户研究，评估了一对一交互、流畅的焦点转移和使用交互式粉笔交谈系统的 3D 演示中的眼神交流。
  • 没啥用。

wuyanminmax@gmail.com
2019.05.25