arXiv-2024 | 具身智能体要上天！CITYNAV：基于地理信息的无人机视觉语言导航数据集
原文链接：CITYNAV: LANGUAGE-GOAL AERIAL NAVIGATION DATASET WITH GEOGRAPHIC INFORMATION (https://arxiv.org/pdf/2406.14240)
代码链接：https://water-cookie.github.io/city-nav-proj/
主要贡献
开发了一个基于浏览器的在线3D飞行模拟器，并与Amazon Mechanical Turk（MTurk）集成，用于收集大规模的人类标注的飞行轨迹。
引入了CityNav数据集，最新的无人机空中导航数据集，包含32,637个语言目标描述和人类演示轨迹，利用了真实城市的3D扫描及其地理信息。
提供了一个MGP（Map-based Goal Predictor）基线方法，用于城市规模的空中导航，该方法利用语义地图解释文本和地理地标的语义类别。
证明了无论是在正常还是在具有挑战性的条件下，在结合人类驱动策略和地理信息时，可以显著提高城市规模空中导航的性能，。
————————————————
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
原文链接：https://blog.csdn.net/weixin_37990186/article/details/144474816
基于地图的目标预测器 (MGP) 是我们提出的模型，它结合了最先进的现成模型来执行基于地图的目标预测。它利用每个时间步生成的导航地图，通过以下三个步骤进行：
(i) 使用 GPT-3.5 Turbo 提取目标、地标和周围环境的名称；
(ii) 使用 GroundingDINO 和 Mobile-SAM 进行物体检测和分割；
(iii) 使用 LLaVA-1.6-34b 进行可选的坐标细化（使用标记集提示）。
地图编码器使用包含地标地图、视野和探索区域地图以及目标和周围环境地图的导航地图，并与跨模态注意力机制的 RGB 和深度编码器一起进行训练。