SPF

约 3809 字大约 13 分钟

2026-04-13

看，指，飞：一种无需训练的视觉语言模型通用无人机导航框架

文献背景与研究问题

1. 背景

这篇论文研究的是无人机视觉-语言导航（AVLN, Aerial Vision-and-Language Navigation）：给无人机一条自然语言指令，比如”飞到穿绿色衣服的人旁边”或者“飞到右边房子后面的篮球场中”，让它根据当前的图像自助完成飞行任务。这类任务同时需要视觉理解、语言理解、空间推理，以及把高层语义目标转成低层飞行动作的能力。

传统的方法是采用端到端策略学习框架，该框架由一个文本和视觉编码器组成，编码器讲语言和视觉映射为潜在表征，然后通过一个策略头将表征转换为无人机动作，整个模型依赖专家演示数据进行训练。此方法由于训练数据规模和多样性有限，对新环境新指令的泛化能力有限。

最近的工作探索了一个无训练的方向，直接将 VLM 转换为 VLN 策略，让 VLM 输出动作文本，例如让模型直接生成“向前飞”“左转”等动作，或者从固定技能库中选技能。由于 VLM 是在大规模互联网上训练的，这些模型展现出极其丰富的世界常识，强大的视觉和语言理解，推理和规划能力，同时有很强的泛化能力。

2. 研究问题

如何将生成文本的VLM重新定义为生成物理动作的具身智能体，在机器人领域已经有很多研究，但是在空中视觉语言导航（AVLN）中仍有待探索。现有的基于 VLM 的 AVLN 方法大多是将VLM提示的文本形式表示为连续的动作或者预定义技能。但是存在两个明显问题：

具身智能体需要执行细粒度动作，而文本并不适合表示高精度的浮点数。
这些 VLM 并未在空中导航数据上进行训练，因此难以准确预测用于导航的三维动作。

相比之下，作者的核心洞察是：将 AVLN 中的动作预测问题重新建模为一个二维空间定位（spatial grounding）任务。具体而言，我们并不直接预测三维动作，而是利用 VLM 在图像上标注二维航点（waypoints）。这一过程不依赖 AVLN 领域知识，而只需模型具备通用的空间理解能力。由于这些二维航点是基于视觉场景进行定位的，它们天然蕴含了精确的动作信息。随后，可以结合相机参数将这些二维航点转换为对应的三维动作。

SPF的方法介绍

π(⋅∣ℓ,I_t)→m_t∈\mathbb{R}^3

形式化地，作者定义一个策略函数 $ π(⋅∣ℓ,I_t) $，将“观测–指令”对映射为一个三维运动指令 $m_t \in \mathcal{A}$ ，其中动作空间 $\mathcal{A} \subseteq \mathbb{R}^3$ 表示可行的位移向量。整个系统包括了三个阶段：

空间理解与航点生成
二维到三维动作转换
闭环控制与动态重规划

1. 基于 VLM 的避障动作规划

本节的核心是：用 VLM 在图像上预测带“距离信息”的二维航点，从而替代传统的三维动作预测。

方法的第一阶段表述为一个结构化视觉定位（visual grounding）任务，其中视觉语言模型 $G$ 处理来自无人机第一视角的相机观测 $I_t \in \mathbb{R}^{H \times W \times 3}$ ，以及用于描述目标任务的自然语言指令 $\ell$ 。VLM 在此输入条件下，输出一个关于候选航点规划 $w∈W$ 的概率分布 $P_G(w \mid \ell, I_t)$ ，其中 $\mathcal{W}$ 表示可行空间航点序列的离散集合。

作者将中间空间规划 $O_t$ 定义为该概率分布下最可能的航点序列：

O_t = \arg\max_{w \in \mathcal{W}} P_G(w \mid \ell, I_t)

输出 $ O_t = {u, v, d_{\text{VLM}}} $ 表示图像空间中的一个三维导航目标，其中 $(u, v)$ 为像素坐标， $d_{\text{VLM}} \in \{1,2,\ldots,L\}$ 表示一个离散的深度标签，她表示 VLM 对无人机沿其前进方向的期望移动距离的预测，并非传感器测得的真实深度值。

$d_{VLM}$ 不是真实距离，它标签值的大小表示距离目标的距离远近，可以看做是一种“步长等级”。

当启用避障模式时，VLM 会被进一步约束，以生成既能引导无人机朝向目标，又能避免与检测到的目标边界框发生碰撞的航点，从而在复杂环境中实现安全导航。

通过采用这种视觉定位的方式对无人机控制进行建模，作者将复杂的空间推理问题转化为一个计算高效的任务，从而实现鲁棒的、零样本的、具备避障能力的导航，且无需迭代优化或穷举式的底层动作采样。

2. 从二维航点到三维动作

如果直接让 VLM 输出无人机的运动指令，可能会导致过于激进或者不安全的动作，尤其是是在复杂的环境中。因此，作者采用了一个非线性缩放曲线来将离散的深度标签 $d_{VLM}$ 转换为调整后的步长 $d_{adj}$ ：

d_{\text{adj}} = \max \left( d_{\min},\; s \times \left( \frac{d_{\text{VLM}}}{L} \right)^p \right)

其中， $s$ 是全局缩放因子， $p$ 控制缩放曲线的非线性程度， $d_{\min}$ 用于设定步长的下界以保证安全性。在补充材料中，作者说一般的步长范围在0.1m到10m。

解释一下上图的流程：

首先 VLM 输出一个二维航点 $(u,v)$ 以及一个离散的深度标签 $d_{VLM}$ ，然后上述的这个公式（非线性缩放曲线）来将 $d_{VLM}$ 转换为自适应步长 $d_{adj}$ ，使无人机在开阔区域采取较大的步长，而在障碍物附近采取较小的步长。接着通过一个针孔相机模型来投影为无人机体系中的三维位移向量 $(S_x,S_y,S_z)$ 。该向量被分解为基础控制量：偏航角 $\Delta\theta = \tan^{-1}(S_x / S_y)$ ，俯仰量 $\Delta\text{Pitch} = \sqrt{S_x^2 + S_y^2}$ ，以及油门量 $\Delta\text{Throttle} = S_z$ 。这些量由执行层作为带时间参数的速度指令发送。

在闭环控制框架下，期望的三维位移被分解为无人机的基础控制量：俯仰（pitch）、偏航（yaw）和油门（throttle），每一个控制量都会被转换为一个“速度–持续时间”对，其中持续时间由所需调整量的大小以及预设的恒定速度共同决定。

实验

作者在仿真和现实环境中评估了方法，并且在多种室内环境（办公空间、走廊、生活区域）以及室外场景（公园、校园步道）中进行了大量测试，涵盖不同的光照条件、障碍物密度和视觉复杂度，以全面评估系统的真实环境表现。

在仿真环境验证中，作者采用了高保真 DRL 仿真器，该仿真器源自无人机竞速联盟（Drone Racing League）的标准基准。在真实环境验证中，作者将系统部署在 DJI Tello EDU 无人机平台上，并通过 Python SDK 使用底层的 rc 速度指令进行控制。

补充一点，作者的实验中每一步总延迟在1.5s到3s之间（总延迟并不是无人机在两个航点之间等待的时间，而是从获取当前观测到生成并执行下一步动作之间的决策延迟。在这段时间内，无人机会持续执行已有控制指令，而不是停止等待），控制和决策是解耦的。

层级	频率
VLM（大脑）	慢（0.3~1 Hz）
控制器（小脑）	快（10 Hz）

1. 评价指标

作者采用两个指标评估性能：

成功率（Success Rate, SR），即无人机在无碰撞情况下成功到达目标的试验比例。实机1m以内算成功，仿真5m以内算成功，中途产生碰撞或者最终看不到目标都算失败。
完成时间（Completion Time），即从开始运动到任务完成所需的时间。

2. 任务类别

评估框架包含 6 类不同的任务，用于评估基于 VLM 的无人机控制在多种导航场景中的鲁棒性与通用性：

导航（Navigation）：导航至指定的静态目标或真实世界中的位置。
避障（Obstacle Avoidance）：在避开静态和动态障碍物的同时到达指定目标。
长时序（Long Horizon）：需要在较长时间和空间范围内保持性能，并进行组合式规划的多阶段导航任务。
推理（Reasoning）：需要进行上下文理解、空间推理以及超越字面指令的环境理解的任务。
搜索（Search）：目标初始位于无人机视距之外的目标定位任务。
跟随（Follow）：识别并跟踪真实世界中的物体或人员。

作者在仿真中设计了 23 个任务，在真实环境中设计了 11 个任务，覆盖上述所有任务类别。每种方法在每个任务上均执行 5 次，以消除执行过程中的随机性影响。

3. 对比方法（Baselines）

TypeFly：一种基于语言驱动的方法，利用 GPT-4 解析自然语言指令，并从预定义的技能库中选择合适的动作。尽管在已知任务中表现良好，但由于依赖固定的动作空间，该方法在零样本泛化能力上存在本质限制。
PIVOT：一种视觉语言方法，在输入图像上叠加候选二维航点作为视觉提示，并由 VLM 从中选择最合适的航点进行导航。该方法需要预先生成并评估多个候选路径，而不是直接预测最优航点。
Plain VLM：作者方法的一个消融版本，直接通过提示让 VLM 以文本形式预测无人机动作，而不采用我们提出的结构化输出、空间变换或自适应深度缩放机制。