AerialClaw 如何组织无人机任务
1. 项目定位
AerialClaw 是一个面向通用自主无人机系统的个性化AI智能体框架。系统提供标准化的原子动作技能库（起飞、导航、感知等），由大语言模型（LLM）在任务执行中实时感知环境、规划决策并组合调用这些技能——无需为每个任务预编写完整的飞行流程，同时赋予每架无人机独立的身份认知、任务记忆与技能进化能力。
- 多视角视频流 — 前/后/左/右/下五路摄像头实时画面
- 激光雷达可视化 — 3D LiDAR 点云数据的多层渲染显示
- 手动控制模式 — 支持键盘操控的 FPV 第一人称视角
- AI 自主模式 — 自然语言下达任务，LLM 自主规划执行
- 指令交互界面 — 自然语言任务指令与对话式交互
- 状态监控面板 — 飞行参数与系统状态的实时显示
- 模型配置管理 — 支持多 LLM 后端的切换与配置
2. 架构与数据流
- Brain Layer：
LLM Brain接收任务；Skill Load提供可用技能和策略，Reflection提供过往经验。它通过Tool Calling发起动作，也通过Perception获取传感器信息。 - Skill Layer：
Hard Skills是起飞、悬停、感知等可执行操作；Soft Skills是搜索、巡逻、救援等任务策略。软技能指导如何组合硬技能，本身不等于动作已经执行。 - Runtime Layer： 命令依次经过
Command Filter、Flight Envelope和必要时的Approval Gate。图中的Sandbox Execution特别标明仅针对 LLM 生成的代码，不能理解成所有飞行命令都在沙箱中运行。 - Adapter Layer： 把上层技能调用转换成 PX4、AirSim、ROS2 或自定义协议所需的操作。
- Device Layer： 底部列出 PX4 SITL/Gazebo、AirSim/UE5、真实无人机等可能的执行环境。
3. 技能体系：硬技能和软技能
硬技能（16 项原子操作） — 所有可直接执行的动作：
| 类别 | 技能 | 说明 |
|---|---|---|
| 飞行控制 | takeoff land hover fly_to fly_relative change_altitude return_to_launch | 起降、悬停、定点飞行、相对位移、变高、返航 |
| 环境感知 | look_around detect_object fuse_perception | 多方位观察、目标检测（VLM）、多传感器语义融合 |
| 状态查询 | get_position get_battery | 获取当前位置、电量状态 |
| 标记管理 | mark_location get_marks | 标记兴趣点、查询已标记位置 |
| 计算能力 | run_python http_request read_file write_file | 沙箱代码执行、HTTP 请求、文件读写 |
硬技能涵盖物理无人机控制和信息处理两大类——例如在规划飞行路径前查询天气 API，或用 Python 计算最优路线。所有硬技能内置安全机制：run_python 在自动降级沙箱中运行（Docker → subprocess → restricted），http_request 屏蔽内网并强制超时，文件操作限制在工作目录内并记录审计日志。
软技能（策略文档）：
| 策略 | 说明 |
|---|---|
search_target | 区域搜索 — LLM 自主规划搜索路径，融合视觉与雷达判断目标 |
rescue_person | 人员救援 — 发现目标后的接近、评估、标记、上报全流程 |
patrol_area | 区域巡逻 — 按策略覆盖区域，持续监控异常 |
软技能以 Markdown 文档形式存储。执行时，LLM 读取文档理解策略意图，自主组合运动、认知和感知技能完成任务。系统还支持动态生成新软技能：当 LLM 在反思中发现重复的行为模式时，会自动提取为新的策略文档。
4. 感知系统
技能的执行离不开对环境的感知。系统采用被动 + 主动双层感知架构，为 LLM 的决策提供不同粒度的环境信息：
- 被动感知（
PerceptionDaemon）— 后台持续运行，周期性融合多传感器数据生成环境摘要，为 LLM 提供实时态势感知 - 主动感知（
VLMAnalyzer）— 由 LLM 按需触发，调用视觉语言模型对图像进行深度分析（目标检测、场景理解等）
感知模型支持可插拔配置：可接入云端 API（GPT-4o 等）、本地部署的开源模型、或自行微调的专用模型，以适应不同部署场景对延迟、精度和隐私的需求。
5. 一个仿真环境的演示
下面是项目方展示的 AirSim 城市场景仿真。无人机通过相机和模拟 LiDAR 获取环境信息，由大模型结合任务与当前状态选择技能，再通过 AirSim API 执行。
| 组件 | 技术选型 |
|---|---|
| 飞控系统 | AirSim SimpleFlight（API 控制） |
| 仿真环境 | Unreal Engine 4 + OpenFly AirSim（上海城市场景） |
| 传感器模型 | 前向摄像头 + 模拟 LiDAR（360°） |
| 大模型 / 视觉模型 | GPT-4o（规划、感知、报告生成） |
6. Agent 思想的体现
AerialClaw 与 Agent 的联系，主要体现在 目标驱动、工具调用和反馈决策：用户给出任务目标，LLM 根据观测与历史选择技能；技能执行后返回结果，LLM 再决定下一步。关键是形成 “观察 → 决策 → 行动 → 再观察” 的闭环，而不只是把功能模块命名为 Skill。
与传统无人机任务流程对比
| 维度 | 预设流程的无人机系统 | AerialClaw |
|---|---|---|
| 任务组织 | 开发者编写动作顺序与条件分支 | LLM 结合目标与状态逐步选择技能 |
| 变化处理 | 按预先设计的规则处理 | 将执行反馈加入上下文，再决定行动 |
| 能力扩展 | 增加功能并修改任务流程 | 注册硬技能，补充软技能策略文档 |
例如巡检时目标被遮挡，预设流程需要写好处理分支；Agent 可以根据观测选择换视角或移动后再观察。这是机制上的示例，实际效果仍需测试。 传统系统也可以具备反馈控制和重规划，AerialClaw 的特点是让 LLM 参与任务层的能力选择与组合。
与 Codex、Claude 一类 Agent 对比
以使用 Codex 或 Claude 的编程 Agent 为类比，两者都可以围绕目标调用工具，并利用结果继续决策，区别主要在于工具和执行环境：
| 维度 | 编程 Agent | AerialClaw |
|---|---|---|
| 目标 | 修改代码、解决开发问题 | 巡检、搜索、观察与汇报 |
| 工具 | 文件操作、终端、测试等 | 飞行、感知、状态查询等技能 |
| 反馈 | 文件内容、命令输出、测试结果 | 图像、遥测、动作执行结果 |
| 执行约束 | 开发环境与操作权限 | 还需处理坐标、延迟、电量及飞行约束 |
对我们集群 OS 的启发
可以借鉴 AerialClaw，把集群 OS 中已有的“查询电量”“飞到指定航点”“获取图像”“识别目标”和“返航”等功能封装成 Agent 能调用的 skill，也可以将已实现的路径规划等复杂功能提供为技能接口，将任务策略整理成软技能文档。
集群还可以结合位置、电量和任务进度，实现区域分配与任务接替。
7. 参考资料
- https://github.com/XDEI-Group/AerialClaw
- https://arxiv.org/abs/2606.12142
