键盘控制无人机飞行
WASD 加方向键,通过 MAVSDK 下发指令。
PX4-ROS2-Gazebo-YOLOv8 · monemati/PX4-ROS2-Gazebo-YOLOv8
基于 PX4 自驾仪与 ROS 2 的无人机航拍目标检测仿真项目:用 PX4 SITL 与 Gazebo Garden 搭建仿真环境,YOLOv8 完成实时目标检测。支持 WASD 加方向键经 MAVSDK 键盘控制飞行、二轴云台俯仰与偏航调节,仿真场景内含移动车辆目标用于跟踪...
这是一个把「无人机自驾仪 + 机器人中间件 + 物理仿真 + 视觉目标检测」串成完整链路的仿真实例。项目使用 PX4 SITL 作为飞控软件在环仿真后端,用 Gazebo Garden 提供三维世界与传感器数据,机体选用 x500_depth 无人机模型(搭载 IMX214 相机),再通过 ROS 2(Humble) 的 ros_gz_bridge 把 Gazebo 的相机图像桥接成 ROS 2 图像话题(示例中重映射为 /camera),最后交给 YOLOv8(ultralytics)做实时推理并在可缩放窗口中显示检测结果。
与单纯的检测脚本不同,仓库把「飞行控制」也做进了仿真闭环:飞控指令通过 MAVSDK 从终端键盘发出,云台可在飞行过程中调节俯仰与偏航,场景里还有一辆循环行驶的车辆作为可跟踪目标。因此它更适合被当作一条可复现的技术演示流水线,用于验证「仿真 → 图像 → 检测 → 控制」的整合方式。
WASD 加方向键,通过 MAVSDK 下发指令。
飞行途中可调节俯仰(pitch)与偏航(yaw)。
仓库建议优先使用 Docker 方式,镜像已构建并上传至 Docker Hub,也可以基于仓库内 Dockerfile 自行构建。使用前需要先允许容器访问宿主机的 X11 显示:
xhost +local:docker
然后按需 docker pull monemati/px4_ros2_gz_yolov8_image,或克隆仓库后 docker build -t px4_ros2_gz_yolov8_image .。
运行命令里包含若干关键参数:--privileged、--gpus all 与 NVIDIA_DRIVER_CAPABILITIES/NVIDIA_VISIBLE_DEVICES(GPU 直通)、MESA_GL_VERSION_OVERRIDE=3.3(图形兼容)、挂载 /tmp/.X11-unix 与 XAUTHORITY 文件、--network=host、--ipc=host、--shm-size=2gb,并通过 DISPLAY、QT_X11_NO_MITSHM=1 把图形界面转发到宿主机。
容器启动后会在单个 tmux 窗口内开出 6 个平铺窗格,分别运行:
| 窗格 | 服务 |
|---|---|
| 1 | Micro XRCE-DDS Agent |
| 2 | PX4 SITL(x500_depth 无人机) |
| 3 | ROS-Gazebo 相机桥接 |
| 4 | YOLOv8 检测显示 |
| 5 | 移动汽车(hatchback 绕圈行驶) |
| 6 | 键盘无人机控制器 |
窗格之间用 Ctrl+b 加方向键切换。
所有键盘输入直接在终端中处理,不需要额外弹窗。飞行控制如下:
| 按键 | 动作 |
|---|---|
r |
解锁(arm)无人机 |
l |
降落 |
w / s |
油门加 / 减 |
a / d |
偏航左 / 右 |
| 方向键 | 横滚 / 俯仰 |
i |
打印当前飞行模式 |
Ctrl+C |
退出 |
云台相机控制:j / k 分别让云台俯仰向下 / 向上,n / m 分别让云台偏航向左 / 向右。相机初始朝向为向下 45 度,俯仰范围为 -90 至 +30 度,偏航范围为 -90 至 +90 度。
无人机相机并非固定安装,而是挂在二轴云台上。Docker 构建阶段会执行 setup_gimbal.py,修改 x500_depth 机型的 SDF:把原本固定的相机关节替换为 gimbal_yaw_joint(绕 Z 轴,连接 base_link 与 gimbal_link)与 gimbal_pitch_joint(绕 Y 轴,连接 gimbal_link 与 camera_link)。两个关节各由一个 JointPositionController 插件驱动,监听 Gazebo 传输话题 /gimbal/cmd_pitch 与 /gimbal/cmd_yaw。
移动目标由 move_car.py 负责:它通过 gz service /world/default/set_pose 让 hatchback_blue_1 模型在场景中绕圈行驶,为 YOLOv8 提供持续运动的被检测对象。
不使用 Docker 时,README 给出了一套完整的手动流程:创建 Python 虚拟环境并克隆仓库;克隆 PX4-Autopilot(递归子模块)并执行 Tools/setup/ubuntu.sh、make px4_sitl;安装 ROS 2 Humble 桌面版与开发工具;编译安装 Micro XRCE-DDS Agent;分别建立 ws_sensor_combined 与 ws_offboard_control 两个 ROS 2 工作区,拉取 px4_msgs、px4_ros_com 并用 colcon 构建;再用 pip 安装 mavsdk、aioconsole、numpy、opencv-python、ultralytics,并用 apt 安装 ros-humble-ros-gzgarden。
额外配置包括:在 bashrc 中 source ROS 2 环境并设置 GZ_SIM_RESOURCE_PATH=~/.gz/models;把仓库的 models 复制到 ~/.gz/models;把 worlds 目录中的 default.sdf 复制到 PX4 的 Tools/simulation/gz/worlds/;对 PX4 机型 SDF 运行 setup_gimbal.py(脚本内 MODEL_PATH 需改成实际安装路径)。
运行方式有两种,都需要多个终端:键盘飞行时依次启动 Micro XRCE-DDS Agent(udp4 -p 8888)、带 PX4_SYS_AUTOSTART=4002 与指定初始位姿的 PX4 SITL、ros2 run ros_gz_bridge parameter_bridge ... 相机桥接、uav_camera_det.py、move_car.py,最后是 keyboard-mavsdk-test.py;切到键盘控制终端后按 r 解锁即可起飞。另一种是 ROS 2 自主飞行:把最后一个终端换成 ros2 run px4_ros_com offboard_control。
Farbrausch 2001—2011 年 demo 工具源码合集,使用 C++,涉及 demoscene 与 D...