使用AirSim的项目#
飞行器#
感知#
从模拟环境收集的里程计数据 - 比较最小二乘估计器(LSQ)和扩展卡尔曼滤波器(EKF)进行传感器融合
P-Agent:使用 Pedras 和 AirSim 训练自主代理识别并获取包裹
屋顶着陆 - 融合 Polylidar3D 和深度学习,从 3D 点云中识别平面
使用光流和扩展焦点 (Focus of Expansion) 对微型飞行器 (MAV) 进行基于运动的物体检测
PEDRA 增强了基于事件的视觉,适用于无人机平台的混合事件 + 帧处理应用
基于无人机智能航线规划与 摄像的建筑幕墙图像采集技术 - 针对建筑幕墙出现的面板破损脱落、移位变形等问题及灾后的应急性快速安全检测,利用无人机搭载深度学习模型,考虑烟雾污渍、环境影像的投射和倒影等因素对检测结果的干扰识别
目标检测数据集生成器(YOLO 格式)和一些获取推理结果的方法
人脸识别&跟踪人 - 使用 YOLOv8 检测图像中的人物,使用 OpenCV 检测人脸,使用 DeepFace 识别人物,并飞近用户从视频源中选择的目标,系统会说出此人的姓名并在地图上显示他们的位置
防撞无人机 - 实时无人机防撞系统使用 YOLOv8 计算机视觉检测障碍物并实施三区安全协议(紧急、关键和标准),以确保在动态环境中安全导航
规划#
移动机器人在主动感知覆盖路径规划方案中的路径规划 - 基于在线接收的已捕获图像信息调整机器人速度
基于 PPO 的深度强化学习自主无人机导航 - 用于四轴飞行器在走廊环境中的自主导航。每隔 4 米,无人机就会穿过一个带有圆形开口的方块。目标是让智能体在这些开口处导航而不与方块发生碰撞
基于PPO的四轴飞行器自主导航 - 用于四轴飞行器在走廊环境中的自主导航。其中每隔 4 米设置一个带有圆形开口的方块供无人机穿过。预期是智能体能够顺利穿过这些开口而不会与方块发生碰撞
DRL-Nav:基于 PPO 的深度强化学习自主无人机导航 - 包含 PPO、SAC、DQN 和 DDPG 的实现
一种基于轻量级学习的轨迹优化框架 - 深度学习用于优化四旋翼飞行器轨迹
使用 PyTrees 和 Microsoft AirSim 进行神经符号四轴飞行器导航
包含几种深度强化学习 (DRL) 算法,用于训练无人机避开 AirSim 模拟中的障碍物
MOAAPP - 基于多目标注意力的自适应路径规划器(无人机路径规划) - 采用深度 Q 学习 (DQN),并结合长短期记忆(LSTM)和注意力机制进行强化学习。它利用 AirSim 仿真环境增强无人机在复杂、障碍物密集环境中的导航能力,并优化路径长度、安全性和能效等多个目标。
结合深度强化学习 (DRL)和深度地图,以增强无人机导航和避障能力 - 集成了Dueling Double Deep Q 网络 (D3QN)和ResNet-8架构,以实现精准的运动指令和稳健的转向角度预测
无人机自主导航 - 利用激光雷达数据实时避障。该系统既支持单机螺旋式导航,也支持多机协同集群飞行
使用 AirSim 中的 A* 寻路、传感器数据集成和 YOLO 物体检测的自动驾驶汽车控制系统
强化学习#
奖励塑造技术 Hind Sight Reward Shaping - 利用贝尔曼方程的基本原理和当前最先进的深度强化学习算法(如 DQN)中的经验重放。
将强化学习应用于无人机模拟 - 包括:根据无人机前方的红色感应进行移动、根据颜色检测来试验无人机的持续动作。
从演示中学习:Stable Baselines 2.10 的模仿学习基准
近端策略优化 (PPO) 实现四轴飞行器在走廊环境中的自主导航
Airsim, Stable Baselines3, 强化学习
基于PPO的四轴飞行器自主导航 - 用于四轴飞行器在走廊环境中的自主导航。其中每隔 4 米设置一个带有圆形开口的方块供无人机穿过。预期是智能体能够顺利穿过这些开口而不会与方块发生碰撞
设计一个强化学习空中交通管制员代理 - 使其能够承担现实生活中的空中交通管制员的职责,利用城市空中交通来指挥垂直起降机场周围的电动垂直起降飞行器。该问题被表述为一个马尔可夫决策过程,并使用PPO作为强化学习算法。
Eagle 和 EagleSim:用于 PTZ 摄像机的 Deep-RL
DQN、DDPG、TD3、A2C 和 PPO 的 DRL 算法实现
使用PPO(近端策略优化)算法对无人机控制进行训练和测试强化学习(RL)模型
在 AirSim(一个用于无人机和其他车辆的模拟环境)中实现了一个深度 Q 网络 (DQN) 代理 - 该代理旨在跟踪球体,并在保持球体在视野范围内的同时,与球体保持一定距离
收集安装在车辆上的距离传感器,输入到DQN神经网络中,学习操作无人机完成访问任务
基于PyTorch和AirSim实现了一个完整的无人机自动驾驶强化学习系统 - 支持多模态输入处理、复合观测空间、SAC强化学习算法、优先经验回放、XPU加速及高级断点续训功能。 相同仓库
一款基于强化学习的无人机导航系统,旨在在模拟环境中进行智能路径规划
在走廊环境中使用四轴飞行器进行自主导航 - 包含 PPO、SAC、DQN 和 DDPG 的实现,扩展自 Bilal Kabas
控制#
手动设计的控制器 - 此环境是一个 Gym API,专门用于学习无地图导航和飞行稳定性
大模型#
DroneVQA:在模拟四旋翼无人机上部署基于 Transformer 的视觉问答 (VQA) 人工智能模型进行视觉检查 - 通过比较答案准确性、主题理解、处理速度和模型训练改进等关键因素,比较开源模型的性能以及在无人机应用中进行微调的难易程度。用户可以在虚拟环境中驾驶无人机,并根据无人机摄像头的拍摄内容提出问题。生成了可解释的人工智能 (XAI) 结果可视化效果,从人工智能模型的角度展示提供的提示和图像,突出显示影响模型结论的关键因素以及最佳答案的权重。用户还可以选择模拟环境天气效应,例如雨、雪、灰尘和雾,以及镜头模糊、像素损坏和断线等摄像头缺陷
AerialVLN: 基于视觉和语言导航的无人机项目 - 提供 25 个城市级场景,图像逼真
基于视觉语言模型引导的单目视觉无人机导航 - 基于视觉语言模型(Google Gemini Flash 模型)开发了一套基于单目视觉的无人机导航与避障系统。前置摄像头捕捉的 RGB 图像通过 Depth-Anything 算法处理成深度图。生成的深度图随后被转化为三个离散动作。
多智能体#
多代理路由 - 一个通过使用导航库来控制多架无人机的开发库
端到端#
利用神经网络飞越狭窄缝隙 - 一种端到端的规划和控制方法
基于迁移学习 (TL) 的方法,通过深度强化学习减少训练深度神经网络进行自主导航所需的机载计算量 - 对网络进行端到端训练。这些训练好的元权重随后在模拟测试环境中用作网络的初始化器,并针对最后几个全连接层进行微调。为了验证该方法的鲁棒性,我们模拟了无人机动力学和环境特性的变化。包含真实DJI Tello 无人机上
平台#
使无人机能够使用机载摄像头识别并跟踪其视野范围内的人员,从而跟踪他们的运动 - 利用该平台开发集成计算机视觉技术的解决方案,并利用其输入来控制无人机的运动
Yandex Calendar Bot 是一款异步 Telegram 机器人
将地面摄影测量数据上传到 Playground,根据图片训练无人机沿轨迹飞行
Pizzair - 披萨送货无人机应用程序 - 两个 Readme 文件:一个用于无人机控制软件,另一个用于 Web 应用程序。使用无人机将披萨送到顾客手中,顾客可以通过该应用程序下单并与披萨配送无人机进行通信。
无人机配送系统 - 集成了 AirSim 和 Ubuntu 上的 PX4。它允许您控制无人机、设置取货和配送地点以及执行各种任务。该系统使用 Django 作为 Web 界面,并通过 AirSim 与无人机通信。
该平台专为 AirSim 环境中的 RL 训练而设计,并基于Stable-Baselines3构建 - 提供了便捷的切换机制和高度的可扩展性。用户可以按照说明学习如何使用该平台
名为“Embodied City”的全新基准平台,用于城市环境中的具身智能 - 包含一个模拟器和城市环境中具身智能代表性任务的数据集
用于 FPV 战斗无人机(模拟器版本)的带目标跟踪功能的自动驾驶仪
无人机视觉强化学习训练环境及训练代码 - 包含奖励结构优化、调试日志与高可维护性结构
OpenFly平台 - 通过提供高度自动化的数据收集工具链和大规模基准数据集,推动户外空中视觉语言导航 (VLN) 的研究。它包含 10 万条不同的飞行轨迹、使用尖端渲染技术生成的高质量视觉数据,以及一个关键帧感知的 VLN 模型 OpenFly-Agent
嵌入式无人机控制系统具有基于 LiDAR 的物体检测、实时导航和精确着陆功能
数据#
生成执行器故障下的无人机传感器数据 - 为了开发和评估基于视觉的 FDD 算法的性能,需要一个包含正常飞行和故障场景下 IMU 和摄像头输出的数据集。介绍了 UUFOSim(虚幻无人机故障注入模拟器),这是一个基于 AirSim 构建的数据收集流程,用于收集城市环境中执行器故障的合成飞行数据
生成数据和对应的Ground Truth - 包括RGB相机、标准化差异数据、3D 点云
数据收集教程 - 包括蓝图说明、 使用 AirSim 进行 3D 点云重建
在AirSim中操纵无人机并在训练期间提取图像/视频的概念验证
适用于VLN数据集的注释软件,用于注释每个导航步骤指令中的引用对象
用于 YOLOv5-6D 模型的 3D 对象检测数据集生成器
包括创建数据、模型精调、预测 - 包括cityenviron的图片数据集
DiverSim用于生成注重多样性和包容性的合成行人数据 - 基于虚幻引擎 5 构建,可创建均衡的数据集,其中包含相同比例的性别、种族和残障人士。用户可以自定义各种模拟参数,包括大气条件、鱼眼相机参数和行人特征,数据则以ASAM OpenLABEL格式进行注释
工具#
适用于 AirSim Multirotor 模拟器的 OpenAI Gym 环境
无人机强化学习(RL)应用的可编程引擎(PEDRA-2.0) - 其他 相似项目
OpenAI Gym 的 AirSim 接口 - 支持两种无人机控制类型:离散位置控制和连续速度控制
Airsim + Python + Docker 示例 - 包括 ROS2 + Docker turtlesim 示例
FLS(飞行光斑)显示器 - 能够通过占据空间中的物理体积来呈现真实或虚拟的三维物体的显示器,我们需要尺寸仅为数百微米的微型无人机,并配备一个或多个可发出不同颜色和亮度的光源
录制脚本 - 用于在 airsim 中记录各种 SLAM 实验的数据集;用于在给定路径上飞行无人机并记录跟踪以创建数据集的脚本
与 AJAN Agent System 的 Airsim 进行通信的 Python API
Resnet8 - 包括数据收集、训练、评测
与训练环境 IPT 相关的文件的软件仓库 - 用于创建 Eagle Enterprises 训练环境的所有插件文件、虚幻资源和虚幻蓝图文件
包装并使用 Airsim 的摄像头和激光雷达与 ROS 2 进行交互
将 Airsim 与 ROS2 连接起来 - 通过在后端运行 JSBSim 并使用来自 airsim 的 MovePosition api 来移动相机 pawn 来完成的
地图#
推理模拟环境中可能存在的任意投影系统 - 使用虚幻引擎构建的德国维滕一小块街区的示例。模拟环境是一个基于 OSM 的地理参考世界,采用 UTM32N 投影坐标系。通过 GPS 位置控制四旋翼飞行器降落在建筑物上。
比赛#
方程式无人驾驶赛车 - 包括素材构建流程、模仿学习(TODO)
无人机在狭窄倾斜缝隙中快速飞行 - 本科论文
密苏里科技大学多旋翼设计团队为 2023-2024 年学生无人机系统竞赛 (SUAS) 设计的模拟环境
密苏里科技大学多旋翼设计团队参加 2025 年学生无人机系统竞赛 (SUAS) 的代码
密苏里科技大学多旋翼设计团队为 2023-2024 年学生无人机系统竞赛 (SUAS) 设计的模拟环境
研究#
资源感知分布式贪婪算法 (RAG) - 一种用于机器人网状网络中分布式子模优化的高效通信和计算方法
定制#
进行了二次开发,打造了一款可以同时控制飞机和汽车模型的多人游戏
增加了一个宏,用于实现不同的sleep策略 - 以或多或少的计时精确性为代价,改进AirSim在多机(>20 in i7-12700)仿真下的性能表现。
张家界地图 、为所有地图添加F10 等
修改 AirSim 的分支以与定制的 Unity 模拟器配合使用 - 可作为 AIFS 农用飞行模拟器的子模块使用
用于农业环境飞行的AIFS模拟器 - 基于HiPeRLab、Helios和AirSim的代码,旨在帮助测试在包含高保真农业特征的模拟环境中不同的自主飞行策略(基于Unity)
Ubuntu-20.04 上的 Airsim - 势场、自己的场景
AirSimDevVerison - clang-12 error fixed
视觉逼真的水下机器人模拟器 UNav-Sim - 基于虚幻5
人#
多模态人机交互(Human-in-the-loop, HITL)学习 - 整合眼神注视和自然语言,实现人机交互学习。预测的凝视和真实凝视对比
使用人类交互和强化学习实时教导学习代理完成不同的任务 - 学习周期应用于教导四旋翼飞行器如何基于人机交互和强化学习降落在着陆台上
人类角色被设置为在设计的样条路径上行走 - 对于动态防撞问题,可以使用以下包含行走人类角色的地图来收集数据,以训练强化学习代理,为Gym 风格环境
车#
对 Udemy 教程《应用深度学习——完整的自动驾驶汽车课程》概念流程的测试 - 使用 Keras(Tensorflow 的包装器)教汽车如何自动驾驶
测试 Airsim API,并训练汽车使用强化学习来查找和导航到物体
自动赛车的强化学习 - 使用软演员评论家 (SAC) 算法和变分自动编码器 (VAE)。
使用 TensorFlow 训练神经网络以及执行实时碰撞检测和多车模拟
通用 ROS2 包,用于使用不同的 API 控制各种模拟中的车辆
利用超分辨率技术实现汽车应用的快速立体摄像机模拟 - 一种利用立体超分辨率 (SSR) 加速立体相机模拟的方法
符合任务规范的机器人自动驾驶车辆恢复AirSim PX4 ArduPilot Python 平台 - 论文“SpecGuard:面向物理攻击的机器人自动驾驶车辆规范感知恢复”的代码
从标签(由激光雷达文件生成)中提取 GPS 数据,运行模拟并使用 PID 控制器控制汽车
机器人#
基于深度强化学习的多机器人有效载荷运输 - 场景有两种:一个是封闭空间,其中有一个目标;另一个是机器人携带有效载荷前往的狭窄通道
杂项#
Autonomous-Drone - PEDRA 由 Aqeel Anwar 开发。对模型训练配置进行了更改,以简化和训练自主模型。