多模态 CARLA 导航避障系统
项目简介
本项目基于 CARLA 模拟器与神经网络技术，实现了具备多传感器融合能力的智能车辆导航避障系统。系统集成前视摄像头、第三视角摄像头与障碍物检测模块，通过多模态数据感知环境，结合神经网络与传统控制算法，实现车辆自主行驶与障碍物规避功能。
项目愿景
致力于打造一个开源、易用、可扩展的自动驾驶仿真平台，为自动驾驶算法研究和教学提供便捷的实验环境。
核心价值
- 教育价值：为自动驾驶初学者提供完整的学习和实验平台
- 研究价值：支持快速原型开发和算法验证
- 工程价值：提供工业级的代码结构和设计模式参考
🎯 核心功能
| 功能模块 |
描述 |
状态 |
| 多模态感知 |
集成 RGB 摄像头（前视 + 第三人称 + 鸟瞰图） |
✅ 已完成 |
| 智能控制 |
基于路点跟踪的控制算法，支持自动驾驶 |
✅ 已完成 |
| 车辆品牌切换 |
支持10种品牌车型，一键切换 |
✅ 已完成 |
| 环境切换 |
多地图、多天气模式切换 |
✅ 已完成 |
| 可视化 |
实时显示摄像头画面和状态信息 |
✅ 已完成 |
| 截图功能 |
自动命名保存当前画面 |
✅ 已完成 |
📁 项目结构
car_navigation_system/
├── README.md # 项目说明文档
├── main.py # 主程序文件（包含完整功能实现）
├── screenshots/ # 截图保存目录
│ └── .gitkeep # 保持目录结构
├── sync_main.bat # Git同步脚本
└── check_blueprints.py # 车辆蓝图检测工具
文件职责说明
| 文件 |
职责 |
状态 |
main.py |
核心逻辑实现，包含驾驶系统和控制算法 |
主开发 |
README.md |
项目文档，包含使用说明和技术文档 |
维护中 |
sync_main.bat |
Git分支同步工具，解决冲突问题 |
辅助工具 |
check_blueprints.py |
车辆蓝图检测，验证可用车型 |
调试工具 |
🛠️ 环境配置
硬件要求
| 配置项 |
最低要求 |
推荐配置 |
| CPU |
Intel i5-8400 |
Intel i7-10700K |
| GPU |
NVIDIA GTX 1060 |
NVIDIA RTX 3070 |
| 内存 |
8GB |
16GB |
| 存储 |
50GB 可用空间 |
100GB 可用空间 |
软件要求
| 依赖项 |
要求 |
说明 |
| 操作系统 |
Windows 10/11 或 Ubuntu 20.04/22.04 |
推荐 Windows 11 |
| Python 版本 |
3.7+ (推荐 3.10) |
兼容性最佳 |
| CARLA 版本 |
3.11 或兼容版本 |
模拟器核心 |
| PyTorch |
1.10+ |
神经网络支持 |
| OpenCV |
4.5+ |
图像处理 |
| NumPy |
1.21+ |
数值计算 |
| Matplotlib |
3.4+ |
可视化 |
📦 依赖安装
步骤 1：安装基础依赖
pip install carla numpy opencv-python matplotlib torch
步骤 2：安装 CARLA Python API
# 安装与CARLA版本匹配的API
pip install carla==0.9.15 # 根据你的CARLA版本选择
步骤 3：验证安装
python -c "import carla; print('CARLA API 安装成功')"
🚀 快速启动
步骤 1：启动 CARLA 模拟器
# Windows - 窗口模式
CarlaUE4.exe -windowed -ResX=800 -ResY=600 -fps=30
# Windows - 全屏模式
CarlaUE4.exe
# Ubuntu
./CarlaUE4.sh -windowed -ResX=800 -ResY=600
步骤 2：运行导航避障系统
# 进入项目目录
cd f:\nn\src\car_navigation_system
# 运行主程序
python main.py
步骤 3：预期输出
自动驾驶系统 - 简化版本
确保CARLA服务器正在运行...
==================================================
简化自动驾驶系统
==================================================
正在连接到CARLA服务器...
可用地图: ['Town01', 'Town02', ...]
地图加载成功
连接成功！
正在生成车辆...
找到 255 个出生点
车辆生成成功！ID: 1660
车辆型号: Tesla Model3
位置: Location(x=335.489990, y=273.743317, z=0.300000)
正在设置相机...
相机设置成功 - 已创建三个视角相机
控制器设置完成
系统初始化中...
正在生成 2 辆NPC车辆...
系统准备就绪！
🎮 操作说明
| 按键 |
功能描述 |
详细说明 |
q |
退出系统 |
优雅退出并清理资源 |
r |
重置车辆位置 |
将车辆恢复到初始位置 |
s |
紧急停止 |
立即停止车辆运动 |
x |
切换倒车/前进模式 |
速度为0时生效 |
v |
切换视角 |
循环切换第一人称/第三人称/鸟瞰图 |
m |
切换地图 |
循环切换Town01~Town07 |
w |
切换天气 |
循环切换晴天/雨天/多云/湿滑 |
c |
切换车辆颜色 |
循环切换10种颜色 |
b |
切换车辆品牌 |
循环切换10种车型 |
p |
保存截图 |
自动命名并保存到screenshots目录 |
🌟 车辆品牌切换功能
按 b 键循环切换车辆品牌，支持以下10种经过验证的车型：
| 编号 |
品牌型号 |
蓝图名称 |
车辆类型 |
| 1 |
Tesla Model3 |
vehicle.tesla.model3 |
电动轿车 |
| 2 |
Ford Mustang |
vehicle.ford.mustang |
跑车 |
| 3 |
Audi TT |
vehicle.audi.tt |
轿跑 |
| 4 |
Mercedes Coupe |
vehicle.mercedes.coupe |
豪华轿跑 |
| 5 |
Jeep Wrangler Rubicon |
vehicle.jeep.wrangler_rubicon |
越野车 |
| 6 |
Nissan Patrol |
vehicle.nissan.patrol |
SUV |
| 7 |
Audi e-tron |
vehicle.audi.etron |
电动SUV |
| 8 |
Lincoln MKZ 2020 |
vehicle.lincoln.mkz_2020 |
豪华轿车 |
| 9 |
Chevrolet Impala |
vehicle.chevrolet.impala |
全尺寸轿车 |
| 10 |
BMW Grand Tourer |
vehicle.bmw.grandtourer |
豪华旅行车 |
功能特点：
- ✅ 切换时保留当前车辆颜色设置
- ✅ 自动重新设置相机和控制器
- ✅ 控制台显示品牌选择菜单
- ✅ 所有蓝图均已验证可用
- ✅ 平滑的车辆过渡动画
📷 截图功能
截图功能是多模态 CARLA 导航避障系统的重要组成部分，用于保存当前驾驶画面，支持实验记录、结果展示和问题排查。
核心特性
| 功能特性 |
描述 |
状态 |
| 一键截图 |
按 p 键快速保存当前画面 |
✅ 已完成 |
| 自动命名 |
文件名包含时间戳、地图、天气、颜色信息 |
✅ 已完成 |
| 自动分类 |
按日期和场景自动组织截图 |
✅ 已完成 |
| 多视角支持 |
支持第一人称、第三人称、鸟瞰图视角 |
✅ 已完成 |
使用方法
触发方式
- 按键触发：按
p 键即可保存当前画面
- 触发时机：可在任意时刻触发，不影响驾驶控制
输出位置
screenshots/
├── screenshot_20260512_153022_Town01_clear_Red.png
├── screenshot_20260512_154510_Town02_rain_Blue.png
└── screenshot_20260512_160000_Town03_cloudy_Green.png
文件命名规范
命名格式
screenshot_时间戳_地图名_天气_颜色.png
命名示例
| 文件名 |
说明 |
screenshot_20260512_153022_Town01_clear_Red.png |
2026年5月12日15:30:22，Town01地图，晴天，红色车辆 |
screenshot_20260512_154510_Town02_rain_Blue.png |
2026年5月12日15:45:10，Town02地图，雨天，蓝色车辆 |
screenshot_20260512_160000_Town03_cloudy_Green.png |
2026年5月12日16:00:00，Town03地图，多云，绿色车辆 |
字段说明
| 字段 |
格式 |
示例 |
说明 |
| 时间戳 |
YYYYMMDD_HHmmss |
20260512_153022 |
年、月、日、时、分、秒 |
| 地图名 |
TownXX |
Town01 |
CARLA地图名称 |
| 天气 |
天气类型 |
clear |
晴天/雨天/多云/湿滑 |
| 颜色 |
颜色名称 |
Red |
车辆颜色 |
技术实现
核心代码逻辑：
def take_screenshot(self):
"""保存当前画面截图"""
# 获取当前时间戳
timestamp = datetime.datetime.now().strftime("%Y%m%d_%H%M%S")
# 获取当前地图名称
map_name = self.current_map.split('/')[-1] if self.current_map else "Unknown"
# 获取当前天气
weather_name = self.weathers[self.current_weather_index]
# 获取当前颜色名称
color_name = self.car_color_names[self.current_color_index]
# 生成文件名
filename = f"screenshot_{timestamp}_{map_name}_{weather_name}_{color_name}.png"
# 确保目录存在
os.makedirs('screenshots', exist_ok=True)
# 保存当前视角画面
if self.current_view_mode in self.cameras and self.image_data[self.current_view_mode] is not None:
cv2.imwrite(f"screenshots/{filename}", self.image_data[self.current_view_mode])
print(f"截图已保存: screenshots/{filename}")
性能特点
| 指标 |
数值 |
说明 |
| 保存格式 |
PNG |
无损压缩，画质清晰 |
| 分辨率 |
640 x 480 |
与相机分辨率一致 |
| 保存速度 |
< 100ms |
不影响实时控制 |
| 文件大小 |
~500KB |
适中，便于存储和分享 |
应用场景
- 实验记录：记录不同场景下的驾驶状态，保存关键实验数据
- 问题排查：记录异常情况，便于问题复现和分析
- 成果展示：生成演示图片，制作项目文档配图
- 数据分析：配合其他传感器数据进行分析，用于机器学习数据集构建
🌍 支持的地图
| 地图名称 |
特点 |
复杂度 |
| Town01 |
小型城镇，道路简单 |
⭐⭐ |
| Town02 |
中等规模，包含高速公路 |
⭐⭐⭐ |
| Town03 |
丘陵地形，弯道较多 |
⭐⭐⭐ |
| Town04 |
乡村风格，道路较窄 |
⭐⭐ |
| Town05 |
城市环境，交通复杂 |
⭐⭐⭐⭐ |
| Town06 |
大型城市，多层道路 |
⭐⭐⭐⭐⭐ |
| Town07 |
工业区风格 |
⭐⭐⭐ |
🌤️ 支持的天气
| 天气类型 |
效果描述 |
| 晴天 (Clear) |
阳光明媚，视野良好 |
| 雨天 (Rain) |
下雨效果，地面湿滑 |
| 多云 (Cloudy) |
阴天，光线较暗 |
| 湿滑 (Wet) |
地面湿滑，有积水反光 |
🔧 技术架构
系统架构图
┌─────────────────────────────────────────────────────────────┐
│ 控制系统 (Control System) │
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │
│ │ 路点跟踪 │ │ 速度控制 │ │ 转向计算 │ │
│ │ Waypoint │ │ Speed Ctrl │ │ Steering │ │
│ │ Tracking │ │ │ │ Calculation │ │
│ └──────┬──────┘ └──────┬──────┘ └──────┬──────┘ │
│ └────────┬───────┴────────┬───────┘ │
│ ▼ ▼ │
│ ┌─────────────┐ ┌───────────┐│
│ │ 控制融合 │ │ 倒车模式 ││
│ │ Control │ │ Reverse ││
│ │ Fusion │ │ Mode ││
│ └──────┬──────┘ └───────────┘│
│ ▼ │
├─────────────────────────────────────────────────────────────┤
│ 传感器层 (Sensor Layer) │
│ ┌─────────────┐ ┌─────────────┐ ┌───────────┐ │
│ │第一人称相机 │ │第三人称相机 │ │ 鸟瞰图相机│ │
│ │ First-Person│ │Third-Person│ │ Birdseye │ │
│ │ Camera │ │ Camera │ │ Camera │ │
│ └──────┬──────┘ └──────┬──────┘ └─────┬─────┘ │
│ └────────┬───────┴────────┬───────┘ │
│ ▼ │
│ ┌─────────────┐ │
│ │ 图像处理器 │ │
│ │ Image │ │
│ │ Processor │ │
│ └──────┬──────┘ │
│ ▼ │
├─────────────────────────────────────────────────────────────┤
│ CARLA 模拟器 (CARLA Simulator) │
│ ┌─────────────┐ ┌─────────────┐ ┌───────────┐ │
│ │ 车辆Actor │ │ 地图环境 │ │ NPC车辆 │ │
│ │ Vehicle │ │ Map Env │ │ NPC Cars │ │
│ │ Actor │ │ │ │ │ │
│ └─────────────┘ └─────────────┘ └───────────┘ │
└─────────────────────────────────────────────────────────────┘
核心类设计
1. SimpleDrivingSystem
- 职责：系统主控制器，协调整个驾驶系统
- 核心方法：
connect() - 连接CARLA服务器spawn_vehicle() - 生成车辆setup_camera() - 设置摄像头run() - 主运行循环
2. SimpleController
- 职责：车辆控制算法实现
- 核心方法：
get_control() - 获取控制指令toggle_reverse() - 切换倒车模式
3. Camera Callback
- 职责：处理相机图像数据
- 特点：仅处理当前视角的图像，节省资源
📊 性能指标
| 指标 |
数值 |
说明 |
| 控制频率 |
30 Hz |
每帧处理一次控制指令 |
| 相机分辨率 |
640 x 480 |
平衡性能与画质 |
| 最大车速 |
50 km/h |
安全驾驶速度 |
| NPC车辆数 |
2辆 |
模拟交通环境 |
| 内存占用 |
~500MB |
正常运行时 |
| CPU占用 |
~15% |
单线程 |
🛡️ 错误处理与稳定性
故障恢复机制
| 故障类型 |
处理策略 |
恢复方式 |
| CARLA连接失败 |
重试连接3次 |
提示用户检查服务器 |
| 车辆生成失败 |
自动清理并重新尝试 |
使用备用出生点 |
| 相机设置失败 |
跳过相机设置 |
继续运行（无可视化） |
| 车辆卡住 |
自动检测并重置 |
恢复到初始位置 |
资源管理
# 退出时自动清理资源
def cleanup(self):
"""清理所有资源"""
# 停止相机
for camera in self.cameras.values():
if camera:
camera.stop()
camera.destroy()
# 销毁车辆
if self.vehicle:
self.vehicle.destroy()
# 清理客户端连接
if self.client:
self.client = None
print("资源清理完成")
🔍 调试与日志
日志级别
| 级别 |
用途 |
示例 |
| INFO |
常规信息 |
"车辆生成成功" |
| WARNING |
警告信息 |
"相机设置失败" |
| ERROR |
错误信息 |
"连接失败" |
| DEBUG |
调试信息 |
"速度: 30 km/h" |
调试工具
- check_blueprints.py - 检测可用车辆蓝图
- 控制台输出 - 实时显示系统状态
- 截图功能 - 保存关键帧分析
🔄 Git 同步说明
同步脚本使用
# 运行同步脚本
sync_main.bat
# 手动同步流程
git stash
git pull origin main
git stash pop
冲突处理策略
- 代码冲突：保留本地修改，手动合并
- 配置冲突：以主分支为准
- 文档冲突：合并双方内容
📈 扩展开发指南
添加新功能步骤
- 需求分析 - 明确功能需求
- 设计阶段 - 设计接口和类结构
- 实现阶段 - 编写代码
- 测试阶段 - 验证功能正确性
- 文档更新 - 更新README
扩展建议
| 扩展方向 |
难度 |
建议 |
| 添加激光雷达 |
中等 |
需要修改传感器配置 |
| 实现避障算法 |
高 |
需要深度学习模型 |
| 添加行人检测 |
中等 |
使用YOLO等模型 |
| 实现路径规划 |
高 |
需要图搜索算法 |
📚 相关资源
学习资源
参考项目
❓ 常见问题
1. 连接 CARLA 服务器失败
问题现象：运行程序时提示连接失败
解决方法：
- 确保 CARLA 模拟器正在运行
- 检查端口是否为 2000
- 验证防火墙设置
- 尝试重启CARLA服务器
2. 车辆生成失败
问题现象：提示"无法生成车辆"
解决方法：
- 等待几秒后重试
- 检查是否有其他车辆占用出生点
- 尝试切换地图
3. 车辆切换崩溃
问题现象：切换车辆品牌时程序崩溃
解决方法：
- 所有车辆蓝图均已验证可用
- 确保 CARLA 版本兼容
- 更新显卡驱动
4. 画面卡顿
问题现象：帧率较低，画面不流畅
解决方法：
- 降低CARLA分辨率
- 减少NPC车辆数量
- 关闭不必要的程序
📜 许可证
本项目采用 MIT License，详见 LICENSE 文件。
MIT License
Copyright (c) 2026 Car Navigation System Team
Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:
The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.
📧 联系方式
- 邮箱：2985835251@qq.com
- 项目地址：[GitHub Repository]
- 文档版本：v1.2.0
- 最后更新：2026年6月
📅 更新日志
v1.2.0 (2026-06)
- ✨ 添加车辆品牌切换功能（支持10种车型）
- ✨ 实现品牌切换菜单界面
- ✨ 切换时保留颜色设置
- ✅ 所有车辆蓝图验证通过
- 📝 更新项目文档
v1.1.0 (2026-05)
- ✨ 添加多视角切换（第一人称/第三人称/鸟瞰图）
- ✨ 添加地图切换功能
- ✨ 添加天气切换功能
- ✨ 添加车辆颜色切换功能
- ✨ 实现截图功能（按p键保存）
- 🔧 优化倒车控制
- 🐛 修复已知bug
v1.0.0 (2026-05)
- ✨ 初始化项目
- ✨ 实现基本自动驾驶功能
- ✨ 添加第三视角摄像头
- ✨ 实现路点跟踪控制算法
- ✨ 添加NPC车辆生成
- ✨ 实现车辆重置和紧急停止功能
文档版本：v1.2.0 | 最后更新：2026年6月11日