JarvisIR提升自动驾驶感知能力智能图像恢复
- 2025-12-04 15:20:14
JarvisIR提升自动驾驶感知能力智能图像恢复
1. 研究背景与动机
自动驾驶中的视觉感知系统在恶劣天气（如雨、雪、雾、低光照等）条件下表现不佳，因为这些条件会导致图像出现多种耦合的退化（如模糊、噪声、对比度降低等）。现有的图像恢复方法要么依赖特定退化的先验知识，要么在真实世界数据上存在显著的领域差距。为了解决这些问题，作者提出了一个由视觉语言模型（VLM）驱动的智能体JarvisIR，它能够自主管理和协调多个专家恢复模型，以应对真实世界中的复杂退化问题。
2. JarvisIR系统设计
核心架构：JarvisIR基于VLM（具体使用了Llava-Llama3），通过解析用户指令和评估图像退化情况，动态调度多个专家恢复模型来完成图像恢复任务。
两阶段训练框架：
监督微调（SFT）：使用合成数据集CleanBench进行初始训练，使系统能够理解和遵循用户指令。
人类反馈对齐（MRRHF）：在真实世界数据集CleanBench-Real上进行微调，通过人类反馈优化系统性能，减少幻觉现象，提高泛化能力。
3. CleanBench数据集
合成数据集：包含15万个合成的指令-响应对，用于初始的监督微调。
真实数据集（CleanBench-Real）：包含8万个真实世界中的退化图像，用于人类反馈对齐和系统评估。
4. 实验与结果
决策能力：JarvisIR在决策能力上优于多种基线方法，包括随机选择、预定义顺序和人类专家手动设计的解决方案。
感知恢复能力：在真实世界场景中，JarvisIR在多个图像质量评估指标上显著优于现有的“一揽子”恢复方法，如AirNet、AutoDIR、DA-CLIP等。
性能提升：经过MRRHF微调的JarvisIR在真实世界数据上的表现比仅经过SFT训练的版本有显著提升，尤其是在复杂退化场景中。
5. 创新点与贡献
提出了JarvisIR，一个能够自主调度多个专家恢复模型的VLM驱动系统，专门针对真实世界中的复杂退化问题。
构建了CleanBench数据集，包括大规模的合成和真实指令-响应对，为训练和评估提供了丰富的资源。
设计了一个新颖的两阶段训练框架，结合监督微调和人类反馈对齐，显著提高了系统的鲁棒性和泛化能力。
实验结果表明，JarvisIR在决策和感知恢复方面优于现有方法，特别是在处理真实世界中的耦合退化时。#计算机视觉 #深度学习 #大模型 #自动驾驶技术 #智能化设计 #智能化技术 #多模态人工智能 #人机交互系统
自动驾驶中的视觉感知系统在恶劣天气（如雨、雪、雾、低光照等）条件下表现不佳，因为这些条件会导致图像出现多种耦合的退化（如模糊、噪声、对比度降低等）。现有的图像恢复方法要么依赖特定退化的先验知识，要么在真实世界数据上存在显著的领域差距。为了解决这些问题，作者提出了一个由视觉语言模型（VLM）驱动的智能体JarvisIR，它能够自主管理和协调多个专家恢复模型，以应对真实世界中的复杂退化问题。
2. JarvisIR系统设计
核心架构：JarvisIR基于VLM（具体使用了Llava-Llama3），通过解析用户指令和评估图像退化情况，动态调度多个专家恢复模型来完成图像恢复任务。
两阶段训练框架：
监督微调（SFT）：使用合成数据集CleanBench进行初始训练，使系统能够理解和遵循用户指令。
人类反馈对齐（MRRHF）：在真实世界数据集CleanBench-Real上进行微调，通过人类反馈优化系统性能，减少幻觉现象，提高泛化能力。
3. CleanBench数据集
合成数据集：包含15万个合成的指令-响应对，用于初始的监督微调。
真实数据集（CleanBench-Real）：包含8万个真实世界中的退化图像，用于人类反馈对齐和系统评估。
4. 实验与结果
决策能力：JarvisIR在决策能力上优于多种基线方法，包括随机选择、预定义顺序和人类专家手动设计的解决方案。
感知恢复能力：在真实世界场景中，JarvisIR在多个图像质量评估指标上显著优于现有的“一揽子”恢复方法，如AirNet、AutoDIR、DA-CLIP等。
性能提升：经过MRRHF微调的JarvisIR在真实世界数据上的表现比仅经过SFT训练的版本有显著提升，尤其是在复杂退化场景中。
5. 创新点与贡献
提出了JarvisIR，一个能够自主调度多个专家恢复模型的VLM驱动系统，专门针对真实世界中的复杂退化问题。
构建了CleanBench数据集，包括大规模的合成和真实指令-响应对，为训练和评估提供了丰富的资源。
设计了一个新颖的两阶段训练框架，结合监督微调和人类反馈对齐，显著提高了系统的鲁棒性和泛化能力。
实验结果表明，JarvisIR在决策和感知恢复方面优于现有方法，特别是在处理真实世界中的耦合退化时。#计算机视觉 #深度学习 #大模型 #自动驾驶技术 #智能化设计 #智能化技术 #多模态人工智能 #人机交互系统
本文来自网友投稿或网络内容，如有侵犯您的权益请联系我们删除，联系邮箱：wyl860211@qq.com 。
