大视觉模型(LVM)!建议所有自动驾驶研究者都去学一遍,之后将成为常态!!!

视觉算法圈有个共识：模型在实验室跑得再好，一上路就露怯。夜间眩光、运动模糊、低光照噪声——往往不是算法不行，而是从传感器进光那刻起，退化已经发生。

这几年，视觉技术栈正在被重新拼接。神经ISP和任务驱动优化开始打通成像与感知的壁垒，RAW域数据不再只为出漂亮图像，而是直送下游检测与分割。扩散模型和Mamba架构将去噪、超分、去模糊统一为逆问题求解，成为恢复视觉信息的底层设施。可微光学设计则把镜头本身变成可学习参数，与重建网络端到端联合优化。SAM、CLIP、Depth Anything等基础模型，让开放场景的视觉理解不再依赖海量标注。真正卡脖子的是：这些方法散在论文里，怎么从“读到”到“跑通”，再到“部署到自己的硬件上”？

这次五天专题，就是用可复现的代码和工程级数据，把“光子→决策”这条链路从头走一遍。

第一天从CMOS传感器和RAW数据起步，手写简化ISP管线，构建泊松-高斯噪声模型，训练轻量神经ISP，对比传统管线与学习式ISP在PSNR、SSIM和下游检测精度上的差距。第二天将图像复原统一为退化模型下的逆问题，从U-Net、Restormer到扩散模型和Mamba架构，逐一攻克去噪、超分、去模糊和低照度增强。第三天深入计算成像：PSF/OTF/MTF建模、编码孔径与无透镜成像、金属透镜，实现可微光学参数与重建网络的端到端联合优化，并探索AI Agent辅助光学设计。第四天聚焦深度估计与三维感知，覆盖单目、双目、RGB-D、NeRF与3D Gaussian Splatting，在KITTI、nuScenes等数据集上完成自动驾驶感知实战，同时打通机器人视觉SLAM与抓取感知流程。第五天升级到视觉基础模型与部署：SAM/SAM 2交互式分割、CLIP开放词表检测、视觉-语言模型辅助驾驶场景理解、BEV感知与多传感器融合，最后将模型导出ONNX、量化到TensorRT，完成端侧推理验证。五天带走一套“成像→复原→感知→部署”的系统工程能力。

适合谁来？

一线的自动驾驶感知、机器人视觉或ISP算法工程师每天跟眩光、雨雾、低光照和运动模糊打交道，想从RAW域和神经ISP层面提升感知鲁棒性。课程从传感器噪声建模一路推到任务驱动ISP优化，再到扩散复原和BEV感知，帮你打通“成像质量”与“任务精度”的因果链。

高校光学、视觉、计算成像或机器人方向的PI和研究生卡在“光学模型如何与网络联合优化”“基础模型如何适配小数据集”“论文实验设计怎么写”。从可微PSF建模到光学-AI联合优化，从SAM/CLIP微调到多模态融合，每一步都是论文方法学模板。

做深度学习出身，想切入“视觉+光学+系统”交叉方向熟悉Transformer和扩散模型，但不懂Bayer阵列、MTF和ISP管线。第一天手写ISP，第三天建模PSF和可微光学，你会看到去噪网络的感受野如何匹配噪声空间相关性，可微前向模型怎样让光学参数跟随任务损失收敛。