自动驾驶深度学习(第1/100天)-摄像头:从光线到像素,机器如何“看见”世界?

 | 关键词：CMOS、动态范围、ISP、单目测距

大家已经知道摄像头是用来识别车道线、路牌、红绿灯、行人、车辆的。但大家是否想过：摄像头拍下的图像，怎么变成机器可以“理解”的信息？为什么逆光或黑夜下摄像头会失效？单目摄像头到底能不能测距？

今天我们从底层原理讲起，不涉及复杂公式，只讲直觉逻辑。读完大家会明白：摄像头的极限在哪里，工程师又是如何努力突破这些极限的。

📷 一、从光到数字：CMOS与像素

摄像头核心是一块CMOS图像传感器（Complementary Metal-Oxide-Semiconductor）。简单说：它上面排列着数百万个微小的“光敏单元”（像素），每个像素记录照到它上面的光强度（红、绿、蓝）。最后所有像素拼起来就是一张数字图像。

关键参数

· 分辨率：比如800万像素，指有800万个像素点。越高，看得越远越清楚。
· 帧率：每秒拍多少张图。常见30fps（每秒30帧）或60fps。越高，对快速运动物体的捕捉越流畅。
· 动态范围：传感器能同时记录“最暗”和“最亮”细节的能力。动态范围低，逆光时天空一片白、阴影一片黑。人眼动态范围约100dB，车载摄像头一般在60-80dB，所以逆光性能差于眼睛。

为什么夜晚看不清？

光线不足时，每个像素接收到的光子很少，信号会被电子噪声淹没。解决方案：要么降低帧率（增加曝光时间），要么提高ISO（放大信号，但噪声也被放大）。自动驾驶要求低延迟和高可靠性，夜间成像一直是个难点。高端车会使用大光圈镜头和背照式CMOS来改善。

🔧 二、ISP：图像信号处理器——让原始图像变“好看”

CMOS输出的原始图像（RAW格式）有噪点、颜色不准、亮度不平滑。ISP（Image Signal Processor）是一个硬件模块，负责：

· 去马赛克：每个像素只记录红、绿、蓝之一，通过周围像素插值出完整颜色。
· 降噪：降低暗光下的噪声，但过度降噪会丢失细节。
· 自动白平衡：让白色在不同色温下都显示为白。
· 色调映射：把高动态范围压缩到普通显示或识别算法能处理的范围。

ISP的质量直接影响识别效果。好的ISP能在逆光下保留更多暗部细节，差的ISP可能导致车道线断裂、行人轮廓模糊。所以同一颗摄像头，不同厂家调教出的图像质量可能天差地别。

📏 三、单目摄像头如何测距？

大家可能会想：人用两只眼睛才能判断距离，单目摄像头只有一只“眼”，为什么能测距？

实际上，单目测距依赖几何关系和先验知识。两种常用方法：

1. 基于物体在图像中的大小

如果我们知道一个物体的真实宽度（比如标准车辆宽1.8米），利用针孔成像模型：

距离 = (真实宽度 × 焦距) / 图像中的像素宽度

焦距和图像分辨率是已知的，测量物体在图像中占了多少像素，就能估算距离。
问题：我们不一定知道前方物体的真实尺寸（摩托车、异形车、自行车？）。所以误差较大。

2. 基于地平线假设

假设路面是平的，摄像头安装高度固定，那么图像上某像素的行数对应一个距离。例如，下边缘像素代表很近，地平线代表无穷远。通过标定可得到映射关系。
问题：道路有坡度时（上下桥），这种假设会失灵。

结论

单目摄像头的测距不够精确，不能作为AEB的唯一依据。因此AEB通常会引入毫米波雷达或激光雷达来做距离测量。但单目可以提供一个参考，配合雷达融合使用。

💡 双目摄像头：两个平行摄像头拍摄同一场景，通过视差（左右图对应点的水平位移）直接计算距离，精度更高。但双目需要精确标定和实时匹配，计算量大，且光线暗时匹配失败率上升。

☀️🌙 四、为什么逆光和黑夜是摄像头的噩梦？

· 逆光：动态范围不足导致亮部过曝，暗部太暗。比如夕阳下，前方车辆和行人的轮廓可能丢失。解决方案是使用HDR（高动态范围）成像，即多次曝光合成，但会降低帧率或产生伪影。
· 黑夜：信噪比低，且车灯可能造成局部过曝。红外夜视摄像头可改善，但成本高。目前主流做法是提升摄像头灵敏度、优化ISP降噪、融合毫米波雷达。

即使有这些改进，摄像头在恶劣光线下的可靠性仍然不如毫米波雷达。所以智驾系统设计时，会把摄像头作为主要识别来源，但安全相关的决策（如AEB）会依赖雷达的测距信息。

🔗 五、知识连接：摄像头与其他传感器的互补

· 摄像头 → 提供语义（是什么物体，什么颜色，文字形状）
· 毫米波雷达 → 提供直接距离和速度（全天候，但缺角度分辨率）
· 激光雷达 → 提供高精度3D轮廓（昂贵，怕雨雪）

没有一种传感器是完美的。融合（后续会讲）就是利用各自的优点，避开缺点。

📌 今日思考题

1. 为什么大部分AEB系统在白天效果好，但夜间或逆光时性能下降？
2. 如果一辆车只靠单目摄像头实现AEB，大家认为它可靠吗？为什么？

关键词回顾
CMOS 动态范围 ISP 单目测距 双目视差 HDR

🎯 明天预告（第2天 / 动态篇）

选取近期一则与摄像头相关的新闻（例如：某品牌夜间AEB测试成绩公布、特斯拉纯视觉方案争议新进展），结合今天学到的原理，深度解读事件背后的技术逻辑和行业影响。

本系列为100天深度学习计划，每日1篇。欢迎随时提问。