如下图所示，根据参照物不同，自动驾驶中的坐标系主要分为像素坐标系、图像坐标系、相机坐标系和世界坐标系，不同的传感器对应不同的坐标系及数据类型。这四个坐标系是视觉几何与相机成像的基础，定义了空间中的点是如何被投影到照片上的。它们之间通过刚体变换、透视投影和仿射变换层层递进。
1. 四个坐标系的定义
像素坐标系 ： 像素坐标系是图像的离散表示，其中每个点（像素）都用整数坐标表示，用于定位像素位置。在下图中，像素坐标系的原点在左上角，x轴从左向右递增、y轴从上向下递增，为左手坐标系。最终得到的图像以像素坐标系表示，标记为。最终在计算机中存储的图像，以左上角为原点， 轴向右， 轴向下。单位是像素（pixel）。
相机坐标系 ： 相机坐标系记为， 原点设在相机的聚焦中心，其中光轴被设为轴。如上图所示，坐标原点位于光心、轴朝向前方、轴指向右侧、轴指向下方，为右手坐标系。相机利用小孔成像原理，将真实世界中的影像投影到成像平面，此平面在物理世界中是真实存在的，拥有对应的物理尺寸，通常比较小。单位是毫米（mm）。
图像坐标系 ： 为了能够定量描述三维空间到二维图像的映射关系，图形学里引入了图像坐标系。该坐标系是相机坐标系的一个平移，它的中心仍在相机主光轴上，距离光轴中心的距离等于相机的焦距。在实际中，相机会在光轴中心后方的底片上形成一个缩小的倒像，这是实际的像平面。为了方便分析和计算，会在光轴中心前方设立一个虚拟的像平面，该像平面上会呈正像，大小与真实倒像相同。
世界坐标系 ： 客观世界的绝对坐标系，用来描述物体在真实场景中的位置。单位通常是米（或米制单位）。
2. 坐标系间的转换关系
整个成像过程可以总结为：世界坐标相机坐标图像坐标像素坐标。
第一步：世界坐标系 相机坐标系（刚体变换）
这一步是三维到三维的变换，包含旋转和平移，不会发生形变。
式中： 是 3x3 旋转矩阵， 是 3x1 平移向量。
第二步：相机坐标系 图像坐标系（透视投影）
这是从三维到二维的转换，利用小孔成像原理（不考虑畸变时使用相似三角形）。空间点 投影到物理成像平面上的点 ：
式中：表示相机焦距，、表示图像坐标系下的横轴和纵轴坐标，、、表示相机坐标系下的3个轴坐标。
用齐次坐标表示为：
第三步：图像坐标系 像素坐标系（离散采样）
物理单位（如毫米）的像，最终转换成由像素组成的数字图像。设每个像素在 方向的物理尺寸为 ， 方向为 ，图像坐标系原点在像素坐标系中的坐标为 ：
式中：、分别代表每个像素在x轴和y轴方向上的物理尺寸（单位：毫米/像素）。
用矩阵表示（考虑 和 轴可能不垂直，引入倾斜参数，现代相机中 通常为0）：
式中：表示图像上每个像素在成像平面上所对应的坐标；（）对应像素坐标系中的坐标。
3.世界坐标系 像素坐标系
将以上三步合并，可以得到总的投影方程（忽略了相机畸变的理想模型）：
将前两个矩阵（相机内参）合并，通常写为：
其中：
- 内参矩阵 ：包含焦距 、像素尺寸 、主点 ，是相机的固有属性。
- 外参矩阵 ：由旋转矩阵 和平移向量 组成，代表相机在世界坐标系中的位姿。
