在大范围监控、智能交通等领域,为了获得大视角,鱼眼镜头^[1]被广泛使用。但是,在获得大范围拍摄视角的同时,为解决在一定的成像面内容纳大视场中的目标物体等问题,鱼眼镜头中不可避免地引入了径向畸变^[2]。 如何把存在畸变的鱼眼图像校正为适合人眼观看的图像,显得尤为重要。目前,鱼眼校正算法有高次多项式拟合校正法^[3]、球面坐标定位法^[4]、球面透视投影约束法^[5,6]、抛物面投影校正^[7,8]、基于渐变方程和经纬映射模型校正^[9]及基于几何性质^[10,11]等方法。现有的方法中,仍存在一些问题:校正公式复杂,校正后图像中有桶形或枕形畸变,校正模型参数拟合需要人工采样。基于这些情况,本文提出一种椭球面校正模型,并且通过自动检测特征点得出校正模型的参数。

1 鱼眼镜头成像模型

本文采用椭球面成像模型,成像原理如图 1所示。假设相机在场景坐标系的原点O,沿着z轴正方向拍摄,从空间任一点P₁(x,y,z)指向原点O的射线,与成像模型曲面交于一点P₂,根据正交投影规则过P₂做z轴的平行线,交x-y平面于点P₃(u,v),P₃就是空间点P₁(x,y,z)经过鱼眼变换后的图像点。鱼眼图像轮廓中心点坐标为(u₀,v₀),因此空间点与鱼眼图像点之间的关系可表示为

图 1

Fig. 1

图 1 鱼眼镜头成像模型 Fig. 1 Imaging model of fisheye lens attitude measurement

由椭球面成像模型可知,本文的椭球面校正模型方程为

现有的鱼眼图像轮廓提取方法中:统计法^[12],当鱼眼图像圆形轮廓区域内存在大量黑色像素点时,该算法失效;扫描线逼近法^[13],设定一个行列极限亮度差的阈值,通过阈值判定是否扫描到鱼眼图像圆形轮廓的上、下、左和右边缘的切线,这4条切线确定了圆形轮廓的外切正方形,据此可得出圆心坐标和半径,但是当鱼眼轮廓不是一个完整的圆形时,该算法与切线法^[14]同样失效。本文采用标准圆标定法获取鱼眼图像的圆心和半径,具体做法:预先设定圆心坐标(x₀,y₀),半径为r₀,鱼眼图像中出现一个预置的标准圆形轮廓,通过鼠标拖动,从而调整标准圆的大小和位置,使得标准圆最终与鱼眼轮廓吻合。鱼眼图像的圆心(x,y)和半径r分别为

在RGB图像中,令c(x,y)为RGB彩色空间中点(x,y)处的像素值,可表示为

令g_xx,g_yy和g_xy分别为

基于以上分析,在鱼眼图像中,对圆心两边(沿x轴)的3条网格线的梯度幅值进行分析,结果如图 2所示。 由图可知每条网格线经边缘检测后,有左右两条边缘。对上述边缘梯度函数作如下处理,即

图 2

Fig. 2

图 2 圆心所在行上三条网格线的梯度值 Fig. 2 Gradient magnitude of three grid lines on the center row

图 3

Fig. 3

图 3 特征点检测示意图 Fig. 3 Feature-point detection

图 3所示的特征点中,有些点是伪特征点,不能用于拟合校正模型参数。空间x-z平面中网格上点在x轴上坐标为x(以x>0为例),鱼眼图像中对应的图像点到原点距离是x的函数,记为h(x),则有

空间平面中的网格是等距的,沿x轴正方向的点依次记为1,2,3,…,n,其在鱼眼图像中的对应点到原点的距离记为h(1),h(2),h(3),…,h(n),这些点对(n,h(n))是上述函数h(x)上的点。由上式可知,式(14)大于0,式(15)小于0,因此Δh(n)是递减的,即

式(5)中得到的鱼眼轮廓半径为R,把R代入式(2),则椭球面校正模型的方程简化为

图 4

Fig. 4

图 4 特征点及拟合曲线示意图 Fig. 4 Feature points and the fitting curve

由图可知,本文提出的校正模型曲线与特征点轨迹相吻合,椭球面校正模型与实际的鱼眼成像曲面接近。由校正模型可得,鱼眼图像点与空间点的坐标关系为

3 实验结果

以网格图像为例,运用上述校正模型对鱼眼图像进行校正,结果如图 5所示,并与球面校正模型、抛物面校正模型和高次多项式校正模型的效果进行对比,其他校正结果分别如图 6、图 7和图 8所示。

图 5

Fig. 5

图 5 本文方法校正结果 Fig. 5 The correction result by using the method proposed in this paper

图 6

Fig. 6

图 6 球面模型校正结果 Fig. 6 The correction result by using the spherical model

图 7

Fig. 7

图 7 抛物面模型校正结果 Fig. 7 The correction result by using the parabolic model

图 8

Fig. 8

图 8 高次多项式模型校正结果 Fig. 8 The correction result by using the high-degree polynomial model

由校正结果可知:球面校正后仍存在桶形畸变;抛物面模型中存在枕形畸变;高次多项式模型校正后图片的中心存在枕形畸变,而在靠近边缘的地方存在桶形畸变;本文的校正模型中不存在畸变,校正效果好。

4 结 语

本文依据鱼眼镜头的成像特点,并针对现有算法中存在的不足,提出一种椭球面校正模型,该模型与鱼眼镜头实际的成像模型吻合较好,并用双线性插值法^[15]填充像素。实验结果表明,该校正模型取得了比较好的校正效果。