PatViewer专利搜索

一种图像校正方法和装置

发明公布  在审
申请(专利)号:CN201910125423.9国省代码:上海 31
申请(专利权)人:上海赫千电子科技有限公司
温馨提示:Ctrl+D 请注意收藏,详细著录项请首页检索查看。 Please note the collection. For details, please search the home page.

摘要:
本发明揭示了一种图像校正方法及装置,用于对采集到的畸变图像进行校正,包括如下步骤:定制单幅特征靶图,采用摄像头采集单幅特征靶图的畸变图像;采用畸变参数表对单幅特征靶图的畸变图像进行畸变校正后依次进行透视变换和分区域拟合,分别获取相对应的经典外参矩阵和分区域拟合函数;采用摄像头采集实际现场图像的畸变图像,依次采用光学畸变参数表进行畸变校正、采用经典外参矩阵进行透视变换、采用分区域拟合函数进行分区域拟合校正和拼接融合,生成实际现场图像的最终校正图像。采用了本发明的技术方案,实现了对个体摄像头采集图像的高精度畸变校正,提高了图像与实际摄像头视场内物体分布位置的精准匹配度。

主权项:
1.一种图像校正方法,用于对采集到的畸变图像进行校正,其特征在于,包括如下步骤:步骤S1,摆放单幅特征靶图,采用摄像头进行采集,生成所述单幅特征靶图的畸变图像;步骤S2,采用光学畸变参数表对所述单幅特征靶图的畸变图像进行畸变校正,生成所述单幅特征靶图的虚拟物平面图像;步骤S3,对所述单幅特征靶图的虚拟物平面图像进行外参标定得到经典外参矩阵后,采用经典外参矩阵进行透视变换生成所述单幅特征靶图的透视变换图像;步骤S4,将所述单幅特征靶图的透视变换图像划分为不同区域,对所述单幅特征靶图的透视变换图像上的特征点与单幅特征靶图上的特征点分区域进行一一配对,分区域拟合后得到分区域拟合函数;步骤S5,采用摄像头采集实际现场图像,生成实际现场图像的畸变图像,依次采用光学畸变参数表进行畸变校正、采用经典外参矩阵进行透视变换、按照划分的不同区域采用分区域拟合函数进行分区域拟合校正后再拼接融合,生成所述实际现场图像的最终校正图像。


说明书

一种图像校正方法和装置

技术领域

本发明属于摄像头的视频图像处理领域,尤其是一种图像校正方法和装置。

背景技术

随着电子技术的高速发展,使得汽车辅助驾驶领域的进步日新月异,目前最普及
的可视化辅助驾驶为车载360度环视,这个技术很方便的解决了驾驶员对车身周围环境几
米范围内的死角无法观察的问题。该技术采用在车前、车两侧、车后安装广角摄像头的方式
来获取车身四周的完整视场,通过MCU或者DSP配合前期标定好的摄像头参数及广角摄像头
光路畸变参数进行各个摄像头的图像校正和图像融合来实现360度的环视影像的生成,并
传输到显示屏进行实时显示。

目前的车载360度环视系统在极大程度上解决了驾驶员通过肉眼无法观察到车身
周围几米的盲区,对基本驾驶如倒车,转弯,通过狭窄道路,观察高度较小的障碍物等得到
了极好的解决,但是安装在车身周围的不同的个体广角摄像头由于本身制成工艺的精度差
异,导致各个广角摄像头畸变校正后存在不同程度的图像畸变误差,这增加了在360环视图
像融合的环节的复杂度及采用简单图像融合方法的图像中线段错位程度和主观观察的图
像融合的不匹配程度。

目前汽车辅助驾驶还处于发展阶段,无论是360度环视还是前置后置行车记录仪
都在尝试着完成某种特定的功能,如360环视的主旨在于解决驾驶员对于车辆周围近距离
范围内的视线盲区及物体实际分布位置的主观判断,而若环视拼接图像存在个体摄像头的
差异性导致的整体拼接融合存在畸变误差,会极大的影响驾驶员对于周围视场物体实际空
间位置的主观判断感受,甚至造成一些主观错觉。

目前业内为了减少这种拼接错位的主观错觉,往往采用图像融合技术,使得多个
摄像头的图像交叠区域按照一定权重保留个体摄像头的图像信息,通过透明化处理等来减
轻驾驶员人眼判断的拼接错位感受。但这样在多个摄像头图像交叠区域仍然存在模糊感和
一定程度的错位感;此外业内通常采用内参标定的方法来对个体摄像头进行花费时间较长
的内参标定,通过数学优化技巧解内参方程的方式来对个体摄像头进行针对某一内参校正
理论方程的内参参数求解,以减小个体摄像头的畸变校正误差,这种方法需要用个体摄像
头采集多幅靶图,且多幅靶图的位置需要变化以使得各个靶图的采集图像覆盖尽可能多的
视场区域,这种方法对于摄像头标定环境、设备、人工有较高的要求,且本身存在算法精度
误差,往往一个摄像头多次进行内参标定得到的内参参数次次都不一样,这使得该摄像头
内参标定后再用内参参数进行图像畸变校正也存在一定误差,同时也增加了摄像头的制成
时间成本。

发明内容

本发明提供了一种图像畸变校正方法,从而实现对个体摄像头采集图像的高精度
畸变校正,提高了图像与实际摄像头视场内物体分布位置的精准匹配度。

依据上述目的,实施本发明的一种图像校正方法,用于对采集到的畸变图像进行
校正,包括如下步骤:

步骤S1,摆放单幅特征靶图,采用摄像头进行采集,生成所述单幅特征靶图的畸变图
像;

步骤S2,采用光学畸变参数表对所述单幅特征靶图的畸变图像进行畸变校正,生成所
述单幅特征靶图的虚拟物平面图像;

步骤S3,对所述单幅特征靶图的虚拟物平面图像进行外参标定得到经典外参矩阵后,
采用经典外参矩阵进行透视变换生成所述单幅特征靶图的透视变换图像;

步骤S4,将所述单幅特征靶图的透视变换图像划分为不同区域,对所述单幅特征靶图
的透视变换图像上的特征点与单幅特征靶图上的特征点分区域进行一一配对,分区域拟合
后得到分区域拟合函数;

步骤S5,采用摄像头采集实际现场图像,生成实际现场图像的畸变图像,依次采用光学
畸变参数表进行畸变校正、采用经典外参矩阵进行透视变换、按照划分的不同区域采用分
区域拟合函数进行分区域拟合校正后再拼接融合,生成所述实际现场图像的最终校正图
像。

可选的,所述单幅特征靶图为矩形,其上设置的特征点为第一特征点,第一特征点
在水平方向和垂直方向间隔相同。

可选的,所述虚拟物平面图像为在虚拟物平面上生成的图像,所述光学畸变参数
表中包括视场角与对应的像高,所述视场角为虚拟物平面上的点到摄像头光心的连线与摄
像头主光轴的夹角,对应的所述像高为像平面上对应的点到像平面中心点的距离,所述像
平面为摄像头采集生成的畸变图像;

所述步骤S2中,通过视场角与对应像高的对应关系,对采集的单幅特征靶图的畸变图
像进行畸变校正。

可选的,所述步骤S2包括如下步骤:

步骤S21,对光学畸变参数表中视场角与对应像高的数据进行拟合,得到视场角与对应
像高的拟合公式;

步骤S22,计算所述虚拟物平面的中心点与所述像平面的中心点的坐标;

步骤S23,结合视场角与对应像高的拟合公式、所述虚拟物平面的中心点和所述像平面
的中心点的坐标,计算得到所述虚拟物平面上点的坐标与所述像平面上对应点的坐标的对
应关系;

步骤S24,采用像平面上与对应点相邻近的像素进行插值,生成对应的虚拟物平面上点
的像素。

可选的,所述单幅特征靶图的畸变图像、虚拟物平面图像、透视变换图像上存在与
所述单幅特征靶图上第一特征点相对应的第二特征点、第三特征点和第四特征点,单幅特
征靶图上的第一特征点通过所述缩放比例映射到透视变换平面上生成第五特征点,

所述步骤S3包括如下步骤:

步骤S31,提取所述单幅特征靶图的虚拟物平面图像中第三特征点,与单幅特征靶图中
均匀分布的第一特征点进行一一映射,得到映射后第三特征点的坐标;

步骤S32,将所述单幅特征靶图中第一特征点的坐标按缩放比例映射到透视变换平面,
得到第五特征点在透视变换平面上的坐标;

步骤S33,解出经典外参矩阵,所述经典外参矩阵用于将第五特征点在透视变换平面上
的坐标变换为映射后第三特征点的坐标;

步骤S34,根据经典外参矩阵对所述单幅特征靶图的虚拟物平面图像进行透视变换,得
到所述单幅特征靶图的透视变换图像。

可选的,所述步骤S31包括如下步骤:

步骤S311,对所述单幅特征靶图的虚拟物平面图像中的第三特征点进行编号,并记录
第三特征点的坐标;

步骤S312,取水平坐标值最小的一个第三特征点,作为梯度分析顶点;

步骤S313,将余下的第三特征点按照编号分别与梯度分析顶点连线,计算连线与水平
方向上半象限的夹角,选择夹角最大的多个第三特征点,选择的第三特征点的数量比单幅
特征靶图中分布的第一特征点的行数少1个;

步骤S314,对选择的第三特征点按照垂直方向坐标值进行从小到大的重新排序,并记
录第三特征点的坐标;

步骤S315,将已经重新排序的第三特征点从所述单幅特征靶图的虚拟物平面图像中移
除;当单幅特征靶图的虚拟物平面图像中的第三特征点未被全部移除,继续执行步骤S311;
当单幅特征靶图的虚拟物平面图像中的第三特征点被全部移除,得到的重新排序的第三特
征点及其坐标,即为与原单幅特征靶图中均匀分布的第一特征点一一映射后的第三特征点
及其坐标。

可选的,所述步骤S4包括如下步骤:

步骤S41,将单幅特征靶图的透视变换图像上的第四特征点与单幅特征靶图的在透视
变换平面上的第五特征点进行一一匹配;

步骤S42,根据相互匹配的第四特征点与第五特征点距离的最大值情况,对透视变换平
面进行区域划分,以第五特征点的坐标对第四特征点的坐标进行分区域拟合,得到分区域
拟合函数。

可选的,所述步骤S41包括如下步骤:

步骤S411,按编号顺序依次选取第五特征点,计算第五特征点与所有第四特征点的距
离;

步骤S412,将计算出的距离的最小值与预设阈值进行比较,当距离的最小值小于预设
阈值时,记录距离的最小值及对应的所述第四特征点的编号及坐标,该距离的最小值为相
互匹配的第五特征点与第四特征点的距离;否则,记录距离的最小值及所述第四特征点的
坐标皆为0;

步骤S413,当所有第五特征点未被全部选完时,继续选取下一个第五特征点,执行步骤
S411;否则,停止对第五特征点与第四特征点进行一一匹配。

可选的,所述步骤S5包括如下步骤:

步骤S51,对摄像头采集到的实际现场图像的畸变图像,采用所述光学畸变参数进行畸
变校正,得到实际现场图像的虚拟物平面图像;

步骤S52,采用所述经典外参矩阵对实际现场图像的虚拟物平面图像进行透视变换得
到实际现场图像的透视变换图像;

步骤S53,采用所述分区域拟合函数分别对划分的不同区域的透视变换图像进行拟合
校正,得到各区域的拟合校正图像;

步骤S54,对各区域的拟合校正图像进行拼接得到最终校正图像。

依据上述目的,实施本发明的一种图像校正装置,用于对采集到的畸变图像进行
校正,其特征在于,所述图像校正装置包括:

包括摄像头、畸变校正模块、透视变换模块、拟合模块;

所述摄像头,用于采集原始图像,生成畸变图像;

所述畸变校正模块,用于采用光学畸变参数表对畸变图像进行畸变校正,生成虚拟物
平面图像;

所述透视变换模块,用于对虚拟物平面图像进行外参标定,并采用外参标定获得的经
典外参矩阵对虚拟物平面图像进行透视变换生成透视变换图像;

所述拟合模块,按不同区域对原始图像和透视变换图像上的点一一配对进行拟合,计
算出不同区域的分区域拟合函数,采用所述分区域拟合函数对不同区域的透视变换图像进
行拟合校正后拼接融合,生成最终校正图像。

可选的,所述光学畸变参数表中包括视场角与对应的像高,所述视场角为虚拟物
平面上的点到摄像头光心的连线与摄像头主光轴的夹角,对应的所述像高为像平面上对应
的点到像平面中心点的距离,所述像平面为摄像头采集生成的畸变图像,所述虚拟物平面
为生成所述虚拟物平面图像的平面。

可选的,所述外参标定为根据虚拟物平面图像中点的坐标与原始图像缩放到透视
变换平面中对应点的坐标,建立坐标变换的矩阵方程,求解出变换矩阵,所述变换矩阵即为
经典外参矩阵。

可选的,所述拟合模块按照不同区域采用原始图像缩放到透视变换平面中对应点
的坐标,对透视变换图像上对应点的坐标进行拟合,得到分区域拟合函数。

采用了本发明的技术方案,针对现有技术的不足,基于单幅特征靶图进行个体摄
像头标定,根据摄像头自动化标定环境模拟出实际安装环境的视场条件,采用特征点均匀
覆盖归一化有效校正区域的特征靶图,给实际安装环境视场下有效校正区域进行了均匀的
虚拟特征坐标标记,在自动化标定环境后进行的畸变校正和外参校正方法与实际安装环境
下进行地畸变校正和采用经典外参矩阵进行校正方法一致。由于摄像头装配精度导致镜头
LENS光心与CMOS传感器中心不吻合或者焦平面与镜头CMOS平面有夹角,会导致畸变校正的
误差及后继透视变换的误差累积,通过分区域拟合的方式将透视变换后提取的特征点映射
到真实的特征点物理分布位置来修复这种个体摄像头装配精度误差。具有该装配精度差异
的摄像头在实际安装环境进行标定时,延用该拟合方程,即可以在实际安装环境下修正个
体摄像头装配精度误差。

附图说明

图1是:图像校正方法的流程示意图;

图2是:归一化单幅特征靶图的示意图;

图3是:单幅特征靶图中特征点分布的示意图;

图4是:畸变图像校正的示意图;

图5是:分区域拟合获取分区域拟合函数的示意图;

图6是:采用分区域拟合函数进行拟合校正的示意图;

图7是:单幅特征靶图的示意图;

图8是:分区域拟合函数拟合曲线的示意图;

图9是:单幅特征靶图的畸变图像的示意图;

图10是:单幅特征靶图的虚拟物平面图像的示意图;

图11是:单幅特征靶图的虚拟物平面图像映射的示意图;

图12是:虚拟物平面与透视变换平面的透视变换关系的示意图;

图13是:单幅特征靶图的透视变换图像的示意图;

图14是:现场采集标定靶图的透视变换图像的示意图;

图15是:拟合校正图像的示意图;

图16是:拟合校正图像的示意图;

图17是:最终校正图像的示意图。

具体实施方式

下面结合附图和实施例进一步说明本发明的技术方案。

图1为图像校正方法的流程示意图。本发明中图像校正方法的具体实施步骤为:

步骤1:根据标定场景归一化有效校正区域特征靶图及摆放位置。

根据实际360环视应用摄像头安装位置对应的视场的有效校正区域的实际空间尺
度坐标按一定比例缩小到小于标定场景允许放置靶图的空间尺度范围内,归一化有效
校正区域靶图尺寸及摆放位置根据其比例定制。

图2是为归一化单幅特征靶图的示意图。摄像头安装位置对应的视场的有效校正
区域为矩形,为360环视应用中所需要显示的实际场景地面的矩形区域,其实际物理尺寸为
,其中长为,宽为,摄像头安装距离地面高度为。标定场景允许放置靶图的立
方空间区域为,其中长为1,宽为1,高度为1。定制靶图的长宽比Ra为
,长为2,宽为2,满足关系式,
,标定场景靶图固定摆放位置距离摄像头2,满足关系式

图3为单幅特征靶图中特征点分布的示意图。定制的单幅特征靶图由水平和垂直方向
均匀分布的特征点图案组成,水平方向特征点为M个,垂直方向特征点为N个,相邻特征点在
特征靶图上的间隔距离为K。水平第个,垂直第个特征点在特征靶图上的坐标满足公
式:




特征点编号按照从上到下,从左到右排序,特征点坐标与特征点编号一一映射。

步骤2:利用LENS供应商提供的光学畸变参数表,包含视场角与对应的像高,通过
虚拟物平面坐标对应的视场角与像平面像高的映射关系,来进行摄像头采集的畸变图像的
校正。

图4为畸变图像校正的示意图。设虚拟物平面U与像平面I为平行关系,其中Rr为虚
拟物平面上某点P到虚拟物平面中心点O的距离,Dis为摄像头安装位置离地面的实际高度,
POA为摄像头Lens主光轴即Oo的连线与虚拟物平面和像平面垂直,FcsLens到像平面的
距离,Pr为虚拟物平面上点P对应到像平面上的点p到像平面中心点o的距离,ƟPLens
光心连线与POA的夹角,ΦP到虚拟物平面中心点连线与虚拟物平面水平方向的夹角,与p
到像平面中心点连线与像平面水平方向夹角一致,在虚拟物平面UP的坐标为,O
的坐标为,在像平面Ip的坐标为,o的坐标为

具体的,像平面等价于摄像头采集的畸变图像,镜头CMOS分辨率对应图像采集区
域物理尺寸为长为,宽为,单位为毫米,摄像头采集的畸变靶图图像像素分辨率为长
L像素,宽为W像素。

供应商提供的光学畸变参数表业内规则为Ɵ单位为度,Pr单位为毫米。

具体的,虚拟物平面等价于摄像头最大视场采集的垂直于主光轴距离摄像头Dis
的平面,虚拟物平面水平方向长度为,垂直方向长度为,单位为尺度单位。

采用LENS供应商提供的光学畸变参数表进行摄像头采集的单幅特征靶图畸变校
正,主要步骤如下:

步骤2.1:通过LENS供应商提供的光学畸变参数表的各个视场角Ɵ与对应像高Pr的数
据进行拟合,得到视场角和像高的拟合公式

步骤2.2:计算o点的坐标,计算方式为,

步骤2.3:计算O点的坐标,计算方式为,

步骤2.4:根据公式计算出Ɵ,代入公式
得出Pr,根据公式计算出Φ,代入公式
,得到虚拟物平面P点对应的像
平面p点的坐标;

步骤25:计算出像平面p点对应的畸变图像像素坐标

步骤2.6:虚拟物平面P点的像素值为摄像头采集的畸变图像在像素坐标(
)处最近邻整数坐标像素的插值。

步骤3:采用畸变校正后的单幅特征靶图进行外参标定及透视变换。主要步骤如
下:

步骤3.1:通过特征提取算法提取出步骤2校正后虚拟物平面的单幅特征靶图像的M
N个特征点坐标。采用最近向梯度排序法,将提取出的M N个特征点与单幅特征靶图均匀
分布的M N个特征点进行一一映射。

最近向梯度排序法的步骤如下:

步骤一:将提取出的M N个特征点进行初始编号,并对应记录其坐标

步骤二:提取出特征点中的水平坐标最小的一个特征点,作为梯度分析顶点T并记
录其编号

步骤三:对余下的M N-1个特征点按照其编号分别与T连线,计算连线与水平方向上
半象限的夹角,选择中值最大的N-1个特征点的编号

步骤四:对编号为的特征点按照垂直方向坐标值进行从小到大的排序
,将特征点坐标按照排序记录为

步骤五:将已经重新排序的N个特征点从特征点序列中移除,将剩余的特征点进行
初始编号,并对应记录其坐标,重复步骤二直到所有特征点重新排序完成,每重
复一次新排序的N个特征点坐标顺序放置在已有的之后。

步骤3.2:根据步骤1得到的靶图特征点坐标缩放比例S1将特征点坐标映射到透视
变换平面坐标,满足公式,。根据特征点编号将
靶图在透视变换平面上的特征点与畸变校正后虚拟物平面靶图图像提取的特征点
的坐标解单应性矩阵,得到经典外参矩阵,即完成外参标定,再根据外参矩阵对畸变
校正后的虚拟物平面靶图图像进行透视变换,得到畸变校正及透视变换后的透视变换平面
靶图图像PERS,与实际靶图尺寸根据比例映射到透视变换平面的图像尺寸相同。

步骤4:通过单幅特征靶图分区域的实际特征点物理分布位置和单幅特征靶图透
视变换后的分区域对应特征点进行拟合得到分区域拟合函数。

图5是为分区域拟合获取分区域拟合函数的示意图。主要步骤如下:

步骤4.1:通过特征提取算法提取步骤3透视变换后的单幅特征靶图PERS上的特征点
,与实际靶图定制的特征点根据比例映射到透视变换平面上的靶图特
征点,进行一一配对,其方法为最近向梯度排序法或者最小距离阈值法。

最小距离阈值法的步骤如下:

步骤一:将编号为水平坐标,与所有水平坐标
进行差分,得到;将编号为垂直坐标,与所有
垂直坐标进行差分,得到。计算与所有
的距离

步骤二:得到中的最小值及编号,若该值小于根据镜头预设阈值thre_
manu,则将对应编号的坐标记录入与中,将中的最小值记录
中;若中的最小值大于等于thre_manu坐标值赋为0,
赋值为0。其中thre_manu小于

步骤三:编号为自加1,重复步骤一直到所有编号遍历完成。

步骤4.2:根据的最大值程度选择透视变换平面的矩形区域划分个数,对
包含在划分区域中的与对应的坐标以水平坐标和垂直坐标
分别对的水平坐标和垂直坐标进行拟合,其中
记录坐标为(0,0)的编号对应的的坐标值不参与拟合,得到该区域g的拟
合函数:

,

步骤5:对实际安装场景摄像头采集图像根据LENS供应商提供的光学畸变参数表
进行畸变校正,然后再透视变换的图像通过分区域拟合函数进行分区域精确校正。

图6是为采用分区域拟合函数进行拟合校正的示意图。主要步骤如下:

步骤5.1:根据步骤2对实际摄像头安装标定场景采集到的图像通过LENS供应商提供的
光学畸变参数进行畸变校正,得到虚拟物平面图像P

步骤5.2:根据步骤3对实际摄像头安装标定场景的实际靶图的物理分布特征点位置与
畸变校正图像提取的对应特征点位置进行外参标定,根据外参矩阵对畸变校正图像进行透
视变换得到透视变换图像PERS

步骤5.3:分别根据划分区域的拟合函数对透视变换后的图像进行畸变校
正。

设编号为的拟合校正图像为,透视变换图像为PERS,按照区域编号选择
对应的拟合函数,根据公式,
,得到坐标()对应到的PERS的坐标(),其中
为比例因子,即PERS长宽比一致前提下,PERS的比值。
的像素值为PERS坐标处最邻近的周围像素的插值。

步骤5.4:根据步骤4.2划分的区域坐标分布及,对拟合校正后的图像
行区域划分。

设区域的矩形顶点为,,,
,则对应的在区域对应的矩形顶点为,
,,

步骤5.5:拼接融合的最终校正图像FIN的区域的图像为编号为在区
的图像。

此外,在另一个技术方案中,可以通过特征靶图多次不同位置摆放来进行单个摄
像头的内参标定,然后按照内参校正方程来进行单个摄像头的畸变校正,这种方法需要对
自动化标定复杂度提出更高的要求,例如机械手平移和旋转和设定多个靶图位置来采集多
幅图像,同时自动化标定工位的空间较大以满足不同位置的靶图摆放要求。


实施例

步骤1:根据标定场景归一化有效校正区域靶图及摆放位置。

某一个体摄像头存在装配精度误差,在其量产的360环视应用中,安装位置离地面
高度为1米,要求该摄像头提供出其安装位置下水平9.6米,垂直3米的地面区域视场。

图7为单幅特征靶图的示意图。具体的,可制定特征靶图尺寸为水平0.96米,垂直
0.3米,自动标定场景下摄像头离特征靶图0.1米,这个尺寸满足自动标定机台可放置靶图
的空间,缩放比例为10。具体的,可定制特征靶图为黑白棋盘格,水平16格,垂直5格,单
个格子宽度为6厘米,其特征点即为角点,水平15个,垂直4个,特征点编号为从上到下,从左
到右。

步骤2:采用LENS供应商提供的光学畸变参数表进行摄像头采集的单幅特征靶图
畸变校正。

LENS供应商提供的光学畸变参数表为离散角度Ɵ及其对应的像高。根据步骤
2.1,通过LENS供应商提供的光学畸变参数表的各个视场角Ɵ与对应像高Pr的数据进行拟
合,得到视场角和像高的拟合公式,具体的,可采用如下公式进行拟合:


带入摄像头LENS供应商提供的光学畸变参数表解超定方程组得到拟合参数,图8
为分区域拟合函数拟合曲线的示意图,其中*标记点为光学畸变参数表提供的数据,横坐标
Ɵ,单位为度,纵坐标为,单位为毫米。

虚拟物平面水平方向长度为1000厘米,垂直方向长度为300厘米,虚拟物平
面距离摄像头如上描述为100厘米。CMOS在720p像素分辨率下的有效采集区域水平宽
为5.41毫米,垂直高度为3.043毫米。

根据步骤2.2,计算像平面中心o坐标为(2.705,1.5215)。

根据步骤2.3,计算虚拟物平面中心O坐标为(500,150)。

根据步骤2.4,带入公式,虚拟物平面某一点P若坐标为(0,0),其对应的视场角
,约为79.15度。虚拟物平面水平方向夹角
,约为159.5度。设带入根据视场角和像高的拟合公式计算出像高为
2.087。P对应的像平面坐标点p
,约为
(0.7502,0.7906)。

根据步骤2.5,计算p对应的像平面像素坐标为
,约为(177.5,187.06)。

根据步骤2.6,虚拟物平面P点像素值,采用p点周围最邻近像素插值。具体的可以
采用双线性插值,即利用(177,187),(177,188),(178,187),(178,188)对应的像素值
gray1,gray2,gray3,gray4,根据p点距离各个点接近程度的权重进行插值。

将虚拟物平面上所有点按上述方法带入即得到畸变校正图像。

图9为采集到的单幅特征靶图的畸变图像的示意图;图10为按步骤2畸变校正后的
单幅特征靶图的虚拟物平面图像的示意图。

步骤3:采用畸变校正后的单幅特征靶图进行外参标定及透视变换。

图11为单幅特征靶图的虚拟物平面图像映射的示意图。根据步骤3.1,采用特征提
取算法提取步骤2校正后虚拟物平面的单幅特征靶图的M N个特征点坐标,特征提取算法
在棋盘格形态下的特征靶图的应用上,特征点即为角点,具体的可以选择角点检测算法,例
如SUSAN、Harris等常用的角点检测算法,得到特征点的坐标;采用最近向梯度排序法,将
提取出的M N个特征点与单幅特征靶图均匀分布的M N个特征点进行一一映射,具体的,
提取到的特征点的编号可根据特征点提取算法遍历图像的顺序,先检测出的特征点编号为
1,遍历中每次检测出的特征点编号自加1,直到特征点提取算法遍历完整个虚拟物平面图
像,具体实施例中定制的特征点靶图有15x4个特征点,因此M为15,N为4;最近向梯度排序
法,具体的由于检测到的特征位置呈现梯形分布,第一步选择水平坐标最小的特征点,则必
为梯形的左边的一个顶点,记录其特征点编号,假设为1;得到该特征点的坐标后分别与其
余特征点连线,计算连线与水平方向0度(图像按照象限划分右上为一象限)的夹角,计算方
法为按编号进行其余特征点与水平坐标最小特征点坐标差分,纵坐标差分值符号为负,横
坐标差分值符号为计算值符号,采用atan函数计算夹角,连线夹角值编号与特征点编号一
致;选择N-1个连线夹角值最大的特征点编号,假设为16、31、46,对编号为1、16、31、46的特
征点垂直方向坐标进行从小到大排序,假设排序为16、31、46、1,则记录编号为16的
特征点的坐标,记录编号为31的特征点的坐标,记录编号为46的特征点的坐
标,记录编号为1的特征点的坐标;将编号为16、31、46、1的特征点从特征点序列中排
除,即去掉了梯形分布特征点的最左边4个特征点,剩余的特征点依然是梯形分布,按照上
述方法重复排序,依次记录到直至,即完成了虚拟物平面提取出的M N
特征点与单幅特征靶图均匀分布的M N个特征点进行一一映射。

图12为虚拟物平面与透视变换平面的透视变换关系的示意图。根据步骤3.2,将步
骤1得到的靶图特征点坐标即缩放比例S1将特征点坐标映射到透视变换平面坐标,满足公
,,取为1,即编号为1的靶图特征点,其坐标
如具体实施例stpe1所述 为(0.06,0.06),对应到透视变换平面坐标
为(0.6,0.6),S1为10,透视变换平面尺寸为水平9.6,垂直3。根据特征
点编号将靶图在透视变换平面上的特征点与畸变校正后虚拟物平面提取的特征点
的坐标解单应性矩阵,得到经典外参矩阵,即完成外参标定,具体的畸变校正后的虚
拟物平面与透视变换平面的关系为透视变换关系,满足单应性矩阵关系:

(公式一)

(公式二)

其中矩阵为经典外参矩阵。经典外参矩阵的求解过程即为将
的水平方向坐标值和垂直方向坐标值
带入单应性矩阵解方程,如下:

(公式三)

解式三,得到经典外参矩阵,带入式二,即可以得到透视变换平面坐标(
对应的虚拟物平面坐标()。透视变换后图像

PERS)的像素值为虚拟物平面坐标()最近邻像素坐标的插值,
具体的可以采用双线性插值。图13所示为单幅特征靶图的透视变换图像的示意图,即透视
变换后的靶图图像PERS

步骤4:通过单幅特征靶图分区域的实际特征点物理分布位置和单幅特征靶图透
视变换后的分区域对应特征点进行拟合得到分区域拟合函数。

根据步骤4.1,通过特征提取算法提取透视变换后单幅特征靶图PERS的特征点
,其方法可以采用角点检测算法。将一一配对采用最近
向梯度排序法或者最小距离阈值法,最小距离阈值法具体的,将编号为1的的特征
点坐标与所有坐标进行差分,得到水平差分值和垂直差分值
,根据勾股定理计算其与的距离,得到数量为,得到值最小的
若其小于设定阈值thre_manu,这里设定为0.3,则将其对应编号的坐标记录为
编号为1,若不满足阈值限定条件,则将记录的坐标置为(0,0),以此类推直
到遍历完所有的,则完成了PERS特征点与EXT特征点的一一匹配,不满足阈值
限定条件的编号处往往是采用的某种角点检测算法未检测到角点,因此忽略此处特征点信
息。

根据步骤4.2,可设定若的最大值为在0和0.1之间,将透视变换平面矩形区
域以水平中心线划分为左右2个,若最大值在0.1和0.2之间,将透视变换平面矩形区域以中
心点划分为左上,右上,左下,右下四个。设此时最大值为0.06,选择将透视变换平面
按照水平中心线划分为左右2个矩形区域,左边的矩形区域编号为1,右边的矩形区域编号
为2,则编号为1的矩形区域包含的特征点编号为1~30,编号为2的矩形区域包含的特征点编
号为31~60。由于摄像头装配精度,每个摄像头完成装配后其LENS主光轴与CMOS平面并不是
完全垂直,同时LENS光心与CMOS有效采图区域的中心也不是完全吻合,因此采用统一畸变
校正方法进行畸变校正必然存在装配精度导致的畸变误差,这也导致畸变校正和透视变换
后靶图图像提取出的特征点与靶图特征点理论物理分布映射到透视变换平面上的特征点
位置存在误差,采用拟合的方法可以大大减小这种误差,由于拟合函数格式多样,不一定完
全吻合误差模型,因此根据误差程度将拟合区域划分更细可以极大的提高该区域的拟合精
度。采用透视变换后的靶图图像提取的特征点与靶图实际特征点物理分布位置映
射到透视变换平面的特征点进行拟合,具体的,可以构造拟合函数:



根据拟合函数解超定方程组,得出拟合参数,即求得了该区域的拟合函数
。将编号为1的矩形划分区域中的编号为1~30的代入拟合函数解
超定方程组,得到编号为1区域的拟合参数和拟合函数;同理将编号为2的矩形划分
区域中的编号为31~60的代入拟合函数解超定方程组,得到编
号为2区域的拟合参数和拟合函数

步骤5:对实际安装场景摄像头采集图像根据LENS供应商提供的光学畸变参数表
进行畸变校正,然后再透视变换的图像通过分区域拟合函数进行分区域精确校正。

根据步骤5.1,在摄像头实际安装标定场景采集现场标定靶图图像,根据步骤2的
实施方式,得到现场采集标定靶图畸变校正后的虚拟物平面图像P

根据步骤5.2,将现场采集标定靶图畸变校正后的虚拟物平面图像P根据步骤3的
实施方式,进行外参标定,得到经典外参矩阵,并根据经典外参矩阵对现场采集标定靶图畸
变校正后的虚拟物平面图像P进行透视变换得到透视变换图像PERS。如图14所示即为现场
采集标定靶图的透视变换图像的示意图。为了展示摄像头个体装配精度导致的误差,此处
选用的实际安装标定场景标定靶图采用了覆盖360环视应用有效区域的大棋盘格布,点的
位置为棋盘格实际均匀分布的特征点在PERS上的位置,标记出了PERS上检测到的特征点与
棋盘格均匀分布特征点在水平、垂直及连线的距离。

根据步骤5.3,采用拟合函数分别对透视变换图像PERS进行拟合
校正。透视变换图像PERS尺寸为水平9.6米、垂直3米,设定拟合校正后的图像为水平960垂
直300个像素,则为9.6/960=0.01。

如图15所示为拟合校正图像的示意图。将拟合校正图像坐标
带入拟合函数:



计算出拟合校正图像该坐标对应的透视变换图像PERS坐标
的像素值为透视变换图像PERS坐标最邻近的周围像素的插值,具体
的可以采用双线性插值。

如图16所示为拟合校正图像的示意图。将拟合校正图像坐标
带入拟合函数:



计算出拟合校正图像该坐标对应的透视变换图像PERS坐标
的像素值为透视变换图像PERS坐标最邻近的周围像素的插值,具体
的可以采用双线性插值。

步骤5.4,采用步骤42划分的区域坐标分布及,对拟合校正后的图像进行
区域划分,具体的,上文描述的划分区域以水平中心校划分左右2个矩形区域,则左侧编号
为1的矩形区域矩形顶点为EXT(0,0),EXT(0,3),EXT(4.8,0),EXT(4.8,3),对应的
编号为1的矩形区域对应的矩形顶点为(0,0),(0,300),(480,0),
(480,300);右侧编号为2的矩形区域矩形顶点为EXT(4.8,0),EXT(4.8,3),EXT(9.6,0),EXT
(9.6,3),对应的在编号为2的矩形区域对应的矩形顶点为(480,0),
(480,300),(960,0),(960,300)。

步骤5.5,如图17所示为生成的最终校正图像的示意图;最终校正图像FIN在编号1
的矩形区域的图像为在编号1的矩形区域的图像,最终校正图像FIN在编号2的矩形区
域的图像为在编号2的矩形区域的图像。

为了展示本发明的效果,在最终校正图像FIN上进行特征点提取,再标记出了FIN
上检测到的特征点与实际标定场景覆盖360环视应用的有效区域的大棋盘格均匀分布特征
点在水平、垂直及连线的距离,可以看到最终校正图像特征点与理论均匀分布特征点的差
异在亚像素级,相比如图14所示的现场采集标定靶图的透视变换图像而言,极大的改善了
个体摄像头由于装配精度导致的畸变误差。
<>...

=>>详细说明书全文请进入首页检索查看

图1
©2018 IPPH.cn   PatViewer·专利搜索
主办单位:知识产权出版社有限责任公司  咨询热线:01082000860-8588
浏览器:IE9及以上、火狐等  京ICP备09007110号 京公网安备 11010802026659号