光学仪器  2023, Vol. 45 Issue (2): 1-7   PDF    
数码单反相机焦平面光电转换函数的测量及分析
吕玮阁, 冯珂, 郑晓东     
浙江大学 光电科学与工程学院,浙江 杭州 310027
摘要: 为了在光学实验中合理应用数字成像设备,需要获取并处理其物理输入量与数字输出量之间的关系。基于ISO 14524:2009标准,对数码单反相机Canon EOS 500D的焦平面光电转换函数进行了实验测量及数据分析。通过比较不同尺寸像素区域及不同图片格式对测量结果的影响,发现焦平面光电转换函数的测量偏差随像素区域尺寸的减小而增大,而RAW和JPEG两种文件格式的数字输出值与焦平面曝光量的关系分别为线性和非线性。当单反相机用作光分布记录测量的仪器时,采用直接反应传感器接收的辐照度信息的RAW格式作为输出数据,可以获得较大的动态范围,理论上可以避免相机非线性变换等后续处理带来的影响,经过必要的校正可以更精确地表示场景信息。
关键词: 光电转换函数    数码单反相机    相机原始数据    
Measurement and analysis of the focal plane opto-electronic conversion functions for digital single lens reflex cameras
LYU Weige, FENG Ke, ZHENG Xiaodong     
College of Optical Science and Engineering, Zhejiang University, Hangzhou 310027
Abstract: It was necessary to obtain and process the relationship between the physical input and digital output of digital imaging equipment for its proper application in optical experiments. Based on ISO 14524:2009 standards, the focal plane opto-electronic conversion functions of digital single lens reflex camera Canon EOS 500D were measured and the data was analyzed. By comparing the effects of different pixel area sizes and different picture formats on the measurement results, it was found that the measurement deviation of the focal plane opto-electronic conversion function increased with the decrease of the pixel area size, and the relationship between the digital output value in RAW formats and the focal plane exposure was linear, which was different from the nonlinear relationship between the digital output value in JPEG formats and the focal plane exposure. When the DSLR camera was used as an instrument to record and measure light distribution, the RAW format that directly reflected the irradiance information received by the sensor can be used to obtain a large dynamic range, theoretically avoid the impact of subsequent processing of camera such as nonlinear transformation, and represent the scene information more accurately after necessary corrections.
Key words: opto-electronic conversion functions(OECF)    digital single lens reflex camera    camera raw data    
引 言

当前,数字成像技术快速普及,广泛应用于各个领域,促进了实验手段的改进[1-6]。由于产量巨大,相较于工业相机,同等性能的单反数码相机不仅价格便宜,而且同时具有显示、存储、图像文件发送的功能,可以实现一机多用。如果能够用商用单反数码相机替代价格昂贵的科研用相机,无疑可以为广大科研人员提供更多的研究手段。为此,需要了解和确定数码相机的物理输入量与数字输出量之间的对应关系。灵活性的数字编码系统,使数码相机的物理输入量与数字输出量之间函数关系的确定和表达变得复杂[7-8]。参照国际标准ISO 14524:2009[7],对商用数码单镜头反光相机(简称单反相机)焦平面光电转换函数进行了实验测量,并对测量结果的精度和影响测量结果的因素进行了分析。通过对数码相机原始数据(RAW数据)的提取和处理,获得相机RAW数据与曝光量之间具有良好的线性关系,证明商用数码单反相机可用于记录和测量光信号强弱相关的信息,具有成为优良光电实验设备的潜力。

1 实验原理

数码相机的成像可以分为相机镜头成像和焦平面(成像面)图像记录与输出两个独立的过程,前者依赖于镜头特性,后者取决于图像传感器、放大电路、A/D转换以及后续图像数据处理程序。本研究仅考虑焦平面从图像记录到数字文件输出的过程,对数码相机焦平面光电转换函数(opto-electronic conversion functions, OECF)进行测量。该函数定义为焦平面曝光量对数或场景亮度对数与光电数字图像捕获系统的数字输出量之间的关系。

数码相机通过控制3个参数即快门、光圈、感光度(ISO)来控制曝光量,决定最终所得图像的灰度。其曝光原理如图1所示,当光信号经过相机镜头、快门照射到CMOS感光面上,CMOS将接收到的光信号转换为电信号,再经放大、A/D转换,输出数字信号。改变相机的ISO设定,即改变CMOS感光元件的感光灵敏度,相当于改变了信号增益,并不改变CMOS感光面上获得的曝光量的物理值大小。感光度越低,要达到相同的图像灰度,需要吸收更多的光能量。在测量OECF时,保持ISO不变。为了使用较强曝光减少环境光影响并降低传感器噪声,将ISO设定在较低的数值。相机未经压缩和处理的原始数据,称为RAW数据,例如佳能相机的RAW文件为CR2格式。经过去马赛克、白平衡校正、伽马校正等一系列处理,输出为通用的数字图像格式,例如JPEG格式。后续的处理,往往加入了各个公司所独有的图像处理算法,密不传人。

图 1 数码相机的曝光示意图 Figure 1 Schematic diagram of digital camera exposure

ISO 14524:2009推荐了两种相机焦平面OECF测量方法,分别适用于相机镜头可移除与不可移除的情况。对于单反相机,在移除镜头的情况下,CMOS感光面上的曝光量 ${H}_{\rm{m}}$ 表示为照度 ${E}_{\rm{s}}$ 与快门时间t的乘积

$ {H}_{\rm{m}}={E}_{\rm{s}}\cdot t $ (1)

将曝光量 ${H}_{\rm{m}}$ 作为输入物理量,它所引起的数字输出响应V可以有各种不同的记录形式,例如,数码相机拍摄输出的具有一定图像格式的数字图像的R/G/B通道值,或者是未经后续算法处理的相机原始感光数据。

在移除相机镜头的情况下,将图像传感器直接暴露在特定数量的均匀照明下,可以采用恒定曝光时间和可变的焦平面照度产生一系列曝光值,也可以在恒定照度下采用不同的曝光时间获得一系列曝光值,本实验中采用的方法是后者。

如果一些特定的相机不允许移除相机镜头,则可使用均匀发光的近似朗伯体目标(反射面或照明器),然后经由相机镜头和图像传感器成像。此时,CMOS感光面上获得的像面照度 ${E}_{\rm{s}}$ 由镜头光圈数、拍摄目标的亮度所决定[9-10]

$ {E}_{\rm{s}}=0.65{L}_{\rm{t}}/{f}_{\rm{e}}^{2} $ (2)

式中: ${L}_{\rm{t}}$ 是拍摄目标的算术平均亮度,单位为cd/m2 ${f}_{\rm{e}}$ 是镜头的有效F数。该方法引入了更多的影响因素,因此,条件允许时,一般采用移除镜头的方法进行焦平面OECF的测量。

2 实验设计

本实验在移除镜头的情况下,对Canon EOS 500D相机进行焦平面OECF的测量。实验仪器还包括由直流恒流电源供电的亮度可调的溴钨灯光源和照度计。实验条件设置符合ISO 14524:2009要求[6]:实验在暗室进行,采用溴钨灯照明,除被测光源外没有其他光源。溴钨灯光源和传感器的最大尺寸不大于光源到传感器距离的1/20,即测量距离要大于光源和传感器尺寸的20倍以上。将相机设置为手动拍照模式,白平衡选择钨丝灯模式,ISO值取最低值100。

实验前,先进行试拍,将相机的镜头取下,使CMOS图像传感器的感光面正对光源,调整光源强度、光源与相机的距离及曝光参数,避免过曝。本实验选定的拍摄距离为1 000 mm。固定光源位置及强度,在距离光源1000 mm处,照度计测得的照度为9.0 lx。再在照度计探测器位置放置待测相机,使其感光面距离光源距离为1000 mm(该相机的法兰距,即相机卡口到感光面的距离为44 mm)。同时,在相机旁放置一照度计,监测照度变化。拍摄时,改变快门时间T,在10级不同曝光量下进行拍照(实验中T取近等比数列,值分别为1/4 000,1/2 000,1/1 000,1/500,1/250,1/125,1/60,1/30,1/16,1/8,根据标准,其比例因子应≤2),并保存为JPEG和RAW格式。根据标准,每个曝光水平要进行9次以上的测量并求取平均值。

3 实验结果与分析 3.1 OECF测量结果

首先对获得的JPEG图像进行处理,对每个曝光水平的9次测量图片,取图像中心点附近(64×64)的相同像素区域进行计算,获得其R/G/B通道的平均值,即得到输出值V。根据ISO 14524:2009标准,对输入曝光量取对数,即 ${\mathrm{l}\mathrm{g}}({H}_{\rm{m}}/{H}_{0})$ ,其中 ${H}_{\rm{m}}$ 按式(1)计算, ${E}_{\rm{s}}$ = 9.0 lx,H0 = 1 lx∙s。参照ISO 14524:2009标准给出的数据图表示例,测量数据列在表1中,并绘制于图2。其中,所用数码相机的图像传感器为单片CMOS,采用RGB彩色滤光片陈列实现彩色捕获,并有红外截止滤光片。拍摄时使用钨丝灯照明及钨丝灯白平衡设置,焦平面照度9.0 lx,通过快门设置采用时间尺度曝光序列,对曝光量取对数形式: ${\mathrm{l}\mathrm{g}}({H}_{\rm{m}}/{H}_{0})$ ,其中,H0=1 lx∙s。

表 1 数码相机焦面OECF(移除镜头,JPEG格式) Table 1 OECF of digital camera focal plane(with the camera lens removed, JPEG format)

图 2 相机焦平面OECF(使用JPEG格式) Figure 2 Camera focal plane OECF(using JPEG format)

图2可知,R、G、B三通道的OECF曲线具有相似的变化趋势,随着输入曝光量的增加,R、G、B三通道的输出值随之上升,上升曲线呈斜“S”形,在数字输出量的低值段随曝光量的变化率较小;在中间段变化率较大,并接近线性;然后在高值段变化率再次减小,趋于饱和,通常R通道先达到饱和。该测量结果与ISO 14524:2009标准中的测量示例具有相似的变化趋势。

3.2 误差及影响因素分析

根据误差理论[11],误差是测量值与真值之差,对于等精度的多次测量,一般以其算术平均值作为测量结果。对相机获得的JPEG图片在不同曝光水平(即不同快门时间)下的G通道数字输出量的测量均值、测量偏差、标准偏差及相对偏差等(测量次数n = 9)进行计算,列于表2,并绘制于图3

表 2 数码相机焦平面OECF测量中G通道数字输出量的偏差分析(使用JPEG格式) Table 2 Deviation analysis of G-channel digital output in di–gital camera focal plane OECF measurement(using JPEG format)

图 3 数码相机焦平面OECF测量数据的偏差分析(使用JPEG格式) Figure 3 Deviation analysis of digital camera focal plane OECF measurement data(using JPEG format)

如图3(a)中,G通道数字输出量中段的测量偏差较大,而两端偏差较小,这与伽马校正后输出图像对原始数据在暗端和亮端的非线性压缩有关;如图3(b)所示,相对偏差随数字输出量平均值的提高逐渐下降,说明低曝光量时测量的相对精度较低,提示有较低的信噪比。

3.3 不同尺寸像素区域的测量结果比较

为了比较不同尺寸像素区域对测量结果的影响,分别取图片中心点附近(8×8)像素区域、全部像素区域进行计算,与前述(64×64)的像素区域的计算结果进行比较,所得OECF测量结果及其测量偏差如图4所示。

图 4 不同像素区域下相机焦平面OECF及测量偏差(使用JPEG格式) Figure 4 Camera focal plane OECF and measurement deviation under different sizes of pixel areas(using JPEG format)

由图4可知,选取不同尺寸像素区域进行计算,其数字输出量的测量平均值无显著差异,但是测量偏差表现不同,由较小的(8×8)像素区域计算所得的标准偏差大于(64×64)像素区域,而(64×64)像素区域计算所得的标准偏差大于全部像素区域的计算结果,相对标准偏差在数字输出量的低值端也显示出同样的趋势。因此,图像计算区域取得越大,数据离散性越小,但是计算效率会下降,另一方面,感光面积变大也将导致照度均匀性变差。因此,适中的像素区域优于全部像素区域的计算。

3.4 不同图片格式的测量结果比较

相比从JPEG等文件获得的数据,RAW数据未经压缩和处理,具有更大的处理自由度[12-13]。RAW数据只记录了光的明暗程度,为了获得颜色信息,通常在CMOS感光面上覆盖一层彩色滤光片,不同颜色通道的滤光片对应的RAW数据代表了通过该滤光片的颜色通道的信息。不同相机产生的RAW文件的扩展名一般不同,可通过dcraw等工具进行读取处理[14]。本实验所用Canon相机的RAW文件扩展名为CR2,其彩色滤光片可通过实验方法确定为按RGGB的(2×2)阵列排列[14-15],从而可提取对应于某个颜色通道的原始RAW数据,并按前述实验方法对同一照度水平下的9次拍摄取中心像素区域(64×64)进行平均值计算。两种图片格式下,对应于G通道的数字输出值与焦平面曝光量的关系如图5所示。

图 5 相机RAW数据对焦平面曝光量的线性响应 Figure 5 linear response of camera raw data to focal plane exposure

可见相比于单通道8 bit(28 = 256)的JPEG数据,RAW的动态范围更大,可达到14 bit(214 =16 384)。JPEG格式下,G通道输出值与焦平面曝光量的对数在中间段接近线性,如图2所示,则显然G通道输出值与焦平面曝光量之间为非线性关系,如图5(a)所示;而RAW文件对应于G通道的原始数据输出值与焦平面曝光量成良好的线性关系,如图5(b)所示,其线性拟合函数

$ {G}_{\rm{RAW}}=a\cdot {H}_{\rm{m}}+{b}_{0} $ (3)

其中a = 10250, 暗场响应值 $ {b}_{0} $ = 1023,决定系数R2=0.999 5,均方根误差RMSE = 85.79。

作为研究用实验器材使用数码相机时,建议选用RAW数据记录格式。RAW数据不仅与曝光量之间具有良好的线性关系,而且具有超大动态范围,单个通道的图像深度达214,是8位JPEG图像动态范围的64倍。另一方面,RAW格式的图像数据与传感器输出之间只经过了ISO增益,可以更为直接地表示传感器接收的辐照度信息,不受去马赛克、白平衡、伽马校正等后续处理的影响,对物理量的测量来说减少了可能引入转换误差的中间步骤,即使在不同的白平衡及伽马校正设置下进行拍摄,也可获得一致的物理测量结果,扩大了其适用范围。需要注意的是,光电传感阵列由于加工工艺等原因导致像元响应特性的不一致性;在本实验规定的实验条件下,可认为CMOS感光面上微小面积内的照度是均匀的,又取一定尺寸的像素窗口计算平均值,在一定程度上消除了像元响应不一致的影响;若要通过每个像元记录像面上非均匀分布的光照情况,还需要对像元进行非均匀性校正等必要校正[16-17],以获得更精密的测量结果。

4 结 论

本文基于国际标准ISO 14524:2009,设计了数码相机焦平面OECF的测量实验。在符合国际标准的测试条件下,获得相机焦平面OECF的测量数据及拟合曲线。比较图片中不同尺寸像素区域的测量结果,发现小尺寸像素区域的测量偏差及其在低曝光量下的相对测量偏差较大。通过对RAW和JPEG两种文件格式的数字输出值进行计算和比较,发现其与焦平面曝光量的关系分别为线性和非线性,其原因分别在于CMOS传感器对曝光量的线性响应和JPEG图像产生过程中的伽马校正等非线性处理过程。当单反相机用作光分布记录测量的仪器时,采用直接反应传感器接收的辐照度信息的RAW格式,可以获得较大的动态范围,理论上可以避免相机非线性变换等后续处理带来的影响,更精确地表示场景信息。

参考文献
[1] 王凤鹏, 李成兰, 刘道莲, 等. 基于数码相机的新型分光计及其调节方法[J]. 大学物理, 2020, 39(12): 36–40. DOI:10.16854/j.cnki.1000-0712.200214
[2] 侯淼春, 王凤鹏, 陈莹, 等. 基于无镜头数码相机的牛顿环实验[J]. 大学物理实验, 2020, 33(5): 1–4. DOI:10.14139/j.cnki.cn22-1228.2020.05.001
[3] 王小怀. 数码相机在近代物理实验中的应用[J]. 大学物理实验, 2016, 29(4): 55–58. DOI:10.14139/j.cnki.cn22-1228.2016.004.018
[4] 曹秒, 刘畅, 林昀, 等. 基于CCD成像自动对准技术的玻璃折射率测量系统研究[J]. 仪器仪表学报, 2013, 34(11): 2565–2571. DOI:10.19650/j.cnki.cjsi.2013.11.023
[5] 秦莉, 董丽丽, 许文海, 等. CCD图像灰度与照度的转换标定方法[J]. 仪器仪表学报, 2015, 36(3): 639–644. DOI:10.19650/j.cnki.cjsi.2015.03.020
[6] 黄成, 朱金善, 李志荣, 等. 基于彩色CCD相机的船舶夜航光环境亮度测量[J]. 光电工程, 2018, 45(7): 170553.
[7] ISO. ISO 14524—2009 Photography - Electronic still-picture cameras - Methods for measuring opto-electronic conversion functions (OECFs)[S]. Switzerland: ISO, 2009.
[8] ISO. ISO 12232—2019 Photography - Digital still cameras - Determination of exposure index, ISO speed ratings, standard output sensitivity, and recommended exposure index[S]. Switzerland: ISO, 2019.
[9] WU H P, LI P, WANG Y, et al. Measurement for opto-electronic conversion functions (OECFs) of digital still-picture camera[C]//Proceedings of SPIE 7850, Optoelectronic Imaging and Multimedia Technology. Beijing: SPIE, 2010.
[10] WYSZECKI G, STILES W S. Color science: concepts and methods, quantitative data and formulae[M]. 2nd ed. New York: Wiley, 1982.
[11] 费业泰. 误差理论与数据处理[M]. 7版. 北京: 机械工业出版社, 2015.
[12] 姬瑞磊. 基于RAW格式数据的热气机燃烧室火焰温度检测研究[D]. 武汉: 华中科技大学, 2013.
[13] 吴晓玟. 基于高动态范围成像的光环境测量研究[D]. 杭州: 浙江大学, 2017.
[14] SUMNER R. Processing RAW images in MATLAB[EB/OL]. (2014 −05−19)[2020 −12−15]. http://rcsumner.net/raw_guide/RAWguide.pdf.
[15] 董琪琪. 彩色滤波阵列插值及图像复原算法研究[D]. 西安: 中国科学院大学(中国科学院西安光学精密机械研究所), 2016.
[16] 程万胜, 赵杰, 蔡鹤皋. CCD像素响应非均匀的校正方法[J]. 光学 精密工程, 2008, 16(2): 314–318.
[17] 袁鹏程, 李俊山, 孙富礼, 等. 一种图像传感器灰度响应非线性现象校正方法[J]. 制导与引信, 2019, 40(3): 26–33. DOI:10.3969/j.issn.1671-0576.2019.03.006