ISP—在线性模式下IPC相机的调试流程
目录
ISP—在线性模式下IPC相机的调试流程
1、亮度维度：AE
2、色彩维度（AWB、CCM）
3、对比度维度（Gamma、LDCI、Dehaze）
4、清晰度和噪声维度（Demosaic、sharpen、3DNR）
图像质量关注维度调试的顺序图
1、亮度维度：AE
亮度维度的主要调试模块为AE，主要包括AE目标值的调优，AE Route的调优，AE的权重表的调优、AE收敛速度和平滑性的优化等。
调整AE模块前需要准备的环境：黑电平正确，Shading标定完成，AWB和CCM标定正确，不同照度预设一组Gamma参数等。
步骤一：AE调节的第一步是确定AE的权重表，AE的权重表决定AE曝光的感兴趣区域，不同的应用需求，AE的权重表也会有差异，一般针对于IPC应用场景，场景关注的主体为画面的中间部分，建议将画面中间部分的AE权重表设置的高于周边部分。
步骤二：在确定AE的权重表的基础上，接下来需要确定AE的Route，AE的Route主要决定曝光量的分配方式即曝光时间和增益的分配，不同应用场景需要设置不同的AE Route。
步骤三：在确定AE权重表和AERoute的基础上，接下来需要跟据不同的曝光值调节AE的目标值。AE目标值的调整主要涉及到AE Compensate、AEoffset调节以及AE高光优先和低光优先模式的选择。
步骤四：最后需要调节AE的收敛速度和AE的平滑性，其中AE的收敛速度和AE的平滑点是一对平衡点，在防止AE出现震荡的前提下，可以适当提高AE的收敛速度，包括AE可以跟据光线变化的过程快速收敛。
2、色彩维度（AWB、CCM）
调整颜色前需要准备的环境：黑色电平校准准确、Lens-Shading标定完成、AE模块参数调整合理。
步骤一：需要在实验室灯箱场景抓取八组不同色温下24色卡的raw（D50，D70，A等）以及室外场景抓取D50色温24色卡的raw标定获取AWB静态白平衡系数。标定获取的AWB静态白平衡系数需要观察Planckian Curve，是否光源分布在曲线两侧，是否有光源点距距离普朗克曲线较远，估计的色温是否准确。如果某些光源误差较大，可以调整其权重值，再次标定，可以利用3A分析工具AWB功能在线验证标定的准确性，如果多个光源下灰色快都落在普朗克曲线附近，说明标定是可靠的。
步骤二：在实验室灯箱里抓取的D50、TL84、A光源三组24色卡的raw通过标定工具生成的CCM矩阵。在标定CCM的过程中需要注意用户自定义的ISP Gamma值时，需要注意匹配相对应的Lab值，防止由于ISP Gamma和Lab Reference不匹配，导致作为线性变换的AWB和CCM共同作用无法达到目标图像的效果。
步骤三：在AWB静态白平衡系数和CCM饱和度矩阵标定之后，需要将AWB静态白平衡系数和CCM饱和度矩阵配置到Sensor驱动当中在实验室灯箱场景中抓取八种不同光源24色卡，可以初步确定标定得到AWB静态白平衡系数和饱和度矩阵满足要求。
步骤四：AWB和CCM模块的参数合理性，还需要依赖于实际场景的大量测试，和调试，如果场景中的灰色块还原度不准确，需要调整AWB参数，场景中出现个别颜色过饱和，建议调试CCM参数；针对混合光源应用场景，需要调节AWB中室内检测的参数；针对于实际场景中任务肤色还原不准确，需要调整CCM参数。
3、对比度维度（Gamma、LDCI、Dehaze）
对比度维度：在亮度维度和颜色维度调试合理的基础上，接下来主要调节图像的对比度维度，影响对比度的维度主要包括：LDCI（局部对比度增强）、Dehaze、gamma等，一般重点在不同照度下调节Gamma参数，Dehaze和LDCI为调节对比度的辅助模块。
调整对比度前准备的环境：黑电平校正正确，Lens-shading标定完成，AE曝光调整合理，AWB和CCM参数标定合理。
步骤一：调整Gamma参数，Gamma参数时影响图像对比度的基本模块，以实物场景为例，通过调整Gamma参数达到画面亮区部分的视力表和暗部区域部分都不发生损失，且画面获得比较好的对比度。
步骤二：在调整好Gamma参数的基础上，如果对图像的对比度有更加精细化的需求，建议以LDCI为主。Dehaze为辅；LDCI属于局部对比度的增强，可以改善画面局部亮区和暗区细节的表现，Dehaze只能作为辅助作用，Dehaze调整过大，回带来画面暗区细节损失和画面颜色偏色。
步骤三：在优化后的Gamma参数、LDCI参数和Dehaze参数的基础上，需要在实验室灯箱D65光源环境下测试灰阶卡的灰阶，观察灰阶数能否满足要求，一般要求灰阶数至少达到18以上，否则表明当前图像的对比度过高，损失了暗区的细节。
步骤四：在实际静物场景，需要跟据场景的不同照度下，调整Gamma、LDCI以及去雾模块，以达到场景的各个照度下，图像的对比度不会出现过高和过朦。当前正常照度环境下和低照度环境下，图像的对比度调试风格也会有一定的差异，比如在低照度下，Gamma需要适当压低暗区来减轻暗区噪声的负担。
4、清晰度和噪声维度（Demosaic、sharpen、3DNR）
清晰度和噪声维度：清晰度和噪声这两个维度为一对平衡点的维度，且由于照度的不同，图像的噪声也表现的不一样，随着照度的变化，图像的噪声增大，此时为了抑制画面的噪声，对图像的清晰度的要求会低于正常场景的清晰度，此时清晰度和噪声模块的相关参数需要跟据不同的ISO进行联动。清晰度和噪声维度的测试，建议先以清晰度优先，即需要在降噪前（BayerNR、3DNR）将该锐化的细节锐化出来。
调整图像清晰度和噪声前准备的环境：黑电平校正正确，NoizeProfile标定正确，Lens-shading标定完成，AE曝光调整合理、AWB和CCM参数调整合理、Gamma参数调整合理。
影响图像清晰度和噪声模块主要包括NR，Demosaic，DPC的去动态坏点、3DNR、3DNR前的Sharpen以及3DNR后的Sharpen等。
图像的基本纹理细节的第一道关口就是Demosaic。调试Demosaic参数的入口条件为：黑电平标定准确，NoiseProfile标定合理、AWB和CCM标定参数合理。
调试 Demosaic 参数需要结合实验室静物高频细节需要插值出来如静物场景的视力表、星条卡和实验室灯箱环境下解析率卡的解析度指标满足要求。首先需要在实验室灯箱 环境 D50 光源下 ISO100 下对着解析度卡调试 Demosaic 参数，使得解析度卡的解析率 满足客观指标要求，然后将该组 Demosaic 参数导入到工具观看实验室静物场景 ISO 100环境下的高频细节如视力表和星条卡能否插值出来，以此进行来回迭代。在 ISO100 环境下 Demosaic 参数调整合理情况下，接下来需要在实验室静物场景下不同照度下调整 Demosaic 参数，以平衡高频噪声和插值出来的噪声和合适。
去马赛克后图：
步骤二：在Demosaic的参数调试合理之后，接下来重点联调NR、3DNR前Sharpen、3DNR、3DNR后的Sharpen以及DPC去动态坏点。
调试 NR 模块的入口条件为：黑电平校正准确、NoiseProfile 标定合理、AWB 和 CCM标定参数合理。
步骤三：3DNR前Shapen的调试准则主要将图像的纹理细节和边缘锐度调到合适。3DNR 后 Sharpen 和 3DNR 前 Sharpen 参数一致，区别在于 Sharpen 的位置不同， 3DNR 前 Sharpen 的位置在 3DNR 之前，3DNR 后 Sharpen 在 3DNR 之后。3DNR 后 Sharpen 主要适当提升经过 3DNR 后的大边缘的锐度，尽量少锐化纹理细节，3DNR 后 Sharpen 锐化大边的过强的话，会带来边缘锯齿加强、运动区域边缘过渡不平滑和噪声 的加剧。因此，3DNR 前 Sharpen、3DNR 后 Sharpen 以及 3DNR 三者需要在实验室静 物场景根据不同的 ISO 进行反复联合调试，最终达到噪声和清晰度的平衡为合理。
步骤四：DPC 去动态坏点强度只需要在照度稍低下以去除动态坏点为准，照度稍好的情况下， 建议 DPC 去动态坏点的强度调试为 0。
步骤五：3DNR 作为整个清晰度的调优的关键环节，主要包括时域滤波器的调优和空域滤波器的调优，优先调节时域的动静判决的阈值即将雨点噪声抑制为合适和时域的绝对强度保证画面静止区域安静，再调节动静判决的空域滤波器来抑制画面运动区域的跟随噪声，最后调节纯空域滤波器抑制画面的整体颗粒感，3DNR 调试的标准是达到静止画 面噪声安静且清晰度满足要求，运动区域的噪声得到比较好的抑制且运动拖尾能够达到合理控制。
步骤六：3DNR 前 Sharpen、3DNR 后 Sharpen、Demosaic、NR 等模块需要根据不同照度进行迭代联合调试，最终以图像的整体清晰度和噪声水平平衡为合适。