一种基于时域滤波的红外序列图像去噪算法

第 42 卷 第 3 期2021 年 5 月应 用 光 学Journal of Applied OpticsVol. 42 No. 3May 2021 文章编号：1002-2082 (2021) 03-0474-07一种基于时域滤波的红外序列图像去噪算法周克虎1，雷　涛1，罗　刚2（1. 中国科学院光电技术研究所，四川 成都 610209；2. 中国人民解放军63618部队，新疆 库尔勒 841000）摘 要：红外图像是现代光学设备常用的图像源，图像显示效果直接影响设备的用户体验，而红外序列图像中的噪声会导致显示效果的下降。为了减轻噪声对红外序列图像显示效果的影响，通过历史多帧灰度值的加权和当前帧无噪声图像的估计，提出了一种基于时域高斯滤波的去噪方法。参考空域双边滤波的权值分配方法，引入了灰度值的影响对时域高斯滤波的权值进行修正，解决时域滤波导致的序列图像中运动目标拖尾和模糊。实验结果表明，时域滤波方法能够有效平滑帧间噪声，减轻噪声导致的红外序列图像显示效果的恶化，引入灰度值的影响进行滤波权值修正之后，能够解决时域滤波导致的运动目标拖尾和模糊问题。关键词：红外图像；图像显示；图像去噪；双边滤波；时域滤波中图分类号：TN201; TP391　　　　 文献标志码：A　　　　 DOI：10.5768/JAO202142.0302004Infrared sequence images denoising algorithm based on temporal filteringZHOU Kehu1，LEI Tao1，LUO Gang2（1. Institute of Optics and Electronics, Chinese Academy of Sciences, Chengdu 610209, China；2. NO.63618 Troops, Chinese People’s Liberation Army, Korla 841000, China）Abstract：The infrared image is a commonly used image source of modern optical equipment, the displayeffect of the image directly affects the user experience of the device, and the noise in the infrared sequenceimages can cause the decline of display effect. In order to reduce the effect of noise on the display effect ofinfrared sequence images, by weighting the gray values of multiple historical frames and estimating the noise-free image of the current frame, a denoising algorithm based on the temporal Gaussian filtering was ing to the weight distribution method of spatial bilateral filtering, the influence of the gray value wasintroduced to correct the weight of temporal Gaussian filtering, which solved the trailing and blurring ofmoving targets in sequence images caused by the temporal filtering. The experimental results show that thetemporal filtering method can effectively smooth the noise between frames and reduce the deterioration ofdisplay effect of the infrared sequence images caused by the noise; and the problem of trailing and blurringcaused by the temporal filtering can be solved with the influence of gray value which is introduced to correctthe filtering weight. Key words：infrared image；image display；image denoising；bilateral filtering；temporal filtering引言光学设备广泛应用于侦查、测量等领域，现代光学设备一般配置有可见光、红外等多种波段的探测器，其最终的成像效果受光学系统设计、探测器性能、场景光照条件以及环境温度等诸多因素的影响。但对于用户或设备操作人员，其对于成像效果好坏的感受则直接来源于最终的图像显示效果好坏。红外探测器在光学设备中一般承担着 收稿日期：2021-04-06； 修回日期：2021-04-12基金项目：中国科学院青年创新促进会基金（2016336）作者简介：周克虎（1991—），男，硕士，研究实习员，主要从事图像处理与计算机视觉研究。E-mail：********************

应用光学　2021，42（3）　周克虎，等：一种基于时域滤波的红外序列图像去噪算法· 475 ·目标捕获和高精度位置测量的功能，其图像经常需回传指挥中心进行实时显示。因此，红外图像显示效果的优化对于提升设备的成像质量以及用户体验有着重要的意义。在实际项目中，探测器噪声导致的红外图像显示效果恶化严重影响了设备的成像质量。常见的红外图像去噪方法主要分为空域方法和变换域方法。空域滤波主要是利用噪声空间分布的随机性，传统的方法有均值滤波、高斯滤波等。这类空域滤波算法会导致图像中边缘和纹理的退化，导致表征图像细节信息的关键梯度数据丢失，输出图像整体表现出模糊感。Tomasi等人提出了一种利用灰度距离进行权值修正的空域高斯滤波算法，称为双边滤波（bilateral filter）[1-4]。该算法不仅能够去掉噪声，还能够保持边缘，解决了传统空域滤波算法导致的图像模糊，在很多场合下表现出了较好的去噪效果。但是，该算法没有利用图像时域的相关性，无法去除序列图像显示时噪声引起的帧间灰度随机变化，其时域去噪效果有待提升。区别于直接的空间邻域滤波，非局部均值（non-local means，NLM）滤波算法[5-8]通过图像中多个相似图像块的像素值加权平均进行无噪声图像估计，能较好地去除图像中的高斯噪声并且能够保持边缘。但是该算法计算复杂度高，限制了其在实时显示场合的使用。基于变换域的红外图像去噪方法主要有基于小波变换的方法[9-12]、基于快速傅里叶变换（fastfourier transform, FFT）的方法以及基于离散余弦变换（discrete cosine transform，DCT）的方法等。BM3D（block-matching and 3D filtering）算法[13-14]结合空域NLM算法和变换域去噪方法，通过块匹配和三维变换域滤波进行无噪声图像估计，在保持图像边缘的前提下，实现了优良的去噪效果。但该计算复杂度高，难以实时显示。此外，随着深度学习在计算机视觉领域不断取得突破性进展，深度学习技术在图像去噪领域获得了极大的关注[15]，同时也涌现了很多优秀的算法[16-18]。在光学设备图像实时显示等应用场景中，图像去噪算法的实时性以及去噪效果均十分重要。本文算法是受双边滤波算法的启发，将空域双边滤波算法的核心思想应用至时域，摒弃了传统视频去噪时的运动估计流程[19-20]，不仅具有很高的实时性，而且实现了较好的红外序列图像去噪效果。1 双边滤波介绍双边滤波利用邻域像素点的信息来估计当前像素点的灰度值，以消除噪声的影响，实现空域去噪。其核心思想是在分配空间邻域像素点的滤波权值时同时考虑空间距离和灰度差异，以保证滤波窗口内，与待估计像素点的空间距离越近权值越高，与待估计像素点的灰度值差异越小权值越高。双边滤波定义如下：fˆ(x,y)=1∑Wws(i,j)wr(i,j)g(i,j)（1）(i,j)∈Sxy式中:fˆ(x,y)为去噪后的图像f在像素位置(x,y)处的灰度值；g(i,j)为原始图像g在像素位置(i,j)处的灰度值；W为滤波核的权值归一化系数；Sxy为滤波范围（即待滤波像素位置(x,y)的邻域）；ws为空间距离相关的权值；wr为灰度值相关的权值。双边滤波的滤波核权值由2个高斯函数的值ws(i,j)和wr(i,j)相乘得到，这里分别称为空间距离高斯函数和灰度距离高斯函数。对于(i,j)∈Sxy，定义如下：w1(s(i,j)=|i−x|2+|j−y|2)2πσexp（2）s2−2σw1(s2r(i,j)=|g(i,j)−g(x,y)|2)2πσexp−（3）r22σr2对于(2)式，像素位置(i,j)距离当前滤波像素位置(x,y)的距离越近，权值越大；反之，则权值越小。而对于(3)式，邻域像素位置的灰度值g(i,j)与当前滤波像素点的灰度值g(x,y)的差异越小，权值越大；反之，则权值越小。分析可知，当σr→∞时双边滤波退化为一般的空域高斯滤波。因此，双边滤波的实质是引入了滤波邻域内像素灰度值的影响，对高斯滤波的权值进行了修正，使得在进行当前像素点灰度值估计时，灰度值差异大的邻域像素点权值降低。由于视觉上的图像边缘实质为灰度值的较大变化，上述过程在完成了空域去噪的同时，又很好地保持了边缘。2 算法原理对于同一个像素点，其连续帧间的灰度值受噪声影响出现随机变化，这是导致红外序列图像显示效果恶化的关键因素。因此，本文从时域滤波的角度，利用连续历史帧像素灰度值对当前像素点的灰度值进行估计，实现同一像素位置连续帧

· 476 ·应 用 光 学第 42 卷 第 3 期间灰度值的平滑。此外，为了解决时域滤波导致的运动目标拖尾问题，本文引入历史帧像素灰度值的影响对滤波权值进行修正，避免了时域滤波导致的运动目标拖尾。2.1 时域滤波去噪将二维图像g视为时间相关的函数，记为g(t)，则有：g(t)=f(t)+n(t),t=0,1,2,···,N（4）式中：g(t)表示当前时刻的探测器输出图像；f(t)表示无噪声影响的原始图像；n(t)为噪声；t为用离散的帧编号表示的时间；N为当前已经采集的图像总帧数。每一个像素点的时域高斯滤波估计值定义如下：K−1fˆ(t)=1∑Aws(j)g(t−j),K−1⩽t⩽N（5）j=0w1(s(j)=√2πσexp−j2),s2σs20⩽j⩽K−1（6）式中：A为高斯滤波权值归一化的系数；σs为高斯函数的方差；K为滤波帧数。典型地，K=5，σs=5.0时，归一化的高斯滤波权值（即历史5帧的权值）如下：0.16260.1871THGaussian=0.2068（7）0.21950.2240此时的高斯滤波系数实际为半宽的一维高斯核，且当前帧的权值最高，距离当前帧时间越长的帧对应的权值越小。这个过程完成了单个像素点的时域高斯滤波处理，通过逐像素滤波处理实现整个图像帧的时域去噪。2.2 滤波权值修正对于静态场景，上述时域高斯滤波去噪方法已经具备使用价值，但是对于动态场景，上述方法同一般的视频去噪方法一样，会导致运动目标拖尾的出现，如图1和图2所示。序列1为制冷型红外相机拍摄的图像，图像的背景主要为天空及部分地面，运动目标为工作中的风力发电设备，其叶片的帧间运动明显。可以看出，经过时域高斯滤波之后，转动的叶片边缘出现了明显的模糊。序列2中，图像的背景主要为静止输电铁塔及部分天空，运动目标为飞鸟。运动目标的信噪比为5左右，且在帧间存在明显的位移。经过时域滤波后，运动目标不仅形成了明显的拖尾，而且整体呈现出严重模糊。分析其形成原因发现，在时域高斯滤波的过程中，历史帧相同位置的灰度值会参与对当前帧像素值的估计，当历史帧中存在灰度值差异较大的目标时，可能会导致当前帧灰度值估计值偏差大，在运动目标图像上表现为目标的拖尾。 (a) 原红外图像 (b) 时域滤波后图像图 1 红外序列图像时域高斯滤波去噪效果（序列1）Fig. 1 Denoising effect of temporal Gaussian filtering forinfrared sequence images (sequence 1) (a) 原红外图像 (b) 时域滤波后图像图 2 红外序列图像时域高斯滤波去噪效果（序列2）Fig. 2 Denoising effect of temporal Gaussian filtering for infrared sequence images (sequence 2)通过对动态场景进行分析发现，运动目标覆盖的像素点在连续帧间表现出灰度值突变，与空域上的边缘、纹理有一定的相似性，均表现出明显的梯度变化。受空域双边滤波的启发，引入连续帧灰度值的影响对高斯滤波的权值进行修正。则对于每一个像素点，新的时域高斯滤波估计值定义如下：

应用光学　2021，42（3）　周克虎，等：一种基于时域滤波的红外序列图像去噪算法· 477 ·K−1fˆ(t)=1∑Wws(j)wr(j)g(t−j),K⩽t⩽N（8）Pj=0式中:WP为修正后的滤波权值归一化系数；同空域双边滤波一样，最终的滤波权值由2个高斯函数的值相乘得到，这里分别称为时间距离高斯函数ws(j)和灰度距离高斯函数wr(jw1()t2)，定义如下：s(j)=√2πσexp−,0⩽j⩽K−s2σs21（9）w1()r(j)=√2πσexp−|g(t−j)−g(t)|2,0⩽j⩽Kr2σr2−1（10）式中：σs为时间距离高斯函数的方差；σr为灰度距离高斯函数的方差。可以看出，当σr→∞时(8)式退化为一般的时域高斯滤波，即(5)式。通过增加灰度距离影响的权值修正系数，避免了灰度差异值过大的历史帧像素点参与当前像素点灰度值的估计，从而解决了时域高斯滤波导致的运动目标拖尾问题。3 实验分析3.1 去噪效果时域高斯滤波处理后，红外序列图像中背景区域同一个像素点（取100个固定像素位置，统计连续100帧）连续帧间的灰度方差变化如图3所示。对于背景区域的同一个像素点，其连续帧间灰度变化越平缓（即均方差越小）则显示效果越好。通过图3可以看出，经过时域滤波后同一像素位置连续帧间的灰度值均方差降为原来的1/2左右，可见噪声导致的连续帧间的灰度随机变化被显著平滑。通过观察时域滤波处理后的显示图像发现，原本帧间动态变化的噪声被明显抑制，显示效果得到了有效提升。8原图像7处理后65差方4321像素位置 (a) 序列18原图像7处理后65差方4321像素位置 (b) 序列2图 3 红外序列图像的连续帧灰度值变化方差对比图Fig. 3 Comparison diagram of change variance ofcontinuous frame gray values of infrared sequenceimages选取有运动目标的场景进行实验，红外序列图像去噪后的效果如 图4和图5所示。(a) 双边滤波算法结果(b) NLM算法结果(c) BM3D算法结果 (d) 本文算法结果图 4 不同方法去噪结果对比（序列1）Fig. 4 Comparison of denoising results with differentmethods (sequence 1)

· 478 ·应 用 光 学第 42 卷 第 3 期(a) 双边滤波算法结果(b) NLM算法结果(c) BM3D算法结果 (d) 本文算法结果图 5 不同方法去噪结果对比（序列2）Fig. 5 Comparison of denoising results with different methods (sequence 2)从图4和图5可以看出，使用不同的去噪算法图像中背景部分的噪声均被一定程度地抑制；而风力发电机的叶片边缘以及天空中的飞鸟在去噪后的图像中均比较清晰，没有出现明显的模糊或者拖尾。这说明双边滤波算法、NLM算法、BM3D算法以及本文提出的算法，均有较好的保边去噪效果。3.2 定量评价通过无噪声红外图像叠加零均值高斯噪声来仿真不同噪声水平的含噪图像序列（序列3为室外场景，序列4为室内场景，分别如图6和图7所示），并利用图像去噪领域常用的峰值信噪比（peak signal-to-noise ratio, PSNR）和结构相似性（structural similarity, SSIM）指标对去噪效果进行定量评价。对前述的序列3和序列4（图像大小均为640×480像素）进行实验，统计了去噪后的PSNR（见表1和表2）和SSIM（见表3和表4）。(a) δ=4(b) δ=8 (c) δ=12(d) δ=16图 6 序列3叠加不同水平的高斯噪声Fig. 6 Sequence 3 superimposes different levels of Gaussian noise (a) δ=4(b) δ=8 (c) δ=12(d) δ=16图 7 序列4叠加不同水平的高斯噪声Fig. 7 Sequence 4 superimposes different levels of Gaussian noise 表 1 序列3不同算法去噪后的PSNRTable 1 PSNR of sequence 3 after denoising with differentalgorithmsdB算法类型噪声方差未处理双边滤波NLMBM3D本文算法436.1335.7235.2236.7142.43830.1735.6335.1936.2235.341226.6835.1235.1135.7130.111624.2233.7434.7834.8326.39

应用光学　2021，42（3）　周克虎，等：一种基于时域滤波的红外序列图像去噪算法· 479 · 表 2 序列4不同算法去噪后的PSNRTable 2 PSNR of sequence 4 after denoising with differentalgorithmsdB噪声方差算法类型未处理双边滤波NLMBM3D本文算法436.0639.3339.4139.3842.35830.0738.8539.3438.8035.251226.5637.6039.1438.2529.961624.0935.2138.3037.1426.23 表 3 序列3不同算法去噪后的SSIMTable 3 SSIM of sequence 3 after denoising with differentalgorithms噪声方差算法类型未处理双边滤波NLMBM3D本文算法40.844 70.875 60.867 60.895 20.960 280.591 30.872 40.863 40.886 80.821 8120.404 90.856 90.860 60.878 70.592 6160.286 60.799 30.851 50.854 50.395 6 表 4 序列4不同算法去噪后的SSIMTable 4 SSIM of sequence 4 after denoising with differentalgorithms噪声方差算法类型未处理双边滤波NLMBM3D本文算法40.822 50.946 10.945 90.957 20.954 180.549 70.943 60.946 20.954 70.797 0120.363 30.922 50.945 30.949 20.548 4160.251 70.848 20.933 20.923 00.351 5统计了不同算法的处理时间（硬件配置：i5-8250U 4核CPU，主频1.8 GHz，内存16 GB），如表5所示。 表 5 不同算法的处理时间Table 5 Processing time of different algorithmsms序列名称算法类型双边滤波NLMBM3D本文算法序列318.34 374.04 722.312.9序列421.44 341.35 217.613.4 上述实验中，所有的滤波窗口尺寸均为11×11像素，NLM算法和BM3D算法的模板尺寸为7×7像素，搜索窗口尺寸为21×21像素。从实验数据中可以看出，对于不同噪声水平的图像序列，4种算法均有效提升了图像的PSNR和SSIM指标，其中NLM算法和BM3D算法的指标提升十分显著。不过对于去噪后的图像（参见图4和图5），NLM算法和BM3D算法会导致图像整体呈现明显失真。这种失真在图5中表现的更加突出，其原因是序列2的背景噪声更加严重。双边滤波算法和本文算法导致的失真均比较轻微，但是实验发现：双边滤波对单帧图像进行处理，没有利用时域信息，在连续帧显示的场合，噪声导致的连续帧显示效果恶化仍然存在；本文提出的算法有效地利用了图像噪声帧间分布的随机性，通过帧间平滑处理抑制噪声，在红外序列图像显示时取得了良好的效果。随着噪声水平的提高，可以看到本文算法的效果有所下降，这说明本文算法更加适合低噪声水平的序列图像去噪。此外，NLM算法和BM3D算法的处理时间均超过了4 s（见表5），难以使用在光电成像设备图像显示等实时显示场合。而本文算法实时性高，可以用于序列图像的实时显示。4 结论针对噪声导致的红外序列图像显示效果恶化，本文通过历史多帧像素值的加权和对当前帧的像素值进行估计，提出了一种基于时域滤波的噪声抑制方法。进一步，为了解决时域滤波导致图像中运动目标产生拖尾和模糊的问题，通过灰度距离高斯函数对时域高斯滤波权值进行修正，避免历史帧灰度值差异大的像素值参与当前灰度值估计。实验表明，本文提出的算法有效地抑制了噪声对于连续帧图像显示的影响，同时也解决了时域滤波导致场景中的运动目标产生拖尾的问题。通过与图像去噪领域的优秀算法进行对比，表明了本文算法在对图像实时显示有需求的光电成像设备等应用场景中，具有较高的实际应用价值。参考文献：1］TOMASI C, MANDUCHI R. Bilateral filtering for grayand color images[C]//Proceedings of the Sixth Interna-tional Conference on Computer Vision. India: IEEE,1998.2］ZHANG Zhiqiang, WANG Wanyu. A modified bilateralfiltering algorithm[J]. Journal of Image and Graphics，2009，14（3）：443-447.张志强, 王万玉. 一种改进的双边滤波算法[J]. 中国图象图形学报，2009，14（3）：443-447.3］CHEN Xiaohong, WANG Weidong. A HDTV video de-［［［

· 480 ·应 用 光 学第 42 卷 第 3 期noising algorithm based on spatial-temporal filtering[J].Journal of Zhejiang University(Engineering Science)，2013，47（5）：853-859.陈潇红, 王维东. 基于时空联合滤波的高清视频降噪算法[J]. 浙江大学学报(工学版)，2013，47（5）：853-859.［4］WANG Tao, CHEN Fansheng, SU Xiaofeng. Research ofbackground suppression method based on spatial-tempor-al bilateral filter[J]. Journal of Applied Optics，2016，37（6）：854-859.王涛, 陈凡胜, 苏晓锋. 时空域双边滤波背景抑制算法研究[J]. 应用光学，2016，37（6）：854-859.［5］BHUJLE H, CHAUDHURI S. Novel speed-up strategiesfor non-local means denoising with patch and edge patchbased dictionaries[J]. IEEE Transactions on Image Pro-cessing，2014，23（1）：356-365.［6］BUADES A, COLL B, MOREL J M. A non-local al-gorithm for image denoising[C]//IEEE Computer Soci-ety International Conference on Computer Vision and Pat-tern Recognition. USA: IEEE, 2005.［7］WANG Zhiming, ZHANG Li. An adaptive fast non localimage denoising algorithm[J]. Journal of Image andGraphics，2009，14（4）：669-675.王志明, 张丽. 自适应的快速非局部图像去噪算法[J].中国图象图形学报，2009，14（4）：669-675.［8］LI Fangzhou, ZHAO Yaohong, XIANG Wei, et al. In-frared image mixed noise removal method based on im-proved NL-means[J]. Infrared and Laser Engineering，2019，48（S1）：169-179.李方舟, 赵耀宏, 向伟, 等. 基于改进非局部均值的红外图像混合噪声去除方法[J]. 红外与激光工程，2019，48（S1）：169-179.［9］ZHANG Baohua, LIU He. Infrared image denoising al-gorithm based on sub-band component threshold estima-tion[J]. Chinese Journal of Lasers，2014，41（8）：224-231.张宝华, 刘鹤. 采用子带分量阈值估计的红外图像去噪方法[J]. 中国激光，2014，41（8）：224-231.［10］YANG Huixian, WANG Xusi, XIE Penghe, et al. In-frared image denoising based on improved threshold andinter-scale correlations of wavelet transform[J]. ActaAutomatica Sinica，2011，37（10）：1167-1174.杨恢先, 王绪四, 谢鹏鹤, 等. 改进阈值与尺度间相关的小波红外图像去噪[J]. 自动化学报，2011，37（10）：1167-1174.［11］CHEN Xiaoming, YAN Jinglong, LI Yujue, et al. In-frared image de-noising based on redundant DWT[J].Laser & Infrared，2013，43（3）：265-271.陈小明, 颜景龙, 李玉珏, 等. 基于信息冗余的小波红外图像去噪算法[J]. 激光与红外，2013，43（3）：265-271.［12］ZHANG Changjiang, FU Mengyin, JIN Mei. Method ofinfrared image denoising based on discrete orthogonalwavelet transform[J]. Infrared and Laser Engineering，2003，32（4）：401-406.张长江, 付梦印, 金梅. 基于离散正交小波变换的红外图像去噪方法[J]. 红外与激光工程，2003，32（4）：401-406.［13］DABOV K, FOI A, KATKOVNIK V, et al. Image denois-ing by sparse 3-D transform-domain collaborative filter-ing[J]. IEEE Transactions on Image Processing，2007，16（8）：2080-2095.［14］BURGER H C, SCHULER C J, HARMELING S. Imagedenoising: Can plain neural networks compete withBM3D?[C]//IEEE Conference on Computer Vision andPattern Recognition. USA: IEEE, 2012.［15］TIAN Chunwei, FEI Lunke, ZHENG Wenxian, et learning on image denoising: An overview[J].Neural Networks，2020，131：251-275.［16］TIAN Chunwei, XU Yong, LI Zuoyong, et al. Attention-guided CNN for image denoising[J]. Neural Networks，2020，124：117-129.［17］EHRET T, DAVY A, MOREL J M, et al. Model-blindvideo denoising via frame-to-frame training[C]//IEEE/CVF Conference on Computer Vision and PatternRecognition. USA: IEEE, 2019.［18］TASSANO M, DELON J, VEIT T. FastDVDnet: To-wards real-time deep video denoising without flow estim-ation[C]//IEEE/CVF Conference on Computer Visionand Pattern Recognition. USA: IEEE, 2020.［19］TAN Hongtao, TIAN Fengchun, ZHANG Sha, et al. Im-proved video denoising method based on motion com-pensated sphere bilateral filtering[J]. Systems Engineer-ing and Electronics，2010，32（12）：2701-2706.谭洪涛, 田逢春, 张莎, 等. 结合运动补偿的球体双边滤波视频降噪算法[J]. 系统工程与电子技术，2010，32（12）：2701-2706.［20］LONG Hongmei, TIAN Fengchun, TAN Hongtao, et al.3D video noise reduction based on motion estimation[J].Computer & Digital Engineering，2009，37（6）：122-124.龙红梅, 田逢春, 谭洪涛, 等. 一种基于运动估计的3D视频降噪算法[J]. 计算机与数字工程，2009，37（6）：122-124.