admin 管理员组

文章数量: 887021


2024年3月11日发(作者:面向对象程序设计教程第三版答案)

运营管理

基于铁路5C装置的受电弓滑板

缺陷智能检测技术

莫小凡

1

,王科理

1

,潘长清

2

,赵文军

3

,占栋

3

(1.中国铁道科学研究院集团有限公司标准计量研究所,北京

3.成都唐源电气股份有限公司,四川成都610000)

2.中铁检验认证中心有限公司,北京100081;

100081;

摘要:受电弓的异常状态是对高速铁路运营安全影响较大且备受关注的问题。基于计算机视

觉的受电弓滑板缺陷智能检测技术,结合改进的YOLOv4模型与边缘提取等传统图像处理算法,

研究适用于受电弓滑板监测装置(5C)的缺陷智能识别模型。铁路现场试验证明该智能识别模

型在受电弓滑板缺陷检测中的有效性和实时性。

关键词:受电弓;受电弓滑板监测装置(5C);智能识别;图像处理

中图分类号:U216.3文献标识码:A文章编号:1001-683X(2022)02-0148-08

DOI:

10.19549/.1001-683x.2021.07.14.002

1概述

高速铁路作为铁路运输的重要组成部分,不仅具

在效率低下、检测标准不一致等诸多问题。在此前提

下,一种新的检测方法被提出,即受电弓滑板监测装

置(5C)安装在电力机车或高速铁路的车站、车站咽

喉区和动车段、机务段出入库线路上,采用高速、高

分辨率、非接触式图像分析测量技术,实现了对受电

弓滑板的损坏、断裂等重要隐患的动态自动检测和车

顶异物及关键部件状态的室内可视化观测

[2-4]

目前常用的受电弓定位方法是采用霍夫变换提取

受电弓碳滑板边缘

[5]

,进而通过直线测距方法计算滑

板磨耗值

[6-7]

,但传统图像处理手段不均匀,光照和噪

声等影响因素较为敏感,难以应对受电弓检测的复杂

工况。近年来,随着人工智能和大数据分析技术的快

有便民、安全、实惠的优点,且因其快速、舒适的特

点成为大众出行的重要选择之一。高铁的发展给社会

带来便利的同时,其运输安全也日益受到重视

[1]

,受

电弓的可靠运行在很大程度上决定了高铁运输的安全

性。为保障列车维持正常运行状态,及时检知受电弓

故障问题,必须对受电弓进行快速准确的检测。目前

的检测方法仍然停留在人工检测阶段,且人工检测存

第一作者:

莫小凡(1988—),女,工程师,硕士。

E-mail:*****************

-148-

CHINARAILWAY

2022/02

基于铁路5C装置的受电弓滑板缺陷智能检测技术莫小凡等

运营管理

速发展,人脸、指纹、虹膜等智能识别理论与技术已

渐趋成熟,在机场与车站安检、网络支付、上班考勤

等方面得到广泛应用,解决了传统技术难以突破的关

键技术难题

[3]

。针对受电弓及其缺陷为对象做出相应

的优化,提出结合深度学习和传统图像处理方法的智

能检测算法,并以此阐述机器视觉技术在高速铁路检

测中的应用。

远程网络传输通道、用户终端等组成(见图1)。该

装置能够:(1)探测到受电弓滑板状态,并将采集

到的视频或图像信息传输给相关管理部门;(2)智

能分析受电弓滑板状态,识别并报警受电弓滑板出

现的异常情况;(3)能对动车组车号进行抓取并

识别。

受电弓触发模块一般安装在支柱上,通过结构件

固定。受电弓成像模块一般安装在硬横梁上,设计为

一定的拍摄角度。雷达和车号成像模块一般安装在支

柱上,便于雷达监测车速。安装示意见图2。

2受电弓检测及滑板缺陷智能识别方案

5C主要由高清成像设备、数据采集处理设备、

图15C组成示意图

(a)受电弓触发模块安装(b)受电弓成像模块安装

图25C主要模块安装示意图

(c)雷达和车号成像模块安装

3受电弓智能识别定位

基于深度学习目标检测模型的受电弓智能识别定

处理以及算法的验证实验。

3.1模型设计

实现受电弓缺陷检测功能的前提是对5C采集图像

位方法包括深度学习目标检测模型设计,受电弓数据中的受电弓进行目标定位。深度学习方法以海量数据

CHINARAILWAY

2022/02

-149-

运营管理

基于铁路5C装置的受电弓滑板缺陷智能检测技术莫小凡等

和先进的计算资源为基础,通过神经网络模型实现自

动的数据特征学习和提取。相比于传统图像处理方法

中人为选定图像特征及人为制定分类标准,深度学习

方法所得到的特征具有更优秀的泛化性和鲁棒性,适

用于多变的复杂场景

[8]

受电弓智能识别采用基于深度学习的图像目标检测

网络作为算法模型。传统的图像目标检测算法以R-CNN

为代表,以卷积神经网络对图像特征的提取为基础,

将目标检测任务拆分为两步:对候选框的位置回归和

对候选框内的图像分类,称为two-stage网络模型

[9]

而近年来例如YOLO、SSD等one-stage网络的出现,不

仅在定位精度上超越了R-CNN,同时在运行速度上也

有了很大提升

[7]

。最新的YOLOv4网络模型作为算法

的基础结构,根据受电弓图像背景复杂、目标较大等

特点对网络结构进行调整,最终实现受电弓的智能识

别功能。YOLOv4的网络结构见图3。

图3YOLOv4网络结构示意图

网络

YOLOv4

CSPDarknet53

网络模型主要由

,路径聚合

4

PANet

个网络结构组成:主干

(PathAggregation

Pooling

Network

网络以及检测头

网络,多尺度

YOLOhead

特征SPP

(SpatialPyramid

主干网络是提取特征的网络,在整个网络结构中

的作用就是提取图片中的信息,供后面的网络结构使

用。Darknet网络是通过逐层卷积计算,在不同尺度和

感受野中提取图像的特征。CSP(CrossStagePartial)

结构是一种网络结构设计的优化方式,可实现更丰富

的梯度组合,同时减少计算量。CBM结构是YOLOv4网

络结构中的最小组件,由Conv+Bn+Mish三者组成,其

中Conv代表卷积层,是最基本的图像运算单元;Bn代

表批归一化层,用来加速模型收敛;Mish是激活函数,

用来增加网络非线性运算。YOLOv4在设计时为了追求

极致准确率,选用了计算较为复杂的Mish激活函数。

其计算公式见式(1):

-150-

式中:x为网络卷积层计算得到的特征值。路径聚合

Mish=x⋅tanh(ln(1+e

x

))

,(1)

特征融合模块。特征融合模块作用是连接主干网络和检

PANet网络、多尺度特征SPP网络共同构成了YOLOv4的

测头,接受主干网络提取到的特征并通过一定方式进行

融合,再输出给检测头进行检测分类。SPP网络即空间

金字塔池化,该结构可使网络不受图像尺寸的限制输出

统一大小的图像数据,同时提取多尺度的特征便于更好

的进行分类。PANet网络是图像多尺度特征融合的路径

网络,它具有自下而上的路径通道,极大缩短了低级特

征和高级特征的通信路径长度、提升特征融合的效率。

检测头YOLOhead的作用是根据前面结构中计算的

特征对结果进行评价。通过计算YOLOloss来评价样本

与标签的符合程度。总的来说,YOLOv4从设计层面是

面向日常场景下多类目标的检测任务,其特点是运行

速度快,支持类别数多。

但接触网的场景与日常场景有很大区别,例如:

(1)图像数据的差异。由于5C装置安装在车辆线

路的特定位置,采集到的图像背景基本固定,不同时

间空间采集的数据之间背景差异较小。同时,列车顶

部的受电弓区域的各类部件安装较为密集,图像中各

个部件交错在一起没有确定边界,分类难度大。

(2)任务类型的差异。日常场景下需要对生活中

的各类物体进行检测,而受电弓智能识别的任务目标

较为单一,不需要支持多种类型的分类。

(3)识别需求的差异。受电弓智能识别任务对目

标边界的检测准确性要求与理论场景的也有不同。受

电弓智能识别对于目标边框检测需要兼顾识别准确性

与实时性,而YOLOv4在设计时更多偏向准确性的提

升,可能会牺牲部分运算速度。

针对上述3点不同,结合受电弓智能识别的业务特

点,对网络结构提出以下改进:

(1)选用ShuffleNetv2主干网络替换现在的CSP⁃

Darknet53

信息,所以模型无需选用复杂的深层网络进行特征提

。由于接触网场景不需要支持多类别的分类

取,可选用更简单更轻型的网络来实现。ShuffleNetv2

是一个高效快速的特征提取网络,其根据高效网络的

设计准则对网络结构进行优化,相比Darknet53在运行

效率上有极大提升

[10]

。2种网络模型的比较见表1。

CHINARAILWAY

2022/02

基于铁路5C装置的受电弓滑板缺陷智能检测技术莫小凡等

运营管理

表1ShuffleNetv2与CSPDarknet53对比

网络类型网络参数大小/MB运行耗时/ms

ShuffleNetv22.32

Darknet53245.812

(2)选用LeakyRelu激活函数来代替Mish函数。由

于每次基本运算后都需要计算激活函数,故选用Mish

函数的时间成本和计算成本较大,且对于准确率并没

有显著提升,其性价比较低。而受电弓智能识别模型

需要兼具准确性和运行速度,所以对其中的激活函数

进行更换,采用计算简单同时效果也几乎没有下降的

LeakyRelu

函数的计算公式见式

激活函数来代替

(2):

Mish函数。LeakyRelu激活

Leaky=

{

x,x≥0

ax,x<0

,(2)

式中:x为网络卷积层计算得到的特征值;

a

取值范围

为(0,1),根据实际应用选取。对比式(1)及式(2)

可明显看出其计算复杂度的差别。

(3)选用NAS-FPN代替原有的路径搜索模块

PANet

难度大,在特征融合部分需要更为强大的特征提取网

。由于5C受电弓识别任务背景干扰较多,检测

络。NAS-FPN使用神经网络架构搜索NAS(Neural

Architecture

FeaturePyramid

Search

Networks

)技术

的架构进行优化,该方法

特征金字塔网络FPN

采用搜索方式代替人为规划各尺度间的特征融合方式,

融合效果方面较为优秀,而速度方面也没有明显变慢。

综上所述,在沿用YOLOv4的总体设计框架的基础

上,结合5C实际业务场景,对模型内结构进行调整。

调整后的模型结构见图4。

图4调整后的YOLOv4网络结构

3.2图像样本扩增

5C

1)

采集的原始图像存在以下问题:

图像质量参差不齐。有时由于受光照、车速、

信号干扰等因素的影响,部分图像会出现模糊、噪声

干扰、欠曝光、过曝光等图像质量问题。而这类图像

CHINARAILWAY

2022/02

在整个数据集中的分布较少。直接采用原始数据集来

进行训练,会导致训练得到的模型分布不均匀,识别

效果不佳。

(2)样本分布不均衡。即受电弓有缺陷的图像相

比正常数据太少,影响模型的识别结果。

为解决以上问题,须对原始图像进行数据增强处

理。数据增强处理的原理是通过图像运算、图像裁剪、

图像旋转等方式,在原有样本基础上,生成新的样本

加入数据集中,从而改变数据集的样本分布。

样本扩增分为单样本扩增和多样本扩增。YOLOv4

网络模型中集成了多样本扩增的Mosica方法,故在此

基础上,加入采用单样本扩增的方式,包括图像翻转、

对比度变化、灰度调整、添加噪声、图像模糊等方法,

模拟图像质量不佳的情况,保证训练模型的普适性和

稳定性。

3.3模型训练与验证

(1)原始图片集。受电弓数据来源于受电弓高清

成像系统,包含不同路况、不同角度和不同身型的受

电弓图像数据,共计2000张,统计信息见表2。受电

弓图像数据集展示见图5。

表2训练集与测试集图像类型占比统计%

图像类型正常图像亮度过暗亮度不均

训练集图像

78.4811.2610.26

测试集图像

68.8014.4616.74

图5受电弓图像数据集展示

(2)实验平台。实验平台硬件信息:显卡型号

GTX1080Ti

息:操作系统

,内存

ubuntu16.04

16GB和

,基于

250GB

TensorFlow

固态硬盘;软件信

深度学习

平台。

(3)数据集制作。由于数据集的样本分布不均,

采用3.2小节所述方法对亮度过暗和亮度不均的图像进

行扩增,使过暗与不均的图像总数与正常图像大致相

-151-

运营管理

基于铁路5C装置的受电弓滑板缺陷智能检测技术莫小凡等

当,扩增后图片总数为3000张。由于采用的是有监督

方式,在训练受电弓零部件检测网络前,需要手动标

注3000张受电弓图像,其中80%图像作为受电弓识别

的训练集,剩余20%作为本模型的测试集合。使用

labelimg

图像中的滑板位置,脚本会将其自动转换为

脚本工具进行标注,使用方框标记每张受电弓

YOLO网络

的输入数据格式。

(4)模型训练。使用上述数据集训练受电弓识别

YOLOv4

由曲线可知

模型。训练过程中,模型损失值的变化见图

4000次迭代后,最终模型在训练集上的损

6。

失值loss稳定在0.05附近波动,且变化较小,说明模型

已基本收敛。

图6模型训练loss图

(5)受电弓识别模型测试。为验证基于YOLOv4的

受电弓识别模型的准确性,使用测试集中600张受电弓

图像进行测试。软件界面和典型图像的受电弓识别效

果见图7。

(6)受电弓识别模型实际验证。在训练计算机上

对模型的性能测试需要在模型完成收敛后进行。输

入尺寸为1080p的受电弓图像10组,每组200张。不

同质量图像类别的识别率统计和识别耗时曲线见

表3、图8。

现场数据结果表明,模型对于正常亮度质量较好

的图像可达到97.07%的准确率。当图像中存在亮度过

暗或亮度不均等极端现象时,检测准确率分别为

81.08%和90.64%,识别效果有待提升。平均图片识别

-152-

图7受电弓识别软件效果图

表3图像识别率统计%

组号

图像类别

正常亮度亮度过暗亮度不均

198.9481.5691.55

298.7680.3290.43

397.6582.2392.25

496.4380.5791.44

598.8879.7491.05

699.3278.4389.89

796.4683.5889.76

897.3282.9788.86

996.9881.2290.12

1098.3380.1391.09

图8受电弓识别耗时曲线

时间为12.75ms。考虑到现场5C线扫描相机采样率

10

模型可满足现场精准在线实时作业需求。

kHz,生成图片行数2048,总体而言,受电弓识别

CHINARAILWAY

2022/02

基于铁路5C装置的受电弓滑板缺陷智能检测技术莫小凡等

运营管理

4受电弓滑板缺陷智能检测

在列车运行过程中,受电弓可能受到来自外力的

作用造成零部件受损和故障。正常情况下,受电弓的

2

平行

条滑板为平行状态,但在被打弓后,容易出现滑板不

(结构异常)的情况,如不能被及时检测到,极

易威胁到行车安全。在受电弓定位的基础上对上述缺

陷进行检测识别。

4.1滑板结构异常检测原理

弓网在线相机持续采集受电弓图像,利用上述模

型定位受电弓区域。结合传统图像处理方法提取2根碳

滑板轮廓特征,并设定阈值判断2条受电弓滑板是否存

在结构异常。算法流程见图9。设备采集图像存在较多

噪声干扰,首先对图片进行滤波操作消除高频噪声干

扰,运用边沿算子对轮廓初步提取,然后洗濯边缘特

征点,对滑板边沿直线进行精密拟合,最后与设置的

阈值比较,进行滑板结构异常判断。

图9受电弓滑板结构异常检测流程

(1)图像滤波去噪。降噪采用高斯滤波算法,可过

滤掉孤立的噪声异常点,提升图像质量,减少后续边缘

提取过程中的干扰边缘。高斯滤波过程中,每个像素点

均由加权平均后得到,此处选用高斯核模板如下:

é

ê

ê

ê

0.09450.1180.094

ë

0.118

0.094

3

5

0.147

3

0.118

5

0.118

8

30.094

3

ù

ú

5

ú

ú

û

受电弓原始图像滤波前后效果见图10。

(2)受电弓轮廓提取。对梯度图像进行边沿提取

时采取canny算子。图像中灰度的变化与梯度值大小呈

正相关。在边缘提取前,首先将二值化方法应用于梯

度图像,提取出强边缘,其中二值化阈值设置为150。

CHINARAILWAY

2022/02

(a)原始图

(b)滤波后

图10受电弓原始图像与滤波后图像

为了避免干扰边缘的提取,需要在强边缘的基础上再

进行边缘检测(见图11)。

(3)滑板精细提取。边缘提取的线条呈现出各个

方向,为减少后续算法处理时间,首先对线条通过角

度进行过滤,去除和x轴角度相差较小的线条。方向过

滤方式:将线条上所有坐标点做直线拟合,计算拟合

后的直线与x轴的角度,根据角度保留和x轴角度差较

大的线条,结果见图12。

(4)滑板结构异常判定。在已保留的直线中,计算

每2条直线间的角度。设置阈值为15°,若直线间的角度

-153-

运营管理

基于铁路5C装置的受电弓滑板缺陷智能检测技术莫小凡等

图11边缘提取效果

图12碳滑板精细提取效果

出现大于阈值的情况,则判定为受电弓碳滑板结构存在

异常,否则认为受电弓结构正常。判定结果见图13。

4.2结构异常检测验证

以某线路数据为基础,对受电弓滑板缺陷智能检

测算法模块进行车载动态试验。试验中利用受电弓状

态在线检测装置采集受电弓动态图像,并根据现场实

测数据,分析受电弓识别和缺陷判定情况,验证算法

模型的实时性和有效性。

线路巡检获取270张受电弓图片,其中40张图片

存在碳滑板结构异常。利用上述受电弓滑板结构异常

监测算法对图片进行结构异常判定。经统计,检测过

程中每张图像耗时11.14ms。已知现场5C线扫描相机

采样频率10kHz,生成图片行数2048。每张图片的耗

时曲线和图像识别率见图14和表4。

-154-

(a)正常

(b)异常

图13滑板缺陷异常判定

图14受电弓结构异常识别耗时曲线

CHINARAILWAY

2022/02

基于铁路5C装置的受电弓滑板缺陷智能检测技术莫小凡等

运营管理

表4

准确率

受电弓结构异常检测准确率统计

正常图片

95

亮度过暗

90

亮度不均

90

%

[3]张润宝,杨志鹏.接触网运行状态检测监测系统研

究与实践[J].中国铁路,2019(9):64-70.

[4]乔明星,陈森.关于普速接触网与受电弓滑板监测系

统(5C)的探讨[J].科技与创新,2015(18):124-125.

[5]AYDIN,proachbasedonfirefly

algorithmforvision-basedrailwayoverheadinspection

system[J].Measurement,2015(74):43-55.

究[D].南京:南京理工大学,2017.

[7]LECUNY,nt-basedlearning

theIEEE,1998,86(11):2278-2324.

ArXiv,2020(4):10934.

appliedtodocumentrecognition[J].Proceedingsof

Optimalspeedandaccuracyofobjectdetection[J].

5结束语

从受电弓在线检测需求出发,将YOLOv4结构应用

到5C智能识别场景中。设计基于YOLOv4的检测算法

从5C图像中准确提取受电弓目标区域,进而实现受电

弓滑板结构异常的检测。某线路车载现场试验结果显

示,所述受电弓滑板结构异常检测算法鲁棒性好,在

复杂场景中均保持90%及以上的识别精度,且平均检

测用时约10ms,可满足受电弓状态在线检测的实时性

需求。但受电弓识别模型在图像出现亮度过暗、亮度

不均时,识别率分别为81.08%和90.64%,识别精度有待

提升。对于受电弓图像质量不佳的情况,在现有YOLOv4

模型基础上,还要加入更多的目标检测方法,尤其针

对受电弓工况的图像预处理方案,使受电弓滑板缺陷

智能检测技术具有更强的实际应用价值。

[6]陈双.基于图像处理的受电弓故障检测算法研

[8]BOCHKOVSKIYA,WANGC,4:

[9]HoangVT,calanalysisonrunningspeedfor

efficientCNNarchitecturedesign[C]//12thInternational

221-224.

ConferenceonHumanSystemInteraction(HSI),2019:

[10]CHRISYING,KLEINARON,REALESTEBAN,etal.

Nas-bench-101:Towardsreproducibleneuralarchi⁃

tecturesearch[J].InternationalConferenceonMa⁃

.2019(5):7105-7114.

参考文献

[1]吴积钦.受电弓——接触网系统电接触特性研

究[D].成都:西南交通大学,2009.

[2]中国铁路总公司.受电弓滑板监测装置(5C)暂行技

术条件:TJ/GD008—2014[S].北京:中国铁道出版

社,2014.

责任编辑曲昳

收稿日期2021-07-14

IntelligentDefect-DetectionTechnologyofPantographPanBased

ontheImagefromRailway5CDevice

MOXiaofan

1

,WANGKeli

1

,PANChangqing

2

,ZHAOWenjun

3

,ZHANDong

3

(rds&MetrologyResearchInstitute,ChinaAcademyofRailwaySciencesCorporationLimited,Beijing100081,China;

ailwayTest&CertificationCenterLimited,Beijing100081,China;

uTangyuanElectricColtd,ChengduSichuan610000,China)

Abstract:

Theabnormalconditionofthepantographisofgreatinfluenceontheoperationsafetyofhighspeed

nthecomputervisionintelligentdefect-detectiontechnologyof

pantographpans,combinedwithimprovedtraditionalimageprocessingalgorithmssuchasYOLOv4modelandedge

extraction,thispapermakesastudyoftheintelligentdefect-recognitionmodelapplicabletothemonitoringdevice

(5C)ectivenessandreal-timeperformanceofthisintelligentrecognitionmodelinthe

detectionofthepantographpandefectsaredemonstratedintherailwayfieldtests.

Keywords:

pantograph;monitoringdevice(5C)ofpantographpans;intelligentrecognition;imageprocessing

CHINARAILWAY

2022/02

-155-


本文标签: 电弓 图像 检测 滑板 模型