本发明涉及煤矸石检测识别领域，具体涉及一种煤块识别检测分选系统。
背景技术：
煤炭是中国的主要能源和碳资源，连续多年在一次能源结构中所占比例超过70％。预计到2030年，煤炭占一次能源消费比例的60％。选煤是洁净煤技术的源头和基础。国务院印发的《大气污染防治行动计划》把提高煤炭洗选比例作为加快调整能源结构、增加清洁能源供应的重要手段。手选矸是原煤入洗的重要工艺环节，该岗位工作环境差、劳动强度大、用工困难且存在较大安全隐患，已经成为选煤行业亟待解决的痛点之一。
技术实现要素：
为解决上述问题，本发明提供一种基于机器视觉和深度学习的精煤与煤矸石识别分拣系统。
具体的技术方案如下：
一种煤块识别检测分选系统，包括传送带，其特征在于，所述传送带设有转速控制装置，转速控制装置连接到管理系统；传送带的上方设有图像采集装置和机械手分拣装置；
所述图像采集装置包括光源、摄像头和调焦装置，所述图像采集装置连接有图像识别模块，图像识别模块连接到管理系统；
所述机械手分拣装置连接有机械手控制器，机械手控制器连接到管理系统；
图像采集装置拍摄传送带上输送的原煤和煤矸石的图像，图像识别模块通过深度神经网络识别出煤块与煤矸石，管理系统根据图像识别模块的识别结果发送动作信号到机械手控制器，机械手控制器控制机械手分拣装置将原煤和煤矸石分别拨到原煤仓和矸石仓中。
进一步的，所述机械手控制器还连接有传送带转速测试装置。
进一步的，所述图像采集装置的光源采用光照均匀的面光源。
进一步的，所述管理系统还连接到云端数据中心。
进一步的，所述机械手分拣装置包括两台机械手。
进一步的，所述图像识别模块通过深度神经网络识别出煤块与煤矸石的方法包括如下步骤：
步骤一)建立并初始化煤矸石分类识别深度神经网络模型；建立数据库，所述数据库有多个已标定完成的煤矸石图像；利用开源数据集imagenet、coco、voc预训练深度神经网络；
步骤二)利用数据库已标定图像对深度网络进行微调训练，完成对深度神经网络的训练；
步骤三)通过图像采集装置采集初始图像；将初始图像从rgb彩色空间转换成hsv彩色空间，再对进行灰度化处理，在进行闭运算、开运算滤波处理后得到待检测图像
步骤四)将待检测图像输入到训练好的深度神经网络中，煤矸石识别模型输出煤块与煤矸石的识别结果。
进一步的，所述步骤一)中预训练深度神经网络具体步骤为：使用imagenet数据集对基底网络进行分类训练；移除基底网络中最后的分类层，并在神经网中间层8倍、16倍、32倍下采样层接入识别网络；使用coco、voc数据集对整个网络进行训练。
进一步的，所述将初始图像从rgb彩色空间转换成hsv彩色空间的方法具体步骤为：
令像素点的彩色参数在rgb单位化立方体中的坐标为(r,g,b)，设彩色参数(r,g,b)中最大值为max，最小值为min。
步骤612，令像素点的彩色参数在hsv彩色空间中的坐标为(h,s,v)。
步骤613，通过公式1计算h值：
步骤614，通过公式2计算s值：
步骤615，通过公式3计算v值。
v＝max
本发明的有益结果是：本发明通过采集到的大量煤块与煤矸石训练图像完成对煤块与煤矸石的识别训练操作，之后从高速摄像头中获取需要识别的煤块煤矸石图像，最后将采集到的图像输入到完成训练后的深度神经网络模型中，深度神经网络输出待识别煤块煤矸石的识别结果。以上整个过程无需人工干预，识别准确率高并且可以做到实时识别。可以节省大量时间和人力成本。
附图说明
为了清楚说明本发明案例中的技术方案，下面对实施案例描述中所需要使用的附图进行说明。所描述的附图是本发明所使用模型的结构方案，为本发明的一部分示例，而不是全部实例。本领域的技术人员在不付出创造性劳动的前提下，还可以根据这些附图获得其他设计方案和附图。
图1为煤块识别检测分选系统结构示意图。
图2为煤块识别检测分选系统使用示意图。
具体实施方式
系统结构：
如图1所示的一种煤块识别检测分选系统，包括传送带，其特征在于，所述传送带设有转速控制装置，转速控制装置连接到管理系统；传送带的上方设有图像采集装置和机械手分拣装置；
所述图像采集装置包括光源、摄像头和调焦装置，所述图像采集装置连接有图像识别模块，图像识别模块连接到管理系统。
所述机械手分拣装置连接有机械手控制器，机械手控制器连接到管理系统；如图2所示机械手分拣装置包括两台机械手。三自由度平动机械手机构，其中在x-z平面内布置一个高速运动的并联机构，带动手爪上下、左右运动实现横向推送被选出物动作，运动范围x*z＝800mm*300mm，机械手末端横向推力10kg，每一个“推矸石-回位”动作循环周期为1秒。在y方向布置一个直线运动机构，在手爪推送被选出物过程中与皮带同速运动，以保持手爪与被选出物之间在y向相对静止，该运动范围150mm。x-z运动机械手采用对称并联结构，相当于人体两臂合抓手爪运动，两组伺服电机减速器安装在肩部，在两条臂上装有同步带和平行杆组约束手爪方向。两个伺服电机转角、转速的配合运动实现末端手爪沿既定轨迹运动。采用同步带和弹性连杆减小冲击对机构的影响。y方向运动采用伺服电机驱动滚珠丝杠驱动，采用直线轴承的双柱导向。手爪外侧手指分别由一个气缸驱动摆动。
图像采集装置拍摄传送带上输送的原煤和煤矸石的图像，图像识别模块通过深度神经网络识别出煤块与煤矸石，管理系统根据图像识别模块的识别结果发送动作信号到机械手控制器，机械手控制器控制机械手分拣装置将原煤和煤矸石分别拨到原煤仓和矸石仓中。所述机械手控制器还连接有传送带转速测试装置。
所述图像采集装置的光源采用光照均匀的面光源。具体采用led灯配合扩散板。扩散板最大的特点是对光源造成干涉，将原始杂乱的设计配光曲线经过散光调整后形成固定160°-176°的稳定恒光系统。研究证明，光束角越大照度越低，有些还会产生滤光，选用该亚克力散光板的透光率可达85％，能使光源均匀的分布在画面上，不会形成残留影像。灯光散光不刺眼，对led灯源不穿透。
进一步的，所述管理系统还连接到云端数据中心。
煤矸石识别方法：
步骤100.建立并初始化煤矸石分类识别深度神经网络模型。
步骤200.建立数据库，所述数据库有多个已标定完成的煤矸石图像。
步骤300.利用开源数据集imagenet、coco、voc预训练深度神经网络。
步骤400.利用数据库已标定图像对深度网络进行微调训练，完成对深度神经网络的训练。
步骤500.通过高速摄像头采集图像，将所采集的图像定义为初始图像。
步骤600.对步骤500采集的初始图像进行图像预处理，得到待检测图像。
步骤700.将步骤600中所述待检测图像输入步骤400所述深度神经网络中，所述煤矸石识别模型输出煤块与煤矸石的识别结果。
作为上述技术方案的进一步改进，步骤300、步骤400中以及步骤700中，深度神经网络的结构包括基底网络和识别网络。
作为上述技术方案的进一步改进，步骤300中，预训练深度神经网络包括以下步骤：
步骤310.使用imagenet数据集对基底网络进行分类训练。
步骤320.移除基底网络中最后的分类层，并在神经网中间层8倍、16倍、32倍下采样层接入识别网络。
步骤330.使用coco、voc数据集对整个网络进行训练。
作为上述技术方案的进一步改进，步骤600包含以下步骤：
步骤610，将所述待测图像从rgb彩色空间转换成hsv彩色空间。
步骤620，对所述待测图像进行灰度化处理。
步骤630，对所述待测图像进行闭运算、开运算滤波处理。
作为上述技术方案的进一步改进，步骤610中，对所述待测图像的每个像素点执行以下操作。
步骤611，令像素点的彩色参数在rgb单位化立方体中的坐标为(r,g,b)，设彩色参数(r,g,b)中最大值为max，最小值为min。
步骤612，令像素点的彩色参数在hsv彩色空间中的坐标为(h,s,v)。
步骤613，通过公式1计算h值：
步骤614，通过公式2计算s值：
步骤615，通过公式3计算v值。
v＝max(公式3)
步骤700的识别结果包括煤块和煤矸石的大小和位置，若识别结果中存在煤块，则输出煤块的大小级别和离标定点的距离。
深度神经网络：
基底网络：
在基底网络结构中，每一层的输出都导入后面的所有层，与残差网络的相加不同的是，本发明的单元结构使用的是连结结构(concatenate)。这样的结构可以减少网络参数，避免残差网络中可能出现的缺点(例如某些层被选择性丢弃，信息阻塞等)。
计算公式为：
xl＝h([x0,x1,…,xl-1])
xl代表l层featuremap，h代表卷积变换。
中的过渡层(transitionlayer)包含瓶颈层(bottlenecklayer，即1*1卷积层)和池化层。瓶颈层1*1的卷积层用于压缩参数。每一层输出k个featuremaps，理论上将每个denseblock输出为4k个featuremaps，然而实际情况中会大于这个数字。卷积层的作用是将一个denseblock的参数压缩到4k个。所使用组成函数为batchnormalization+relu+3*3conv。
识别网络结构：
dbl是识别网络的基本组件。就是卷积+bn+leakyrelu。bn和leakyrelu是和卷积层不可分离的部分(最后一层卷积除外)，共同构成了最小组件。
res_unit是识别网络的大组件，借鉴了resnet的残差结构，使用这种结构可以让网络结构更深。其基本组件是dbl。concat为张量拼接。是将中间层和后面的某一层的上采样进行拼接。拼接的操作和残差层add的操作不一样，拼接会扩充张量的维度，而add只是直接相加不会导致张量维度的改变。其输入为基底网络的3个不同分辨率的featuremap，分别对应基底网络中denseblock(2)、denseblock(3)、denseblock(4)的输出，其目的是从不同尺度上检测及识别输入图像的煤块和煤矸石。denseblock(2)所输出的featuremap检测识别大尺寸物体，denseblock(3)所输出featuremap检测识别中尺寸物体，denseblock(4)所输出featuremap检测识别中尺寸物体。其输入分支需要经过上采样与上一个分辨率的featuremap进行拼接，其目的为增加对纹理的识别能力。
1.一种煤块识别检测分选系统，包括传送带，其特征在于，所述传送带设有转速控制装置，转速控制装置连接到管理系统；传送带的上方设有图像采集装置和机械手分拣装置；
所述图像采集装置包括光源、摄像头和调焦装置，所述图像采集装置连接有图像识别模块，图像识别模块连接到管理系统；
所述机械手分拣装置连接有机械手控制器，机械手控制器连接到管理系统；
图像采集装置拍摄传送带上输送的原煤和煤矸石的图像，图像识别模块通过深度神经网络识别出煤块与煤矸石，管理系统根据图像识别模块的识别结果发送动作信号到机械手控制器，机械手控制器控制机械手分拣装置将原煤和煤矸石分别拨到原煤仓和矸石仓中。
2.如权利要求1所述的一种煤块识别检测分选系统，其特征在于，所述机械手控制器还连接有传送带转速测试装置。
3.如权利要求1所述的一种煤块识别检测分选系统，其特征在于，所述图像采集装置的光源采用光照均匀的面光源。
4.如权利要求1所述的一种煤块识别检测分选系统，其特征在于，所述管理系统还连接到云端数据中心。
5.如权利要求1所述的一种煤块识别检测分选系统，其特征在于，所述机械手分拣装置包括两台机械手。
技术总结