一种基于ResNet网络的交通灯检测工程化部署方法与流程

专利2026-07-26  0


本发明涉及交通灯检测识别,特别是涉及一种基于resnet网络的交通灯检测工程化部署方法。


背景技术:

1、交通信号灯的检测与识别对无人驾驶和辅助驾驶技术具有重要意义,能够为道路交通安全提供强有力的保障,通过对交通灯准确定位和类别识别,能够为行驶中的车辆提供交通信号灯信息,保障车辆行驶安全,减少交通事故发生。

2、近年来,利用深度学习的目标检测技术得到了广泛的运用。目标检测算法主要分为两大类:基于两阶段(two-stage)的目标检测算法,基于单阶段(one-stage)的目标检测算法。前者是先通过区域提取(region proposal)阶段生成候选目标框(regionofinterest,roi),然后对这些候选框进行分类和精确定位。后者是直接在图像上进行密集的检测预测,无需显式的区域提取步骤,通过在不同位置和尺度上应用密集的锚点(anchors)或默认框(default boxes)来预测目标的位置和类别。

3、虽然对于交通信号灯检测性能上取得了一些提升,但还是存在一些问题。首先模型中过多的参数,会使模型降低了推理速度并且很难移植到移动设备上进行使用。其次,交通信号灯周边又有较多的干扰物,模型也容易发生误检。最后,模型在检测精度和速度上很难取得一个平衡。


技术实现思路

1、针对上述现有技术的不足,本专利申请所要解决的技术问题是如何提供一种模型轻量化压缩,耗时少的基于resnet网络的交通灯检测工程化部署方法。

2、为了解决上述技术问题,本发明采用了如下的技术方案:

3、一种基于resnet网络的交通灯检测工程化部署方法,包括以下步骤:s1:模型量化:对模型的权重和数据进行低比特处理;s2:格式转换:对开源框架的网络模型转换为边缘设备硬件平台所支持的离线模型;s3:模型部署:将神经网络模型部署在边缘设备上;s4:性能调优:对部署的模型进行优化调整。

4、作为优化,步骤s1中,模型量化采用线性量化方式,其表达式为:

5、

6、其中scale表示量化因子,offset表示偏移量,支持的取值范围为:

7、

8、offset∈[-128,127]。

9、作为优化,步骤s1中:量化过程中是否需要重新训练,采用训练后量化的方式,对训练后模型中的权重由浮点数量化到低比特整数,并通过校准数据基于推理过程对模型进行校准量化,从而减少量化过程中的精度损失。

10、作为优化,步骤s2中:模型转化保证其在边缘设备上能够有效运行,过程中会进行包括但不限于算子调度优化、权重数据重排、内存使用优化的操作。

11、作为优化,步骤s3中,在边缘设备上部署神经网络模型需要考虑多个因素,包括但不限于模型大小、存储占用、推理延时和功耗,采用api库ascendcl,作为红绿灯检测模型的推理框架,并在华为昇腾ai处理器上进行运行和处理。

12、作为优化,步骤s4中,在板端部署好相应的模型后,对软件的运行时间需要达到要求,其时间主要包括前处理,推理和后处理耗时。

13、作为优化,步骤s4中,对于前、后处理是运行在cpu上的程序,采用cpu并行计算技术来优化;推理是运行在神经网络处理器上,通过对模型中耗时高的算子进行替换,融合来实现。

14、本发明具有以下效果:

15、经过以上的优化步骤,本专利在边缘计算平台上进行了部署,模型的检测效果可视化结果提升,检测结果中可以精准的识别出交通信号灯,在测试集中ap值为35%。并且耗时方面前处理中采用neon优化后,标准化操作耗时可以减少到1ms,后处理耗时可以减少到0.7ms。



技术特征:

1.一种基于resnet网络的交通灯检测工程化部署方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于resnet网络的交通灯检测工程化部署方法,其特征在于,步骤s1中,模型量化采用线性量化方式,其表达式为:

3.根据权利要求2所述的一种基于resnet网络的交通灯检测工程化部署方法,其特征在于,步骤s1中:量化过程中是否需要重新训练,采用训练后量化的方式,对训练后模型中的权重由浮点数量化到低比特整数,并通过校准数据基于推理过程对模型进行校准量化,从而减少量化过程中的精度损失。

4.根据权利要求3所述的一种基于resnet网络的交通灯检测工程化部署方法,其特征在于,步骤s2中:模型转化保证其在边缘设备上能够有效运行,过程中会进行包括但不限于算子调度优化、权重数据重排、内存使用优化的操作。

5.根据权利要求4所述的一种基于resnet网络的交通灯检测工程化部署方法,其特征在于,步骤s3中,在边缘设备上部署神经网络模型需要考虑多个因素,包括但不限于模型大小、存储占用、推理延时和功耗,采用api库ascendcl,作为红绿灯检测模型的推理框架,并在华为昇腾ai处理器上进行运行和处理。

6.根据权利要求5所述的一种基于resnet网络的交通灯检测工程化部署方法,其特征在于,步骤s4中,在板端部署好相应的模型后,对软件的运行时间需要达到要求,其时间主要包括前处理,推理和后处理耗时。

7.根据权利要求6所述的一种基于resnet网络的交通灯检测工程化部署方法,其特征在于,步骤s4中,对于前、后处理是运行在cpu上的程序,采用cpu并行计算技术来优化;推理是运行在神经网络处理器上,通过对模型中耗时高的算子进行替换,融合来实现。


技术总结
本发明涉及一种基于ResNet网络的交通灯检测工程化部署方法,包括以下步骤:S1:模型量化:对模型的权重和数据进行低比特处理;S2:格式转换:对开源框架的网络模型转换为边缘设备硬件平台所支持的离线模型;S3:模型部署:将神经网络模型部署在边缘设备上;S4:性能调优:对部署的模型进行优化调整,本发明具有模型轻量化压缩,耗时少的优点。

技术研发人员:陈洪旭,刘建,张洪江,张浩,林俊峰,杨意
受保护的技术使用者:重庆车载软件开发有限公司
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-32945.html