本发明涉及城市交通控制，具体为一种基于强化学习的城市交通控制方法。
背景技术：
1、城市交通是指城市道路系统间的公众出行和客货输送，在申请号为202210725869.7的中国专利中公开了“一种基于交通信息化的城市交通智能控制方法，包括以下步骤：s1：根据视频智能剖析及其视频的精确定位，实时收集车流量、客流量信息，并结合各种道路监控设施及交警指挥控制系统数据，结合视频智能分析、智能定位、智能研判技术，对卡口、电警以及部分监控设备拍摄的车辆图像信息进行结构化智能分析，对异常数据进行告警，智慧交通可视化决策平台通过接入交通路况数据，对突发交通事件信息进行可视化监测分析，筛选查看事故周边监控视频和交通资源，该基于交通信息化的城市交通智能控制方法及系统，通过设置监测模块，可以帮助管理者实时掌握交通整体运行态势，有效地维护道路交通秩序，实现智慧交通可视化管理。”；
2、该现有技术仅仅解决了近年来，交通拥堵成为影响大城市居民出行的首要问题，交通事故数量呈上升趋势的问题，未考虑到在暴雨天气下对城市道路交通系统进行韧性评估，并确定暴雨天气下对城市道路交通系统中各网络节点的关键度，进而确定各网络节点中的关键节点，通过设置应急资源设施点对关键节点进行覆盖的方式，提高关键节点的韧性，从而提高暴雨天气下城市道路交通系统的韧性，便于在暴雨天气下对城市道路交通进行管理。
技术实现思路
1、本发明的目的在于提供一种基于强化学习的城市交通控制方法，以解决上述背景技术中提出的问题。
2、为实现上述目的，本发明提供如下技术方案：一种基于强化学习的城市交通控制方法，包括以下步骤：
3、s1：一种基于强化学习的城市交通控制方法应用于暴雨天气下城市交通管理，通过城市交通信息管理平台对出租车相关数据进行获取，并对获取的出租车相关数据进行处理，且基于处理后的出租车相关数据获取出租车行驶轨迹；
4、s2：设定城市道路交通系统性能评估指标，绘制暴雨天气下城市道路交通系统性能演变曲线，并在暴雨天气下构建城市道路交通系统韧性评估框架，设置有相应的城市道路交通系统韧性测度指标，进行暴雨天气下城市道路交通系统韧性评估；
5、s3：对城市进行区域划分，以及对出租车行驶轨迹数据进行处理，并构建由出行时间层和出行流量层组成的双层网络，通过对双层网络节点进行韧性测度，确定双层网络节点中的关键节点；
6、s4：基于确定的双层网络节点中的关键节点信息，设置有应急资源设施点，并采用差异性覆盖的方式，对各个网络节点进行覆盖，从而提高暴雨天气下城市道路交通系统的韧性。
7、优选的，所述步骤s1还包括通过城市交通信息管理平台对暴雨天气和相应暴雨前正常天气下出租车运营状态时的相关数据进行获取，包括出租车车牌、数据上传时间、gps时间、经度、纬度以及出租车状态，并对获取的暴雨天气和相应暴雨前正常天气下出租车运营状态时的gps数据进行预处理，包括使用python软件读取暴雨天气和相应暴雨前正常天气下出租车运营状态时的gps数据并进行数据清洗，并对暴雨天气和相应暴雨前正常天气下出租车运营状态时的gps数据进行坐标系转换操作，采取hmm匹配算法进行出租车gps数据与城市路网信息的匹配，使用python第三方库geopandas将出租车gps数据与城市目标区域的空间地图数据进行空间连接，提取城市目标区域内出租车gps数据，得到暴雨天气和相应暴雨前正常天气下城市目标区域内出租车gps数据。
8、优选的，所述步骤s1还包括基于城市目标区域内出租车gps数据，将同一出租车的gps数据按照时间序列排列，构成出租车的行驶轨迹，基于出租车gps数据中车辆运营状态自空载状态变为载客状态的时间点和经纬度信息确定乘客上车点时间和所对应的空间位置，当车辆运营状态自载客状态变为空载状态的时间点和经纬度信息确定乘客下车点时间和所对应的空间位置，基于乘客上车点和下车点的空间位置确定出租车订单行程距离，基于乘客上车点和下车点的时间点确定出租车订单时长，计算出租车订单行程距离与出租车订单时长的比值得到订单的平均行程速度，以出租车一小时内的订单次数作为出租车的客流量，且设定暴雨天气下出租车的客流量数据和出租车订单平均行程速度数据均低于相应暴雨前正常天气下出租车的客流量数据和出租车订单平均行程速度数据。
9、优选的，所述步骤s2还包括设定城市道路交通系统性能评估指标，包括城市道路交通系统的运输数量和运输效率，以一小时为最小时间单元对城市道路交通系统性能评估指标进行聚合，以暴雨天气和相应暴雨前正常天气下城市目标区域内出租车的客流量数据作为相应天气下城市道路交通系统的运输数量指标，以暴雨天气和相应暴雨前正常天气下城市目标区域内所有出租车的订单的平均行程速度作为相应天气下城市道路交通系统的运输效率指标，使用python软件中statsmodels模块分析暴雨天气下城市目标区域内出租车客流量数据并构建sarima模型，基于晴朗天气城市目标区域内出租车的客流量数据构建模型训练数据集和模型验证数据集，通过模型训练数据集对sarima模型进行模型训练，且基于模型验证数据集对训练完成的sarima模型进行精度验证操作，以暴雨前正常天气下城市目标区域内出租车的客流量数据作为sarima模型的输入，预测得到与出现相应暴雨时间相同正常天气下城市目标区域内出租车的客流量数据，将预测结果与相应暴雨天气下城市目标区域内出租车的客流量数据进行作差处理，基于作差处理结果绘制暴雨天气下城市道路交通系统出租车客流量数据受扰动演变曲线，使用以上相同的方法绘制暴雨天气下城市道路交通系统出租车订单平均行程速度数据受扰动演变曲线。
10、优选的，所述步骤s2还包括在暴雨天气下构建城市道路交通系统韧性评估框架，由设置的城市道路交通系统韧性测度指标组成，包括城市道路交通系统韧性损失量、城市道路交通系统受扰动时长，城市道路交通系统破坏时长、城市道路交通系统恢复时长以及系统韧性，以暴雨天气下城市道路交通系统出租车客流量数据韧性测度为例，其各城市道路交通系统韧性测度指标计算公式如下：
11、，式中，表示暴雨天气下城市道路交通系统出租车客流量数据韧性损失量，表示暴雨天气下城市道路交通系统出租车客流量数据受扰动时长，表示暴雨天气下城市道路交通系统出租车客流量数据破坏时长，表示暴雨天气下城市道路交通系统出租车客流量数据恢复时长，表示暴雨天气下城市道路交通系统出租车客流量数据韧性，表示暴雨天气下城市道路交通系统在时刻sarima模型预测的出租车客流量数据，表示暴雨天气下城市道路交通系统在时刻的出租车客流量数据，表示暴雨天气下城市道路交通系统出租车客流量数据受扰动演变曲线初始点对应时刻，表示暴雨天气下城市道路交通系统出租车客流量数据受扰动演变曲线终点对应时刻，表示暴雨天气下城市道路交通系统出租车客流量数据受扰动演变曲线最高点对应时刻，使用以上相同的方法对暴雨天气下城市道路交通系统出租车订单平均行程速度数据韧性进行测度。
12、优选的，所述步骤s3还包括按照交通小区划分方式对城市目标区域进行空间划分，将所划分的交通小区作为网络节点，将出租车轨迹数据通过空间连接方式映射到不同的交通小区中，从而使出租车轨迹数据转换为交通小区间流动的轨迹数据，以轨迹数据中第一次驶入交通小区的时刻和第一次驶入其相邻交通小区的时刻之间的时长为交通小区之间的通行时长，构建由出行时间层和出行流量层组成的双层网络，且在构建出行流量层网络时需要删除起点和终点均位于同一交通小区的轨迹数据，出行流量层网络内的各个网络节点表示不同的交通小区，两个网络节点之间的连边表示对应交通小区之间客流数量，且构建的出行时间层网络内的各个网络节点表示不同的交通小区，两个网络节点之间的连边表示对应交通小区之间出租车的订单时长平均值。
13、优选的，所述步骤s3还包括对双层网络节点进行韧性测度，确定双层网络节点中的关键节点，以暴雨天气下出行流量层网络节点韧性测度为例，通过节点韧性测度算法对暴雨天气下出行流量层网络节点韧性值进行计算，其具体计算公式如下：
14、，式中，表示暴雨天气下出行流量层网络节点的韧性值，表示节点在暴雨天气下于时刻的客流数量，表示节点在与出现相应暴雨时间相同正常天气下时刻的客流数量，并对节点的韧性损失量进行计算，记为,使用以上相同的方法对暴雨天气下出行时间层网络节点韧性值进行计算，基于暴雨天气下出行流量层网络和出行时间层网络内各个网络节点韧性值和韧性损失量的计算结果，确定出行流量层网络和出行时间层网络的关键节点，具体为网络节点韧性值越小，网络节点越关键，且存在网络节点韧性值相同的情况时，韧性损失量较大的网络节点更为关键，通过网络节点关键算法对各个网络节点的关键度进行计算，其具体计算公式如下：
15、，式中，表示节点的出行韧性关键度，表示暴雨天气下出行流量层所有网络节点韧性损失量的最大值，表示节点的流动韧性关键度，表示暴雨天气下出行时间层所有网络节点韧性损失量的最大值，表示暴雨天气下出行时间层网络节点的韧性损失量，表示暴雨天气下出行时间层网络节点的韧性值，表示节点的关键度，表示出行韧性关键度的权重，表示流动韧性关键度的权重，且，基于各个网络节点的关键度计算结果，设置计算结果前二十的网络节点为关键节点。
16、优选的，所述步骤s4还包括基于确定的关键节点信息，在城市目标区域内设置有应急资源设施点，且各个应急资源设施点之间采取合作覆盖的方式为网络节点提供暴雨所需应急物资，且采用差异性覆盖的方式，对各个网络节点进行覆盖，具体为对关键节点采用多重覆盖方式，且非关键节点可以允许不被完全覆盖，从而提高暴雨天气下城市道路交通系统的韧性。
17、与现有技术相比，本发明的有益效果至少包括：本发明提出了一种基于强化学习的城市交通控制方法，一种基于强化学习的城市交通控制方法应用于暴雨天气下城市交通管理，通过获取暴雨天气和相应暴雨前正常天气下出租车运营状态时的gps数据并进行处理的方式得到出租车的客流量数据和订单平均行程速度数据，基于构建的sarima模型进行未来时间序列相应数据的预测，进而构建暴雨天气下城市道路交通系统出租车客流量数据受扰动演变曲线和暴雨天气下城市道路交通系统出租车订单平均行程速度数据受扰动演变曲线，基于此通过设置的城市道路交通系统韧性测度指标分别对暴雨天气下城市道路交通系统出租车客流量数据和订单平均行程速度数据韧性进行测度，通过构建双层网络并对其中的网络节点进行韧性测度的方式，确定关键节点，通过设置应急资源设施点对关键节点进行覆盖的方式，提高关键节点的韧性，从而提高暴雨天气下城市道路交通系统的韧性。
1.一种基于强化学习的城市交通控制方法，其特征在于包括以下步骤：
2.根据权利要求1所述的一种基于强化学习的城市交通控制方法，其特征在于：所述步骤s1还包括通过城市交通信息管理平台对暴雨天气和相应暴雨前正常天气下出租车运营状态时的相关数据进行获取，并对获取的暴雨天气和相应暴雨前正常天气下出租车运营状态时的gps数据进行预处理，包括使用python软件读取暴雨天气和相应暴雨前正常天气下出租车运营状态时的gps数据并进行数据清洗，并对暴雨天气和相应暴雨前正常天气下出租车运营状态时的gps数据进行坐标系转换操作，采取hmm匹配算法进行出租车gps数据与城市路网信息的匹配，使用python第三方库geopandas将出租车gps数据与城市目标区域的空间地图数据进行空间连接，提取城市目标区域内出租车gps数据，得到暴雨天气和相应暴雨前正常天气下城市目标区域内出租车gps数据。
3.根据权利要求1所述的一种基于强化学习的城市交通控制方法，其特征在于：所述步骤s1还包括基于城市目标区域内出租车gps数据，将同一出租车的gps数据按照时间序列排列，构成出租车的行驶轨迹，基于出租车gps数据中车辆运营状态自空载状态变为载客状态的时间点和经纬度信息确定乘客上车点时间和所对应的空间位置，当车辆运营状态自载客状态变为空载状态的时间点和经纬度信息确定乘客下车点时间和所对应的空间位置，基于乘客上车点和下车点的空间位置确定出租车订单行程距离，基于乘客上车点和下车点的时间点确定出租车订单时长，计算出租车订单行程距离与出租车订单时长的比值得到订单的平均行程速度，以出租车一小时内的订单次数作为出租车的客流量。
4.根据权利要求1所述的一种基于强化学习的城市交通控制方法，其特征在于：所述步骤s2还包括设定城市道路交通系统性能评估指标，包括城市道路交通系统的运输数量和运输效率，以一小时为最小时间单元对城市道路交通系统性能评估指标进行聚合，以暴雨天气和相应暴雨前正常天气下城市目标区域内出租车的客流量数据作为相应天气下城市道路交通系统的运输数量指标，以暴雨天气和相应暴雨前正常天气下城市目标区域内所有出租车的订单的平均行程速度作为相应天气下城市道路交通系统的运输效率指标，使用python软件中statsmodels模块分析暴雨天气下城市目标区域内出租车客流量数据并构建sarima模型。
5.根据权利要求1所述的一种基于强化学习的城市交通控制方法，其特征在于：所述步骤s2还包括在暴雨天气下构建城市道路交通系统韧性评估框架，由设置的城市道路交通系统韧性测度指标组成，包括城市道路交通系统韧性损失量、城市道路交通系统受扰动时长，城市道路交通系统破坏时长、城市道路交通系统恢复时长以及系统韧性。
6.根据权利要求1所述的一种基于强化学习的城市交通控制方法，其特征在于：所述步骤s3还包括按照交通小区划分方式对城市目标区域进行空间划分，将所划分的交通小区作为网络节点，将出租车轨迹数据通过空间连接方式映射到不同的交通小区中，从而使出租车轨迹数据转换为交通小区间流动的轨迹数据，以轨迹数据中第一次驶入交通小区的时刻和第一次驶入其相邻交通小区的时刻之间的时长为交通小区之间的通行时长，构建由出行时间层和出行流量层组成的双层网络，且在构建出行流量层网络时需要删除起点和终点均位于同一交通小区的轨迹数据，出行流量层网络内的各个网络节点表示不同的交通小区，两个网络节点之间的连边表示对应交通小区之间客流数量，且构建的出行时间层网络内的各个网络节点表示不同的交通小区，两个网络节点之间的连边表示对应交通小区之间出租车的订单时长平均值。
7.根据权利要求1所述的一种基于强化学习的城市交通控制方法，其特征在于：所述步骤s3还包括对双层网络节点进行韧性测度，确定双层网络节点中的关键节点，以暴雨天气下出行流量层网络节点韧性测度为例，通过节点韧性测度算法对暴雨天气下出行流量层网络节点韧性值进行计算，基于暴雨天气下出行流量层网络和出行时间层网络内各个网络节点韧性值和韧性损失量的计算结果，确定出行流量层网络和出行时间层网络的关键节点，具体为网络节点韧性值越小，网络节点越关键，且存在网络节点韧性值相同的情况时，韧性损失量较大的网络节点更为关键，通过网络节点关键算法对各个网络节点的关键度进行计算，基于各个网络节点的关键度计算结果，设置计算结果前二十的网络节点为关键节点。
8.根据权利要求1所述的一种基于强化学习的城市交通控制方法，其特征在于：所述步骤s4还包括基于确定的关键节点信息，在城市目标区域内设置有应急资源设施点，且各个应急资源设施点之间采取合作覆盖的方式为网络节点提供暴雨所需应急物资，且采用差异性覆盖的方式，对各个网络节点进行覆盖，具体为对关键节点采用多重覆盖方式，且非关键节点可以允许不被完全覆盖，从而提高暴雨天气下城市道路交通系统的韧性。
