本发明属于遥感图像智能处理，具体涉及一种基于多模态图像的河湖侵占线索挖掘和告警方法的设计。
背景技术：
1、河湖是保障防洪安全的重要自然空间，随着城市化扩张，河湖自然空间被侵占，在河湖范围中乱占、乱采、乱堆和乱建行为(四乱行为)频繁发生，严重威胁行洪和河湖生态环境安全，由于四乱行为点多面广，较为隐蔽，难以及时发现线索和发布告警信息，制约着河湖精准监管的效率。
2、传统的河湖侵占线索多依靠人工举报，这种方法需要依靠大量舆情信息，而且由于信息的不及时，往往无法实现精准监管。也有相关研究采用人工巡河方式，进行线索挖掘和告警，但由于河湖范围大，需要投入大量人力，线索挖掘和告警时间长，自动化水平低，难以满足智慧河湖监管的要求。部分研究采用时序卫星高分卫星遥感数据开展河湖监管，但受限于遥感监测的频次，无法做到实时动态发现线索和告警，也有研究采用在河湖周边岸基建设视频系统，能够实时发现四乱违法行为，但挖掘的线索无法实现智能告警。
技术实现思路
1、本发明的目的是为了解决现有技术针对大范围河湖四乱行为难以实时精准监管的问题，提出了一种基于多模态图像的河湖侵占线索挖掘和告警方法。
2、本发明的技术方案为：一种基于多模态图像的河湖侵占线索挖掘和告警方法，包括以下步骤：
3、s1、获取河湖监管范围的高分辨率卫星遥感数据，并对高分辨率卫星遥感数据进行预处理。
4、s2、基于残差网络构建河湖侵占线索挖掘模型，并通过河湖侵占线索挖掘模型从预处理后的高分辨率卫星遥感数据中挖掘得到河湖侵占范围的中心坐标位置和侵占起止时间。
5、s3、根据河湖侵占范围的中心坐标位置和侵占起止时间获取河湖监管范围的岸基视频监控图像，并基于岸基视频监控图像和lsp图卷积网络得到河湖侵占的告警列表信息。
6、进一步地，步骤s1中的高分辨率卫星遥感数据为优于2m空间分辨率且无云、无雪覆盖的光学遥感数据。
7、进一步地，步骤s1中对高分辨率卫星遥感数据进行预处理包括几何精校正、大气校正和云掩膜处理。
8、进一步地，步骤s2包括以下分步骤：
9、s21、在预处理后的高分辨率卫星遥感数据中勾画河湖侵占类型和范围作为样本，构建训练样本集x。
10、s22、以实际河湖侵占范围作为目标集，将训练样本集x输入残差网络，使用反向传播算法和梯度下降法对残差网络进行训练，得到河湖侵占线索挖掘模型。
11、s23、将预处理后的高分辨率卫星遥感数据输入河湖侵占线索挖掘模型，输出得到河湖侵占范围，并通过影像信息提取河湖侵占范围的中心坐标位置和侵占起止时间。
12、进一步地，步骤s23包括以下分步骤：
13、s231、将预处理后的高分辨率卫星遥感数据作为输入图像，对输入图像进行卷积操作，得到卷积输出特征图：
14、
15、其中yi,j表示卷积输出特征图在(i,j)位置的元素，xi+m,j+n表示输入图像在(i+m,j+n)位置的像素值，km,n表示卷积核在(m,n)位置的值。
16、s232、通过relu函数对卷积输出特征图进行激活，得到激活后的特征图：
17、y′i,j＝max(0,yi,j)
18、其中y′i,j表示激活后的特征图在(i,j)位置的元素。
19、s233、对激活后的特征图进行最大池化操作，得到池化后输出特征图：
20、
21、其中y″i,j表示池化后输出特征图在(i,j)位置的元素，n表示池化窗口，b和c表示池化窗口n中的元素索引，b和c的取值范围为(0,a-1)，a表示池化窗口大小。
22、s234、对池化后输出特征图进行残差块计算，得到残差块输出特征图z：
23、z＝f(y″i,j,wi)+y″i,j
24、其中f(·)表示残差映射，wi表示权重集合。
25、s235、通过全连接层对残差块输出特征图z进行分类或回归，得到河湖侵占范围：
26、y＝f(wz+b)
27、其中y表示全连接层的输出，f(·)表示激活函数，w表示权重矩阵，b表示偏置向量；通过y将遥感影像分为二值图，其中0为非侵占区域，1为侵占区域，根据侵占区域坐标范围，提取河湖侵占范围的中心坐标位置(x0,y0)，对应获取影像侵占前后影像时间作为侵占起始时间(t1,t2)。
28、进一步地，步骤s3包括以下分步骤：
29、s31、根据河湖侵占范围的中心坐标位置和侵占起止时间调取河湖监管范围的岸基视频监控图像，使其能够完全覆盖河湖侵占区域。
30、s32、对岸基视频监控图像按照侵占类型分别标记侵占和非侵占数据标签，得到河湖侵占数据标签视频图像特征集y。
31、s33、根据训练样本集x和河湖侵占数据标签视频图像特征集y构建多模态视频图像训练样本库dataset＝{x,y}。
32、s34、通过多模态视频图像训练样本库dataset对lsp图卷积网络进行训练，得到河湖侵占告警模型。
33、s35、将河湖监管范围内的多模态视频图像数据输入河湖侵占告警模型，输出得到河湖侵占的类型、位置和时间，形成河湖侵占的告警列表信息。
34、进一步地，步骤s34包括以下分步骤：
35、s341、将多模态视频图像训练样本库dataset中的各个样本点xi与其邻域样本点连接形成图g(υ,ε)，其中v表示图上的节点组成的数据集，ε表示边的集合，即邻域点xj与样本点xi的距离。
36、s342、计算样本点xi与邻域点xj的局部结构向量lsi,j：
37、
38、其中(j,i)表示连接邻域点xj与样本点xi的边，sim(·)表示量化节点对相似性的函数，‖·‖2表示2-范数。
39、s343、根据局部结构向量lsi,j计算每个样本点的局部结构的相似度si：
40、
41、其中dkl(·)表示相对熵，表示lsp图卷积网络中学生模型的局部结构向量，表示lsp图卷积网络中教师模型的局部结构向量。
42、s344、根据局部结构的相似度si构建lsp图卷积网络的损失函数l：
43、
44、l＝h(ys,yr)+λllsp
45、其中llsp表示局部结构损失函数，m表示样本数，h(·)表示交叉熵损失函数，yr表示真值样本数据标签，ys表示采用学生模型预测的值，λ表示平衡两种损失的超参数。
46、s345、以损失函数l最小为目标对lsp图卷积网络进行训练，得到河湖侵占告警模型。
47、本发明的有益效果是：
48、(1)本发明构建了基于卫星遥感和岸基视频的河湖侵占线索挖掘和告警方法，突破了原有大范围河湖四乱行为难以实时精准监管的技术瓶颈。
49、(2)本发明构建了基于高分遥感图像和残差网络resnet的河湖侵占线索挖掘模型，实现了河湖四乱行为线索范围边界和侵占时间的快速挖掘。
50、(3)本发明采用岸基视频连续成像方式，获取侵占线索时段内连续视频图像数据，并采用lsp图卷积网络算法，精准获取河湖侵占行为告警信息。
1.一种基于多模态图像的河湖侵占线索挖掘和告警方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多模态图像的河湖侵占线索挖掘和告警方法，其特征在于，所述步骤s1中的高分辨率卫星遥感数据为优于2m空间分辨率且无云、无雪覆盖的光学遥感数据。
3.根据权利要求1所述的基于多模态图像的河湖侵占线索挖掘和告警方法，其特征在于，所述步骤s1中对高分辨率卫星遥感数据进行预处理包括几何精校正、大气校正和云掩膜处理。
4.根据权利要求1所述的基于多模态图像的河湖侵占线索挖掘和告警方法，其特征在于，所述步骤s2包括以下分步骤：
5.根据权利要求4所述的基于多模态图像的河湖侵占线索挖掘和告警方法，其特征在于，所述步骤s23包括以下分步骤：
6.根据权利要求4所述的基于多模态图像的河湖侵占线索挖掘和告警方法，其特征在于，所述步骤s3包括以下分步骤：
7.根据权利要求6所述的基于多模态图像的河湖侵占线索挖掘和告警方法，其特征在于，所述步骤s34包括以下分步骤：
