本技术涉及视频监控，具体而言，涉及一种基于视频分类的邮轮安全视频监控方法及系统。
背景技术：
1、邮轮的原意是指海洋上的定线、定期航行的大型客运轮船。“邮”字本身具有交通的含义，而且过去跨洋邮件总是由这种大型快速客轮运载，故此得名。现在通常是指在海洋中航行的旅游客轮。随着海洋及海上旅游业务的大力发展，邮轮运输的安全需求日益增长。邮轮作为一个复杂的综合设施，需要多元化的系统来保障其安全运营。视频监控技术作为其中的重要组成部分，需要不断地提高科技含量和创新性，以适应邮轮行业的发展需求。
2、传统的视频监控系统主要依赖人工干预，存在识别效果差、漏报率高等问题。
3、针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
1、本技术实施例提供了一种基于视频分类的邮轮安全视频监控方法及系统，以解决上述技术问题。
2、本技术提供了一种基于视频分类的邮轮安全视频监控方法，包括：邮轮端服务器通过前端摄像头采集邮轮上各个区域的监控视频；
3、所述邮轮端服务器对所述各个区域的监控视频进行画面增强以及去雾处理，得到实时视频流；
4、所述邮轮端服务器利用视频感知算法与背景重构算法对所述实时视频流进行高清还原；
5、所述邮轮端服务器基于实时视频编码参数将经过高清还原的实时视频流传输给岸端服务器；其中，通过对经过高清还原的实时视频流和实时网络条件进行实时分析，对所述实时视频编码参数进行调整；所述邮轮端服务器实时接收所述岸端服务器的指挥调度指令；
6、所述邮轮端服务器利用经过高清还原的实时视频流的时序特征、时空特征和场景特征，对经过高清还原的实时视频流中的各种行为进行分类，以及对经过高清还原的实时视频流中的异常行为进行识别进一步地，所述利用经过高清还原的实时视频流的时序特征、时空特征和场景特征，对经过高清还原的实时视频流中的各种行为进行分类，以及对经过高清还原的实时视频流中的异常行为进行识别，包括：
7、从经过高清还原的实时视频流中提取出所述时序特征、所述时空特征和所述场景特征；
8、将所述时序特征、所述时空特征和所述场景特征输入行为分类模型中，得到行为分类结果；其中，所述行为分类模型基于深度学习算法训练优化；所述行为分类结果为强时序依赖行为类型或者弱时序依赖行为类型；
9、根据所述行为分类结果，将第一异常行为识别模型或者第二异常行为识别模型确定为目标识别模型；其中，所述第一异常行为识别模型与所述强时序依赖行为类型相对应；所述第二异常行为识别模型与所述弱时序依赖行为类型相对应；
10、将经过高清还原的实时视频流输入所述目标识别模型，以对所述异常行为进行识别。
11、进一步地，所述行为分类模型基于以下步骤训练优化：
12、获取包括样本强时序依赖行为标签或者样本弱时序依赖行为标签的样本视频流；
13、提取所述样本视频流的第一样本时序特征、第一样本时空特征和第一样本场景特征、第二样本时序特征、第二样本时空特征和第二样本场景特征；其中，所述第一样本时序特征、所述第一样本时空特征和所述第一样本场景特征均与所述样本强时序依赖行为标签相对应；所述第二样本时序特征、所述第二样本时空特征和所述第二样本场景特征均与所述样本弱时序依赖行为标签相对应；
14、将所述第一样本时序特征、所述第一样本时空特征和所述第一样本场景特征、所述第二样本时序特征、所述第二样本时空特征和所述第二样本场景特征输入卷积神经网络，得到第一卷积特征图和第二卷积特征图；
15、利用通道与时空兴趣点注意力模型生成所述第一卷积特征图和所述第二卷积特征图的融合权值表示；
16、；
17、；
18、其中，为所述第一卷积特征图和所述第二卷积特征图的所述融合权值表示；为sigmoid激活函数；为relu激活函数；为缩减比例为的通道下采样卷积层的权重矩阵； 为放大比例为的通道上采样卷积层的权重矩阵；为所述第一卷积特征图；为所述第二卷积特征图；
19、将所述第一卷积特征图、所述第二卷积特征图与所述融合权值表示按照通道进行乘积运算，得到通道注意力加权特征图；
20、利用所述通道注意力加权特征图对所述卷积神经网络的网络参数进行优化调整，得到所述行为分类模型。
21、进一步地，在所述根据所述行为分类结果，将第一异常行为识别模型或者第二异常行为识别模型确定为目标识别模型之前，所述方法还包括：
22、定义与所述强时序依赖行为类型相对应的第一行为识别方式和与所述弱时序依赖行为类型相对应的第二行为识别方式；
23、基于以下步骤确定所述第一异常行为识别模型：
24、获取强时序依赖行为片段样本；
25、将所述强时序依赖行为片段样本划分为若干个等时长的片段，从每个片段中随机采样一帧，以获得具有若干帧的输入序列；
26、将所述具有若干帧的输入序列对应的特征输入到cttransformer模型，输出行为状态时空信息变化特征；
27、基于所述状态时空信息变化特征构建有时序依赖关系的多头时域邻接矩阵；
28、根据所述多头时域邻接矩阵构建三维卷积神经网络模型；
29、基于交叉熵损失与平滑l1损失对所述三维卷积神经网络模型进行参数优化，得到所述第一异常行为识别模型。
30、进一步地，所述基于交叉熵损失与平滑l1损失对所述三维卷积神经网络模型进行参数优化，包括：
31、基于损失函数对所述三维卷积神经网络模型进行参数优化;
32、；
33、其中，为真实概率分布；为预测概率分布；为平滑l1损失。
34、进一步地，在所述邮轮端服务器通过前端摄像头采集邮轮上各个区域的监控视频之前，所述方法还包括：
35、基于摄像头维度和区域维度，对摄像头配置算法、视频流接入与处理算法、监控区域划分算法进行批量添加操作；其中，所述摄像头配置算法包括自动曝光算法、自动白平衡算法以及光学变焦和数码变焦算法。
36、进一步地，所述异常行为包括打架行为、攀爬行为、跳海行为、聚集行为以及船员不规范穿戴行为；
37、在所述邮轮端服务器识别到所述异常行为的情况下，所述邮轮端服务器向所述岸端服务器发送告警消息，并将异常行为识别结果实时同步到所述岸端服务器；
38、其中，所述告警消息中携带有所述异常行为的位置框与时序信息。
39、本技术提供了一种基于视频分类的邮轮安全视频监控系统，包括前端视频采集单元、监控视频处理单元、视频流还原单元、实时视频流传输单元以及行为分类与异常识别单元；其中，
40、所述前端视频采集单元，用于邮轮端服务器通过前端摄像头采集邮轮上各个区域的监控视频；
41、所述监控视频处理单元，用于所述邮轮端服务器对所述各个区域的监控视频进行画面增强以及去雾处理，得到实时视频流；
42、所述视频流还原单元，用于所述邮轮端服务器利用视频感知算法与背景重构算法对所述实时视频流进行高清还原；
43、所述实时视频流传输单元，用于所述邮轮端服务器基于实时视频编码参数将经过高清还原的实时视频流传输给岸端服务器；其中，通过对经过高清还原的实时视频流和实时网络条件进行实时分析，对所述实时视频编码参数进行调整；所述邮轮端服务器实时接收所述岸端服务器的指挥调度指令；
44、所述行为分类与异常识别单元，用于所述邮轮端服务器利用经过高清还原的实时视频流的时序特征、时空特征和场景特征，对经过高清还原的实时视频流中的各种行为进行分类，以及对经过高清还原的实时视频流中的异常行为进行识别。进一步地，在所述邮轮端服务器通过前端摄像头采集邮轮上各个区域的监控视频之前，还包括：
45、基于摄像头维度和区域维度，对摄像头配置算法、视频流接入与处理算法、监控区域划分算法进行批量添加操作；其中，所述摄像头配置算法包括自动曝光算法、自动白平衡算法以及光学变焦和数码变焦算法。
46、进一步地，所述异常行为包括打架行为、攀爬行为、跳海行为、聚集行为以及船员不规范穿戴行为；
47、在所述邮轮端服务器识别到所述异常行为的情况下，所述邮轮端服务器向所述岸端服务器发送告警消息，并将异常行为识别结果实时同步到所述岸端服务器；
48、其中，所述告警消息中携带有所述异常行为的位置框与时序信息。基于本技术提供的技术方案，邮轮端服务器通过前端摄像头采集邮轮上各个区域的监控视频；邮轮端服务器对各个区域的监控视频进行画面增强以及去雾处理，得到实时视频流；邮轮端服务器利用视频感知算法与背景重构算法对实时视频流进行高清还原；邮轮端服务器基于实时视频编码参数将经过高清还原的实时视频流传输给岸端服务器；其中，通过对经过高清还原的实时视频流和实时网络条件进行实时分析，对实时视频编码参数进行调整；邮轮端服务器实时接收岸端服务器的指挥调度指令；邮轮端服务器利用经过高清还原的实时视频流的时序特征、时空特征和场景特征，对经过高清还原的实时视频流中的各种行为进行分类，以及对经过高清还原的实时视频流中的异常行为进行识别。从而实现了自动对邮轮的安全情况进行监控，提高了对邮轮上的异常行为的识别效率。
49、本发明具有以下的有益效果：通过前端摄像头采集的视频经过画面增强和去雾处理，可以提高监控画面的清晰度和可见度，使得监控视频更加清晰，有助于细节的观察；基于实时视频编码参数的调整，可以根据网络条件动态优化视频流的传输，减少因网络波动造成的视频卡顿和延迟，确保视频流的流畅性；实时分析视频流和网络条件，可以合理分配网络带宽资源，确保在有限的带宽下传输高质量的视频流，提高网络使用效率；邮轮端服务器利用视频感知算法和背景重构算法对视频流进行高清还原，可以进一步提升视频内容的质量和可读性，使得视频分析更加准确；利用视频流的时序特征、时空特征和场景特征进行行为分类和异常行为识别，可以提高监控系统的智能化水平，及时发现潜在的安全威胁；对实时视频流中的行为进行分类和异常行为识别，有助于及时发现和响应紧急情况，提高邮轮的安全监控能力；通过实时监控和快速识别异常行为，可以加快对突发事件的响应速度，提高处理紧急情况的效率；自动化的视频分析减少了对人工监控的依赖，降低了人力成本，并允许监控人员将注意力集中在更需要判断和干预的事件上；通过智能分析乘客行为和邮轮运营情况，可以提供更加个性化和高效的服务，提升乘客的满意度和邮轮的整体服务质量；记录和分析视频数据有助于进行长期的安全趋势分析和风险评估，为邮轮安全管理提供数据支持：去雾处理等画面增强技术可以减少对环境的光污染，有助于保护海洋生态环境。
1.一种基于视频分类的邮轮安全视频监控方法，其特征在于，包括：
2.根据权利要求1所述的基于视频分类的邮轮安全视频监控方法，其特征在于，所述利用经过高清还原的实时视频流的时序特征、时空特征和场景特征，对经过高清还原的实时视频流中的各种行为进行分类，以及对经过高清还原的实时视频流中的异常行为进行识别，包括：
3.根据权利要求2所述的基于视频分类的邮轮安全视频监控方法，其特征在于，所述行为分类模型基于以下步骤训练优化：
4.根据权利要求2所述的基于视频分类的邮轮安全视频监控方法，其特征在于，在所述根据所述行为分类结果，将第一异常行为识别模型或者第二异常行为识别模型确定为目标识别模型之前，所述方法还包括：
5.根据权利要求4所述的基于视频分类的邮轮安全视频监控方法，其特征在于，所述基于交叉熵损失与平滑l1损失对所述三维卷积神经网络模型进行参数优化，包括：
6.根据权利要求1所述的基于视频分类的邮轮安全视频监控方法，其特征在于，在所述邮轮端服务器通过前端摄像头采集邮轮上各个区域的监控视频之前，所述方法还包括：
7.根据权利要求1所述的基于视频分类的邮轮安全视频监控方法，其特征在于，所述异常行为包括打架行为、攀爬行为、跳海行为、聚集行为以及船员不规范穿戴行为；
8.一种基于视频分类的邮轮安全视频监控系统，该系统实现如权利要求1所述的方法，其特征在于，包括前端视频采集单元、监控视频处理单元、视频流还原单元、实时视频流传输单元以及行为分类与异常识别单元；其中，
9.根据权利要求8所述的基于视频分类的邮轮安全视频监控系统，其特征在于，在所述邮轮端服务器通过前端摄像头采集邮轮上各个区域的监控视频之前，还包括：
10.根据权利要求8所述的基于视频分类的邮轮安全视频监控系统，其特征在于，所述异常行为包括打架行为、攀爬行为、跳海行为、聚集行为以及船员不规范穿戴行为；
