本发明涉及机器人系统领域，具体涉及一种基于机器学习的入侵检测系统规则匹配优化方法。
背景技术：
入侵检测系统(intrusiondetectionsystem，简称“ids”)是一种对网络传输进行即时监视，在发现可疑传输时发出警报或者采取主动反应措施的网络安全设备。
入侵检测系统是通过误用检测(misusedetection)、异常检测(anormaldetection)或两种技术的结合来实现入侵检测的一组计算机程序。
异常检测(anomalydetection)是一种基于行为的入侵检测系统，首先总结正常操作应该具有的特征，当用户活动与正常行为有重大偏离时即被认为是入侵。
误用检测(misusedetection)是一种基于入侵知识的入侵检测系统，收集非正常操作的行为特征，建立相关的规则库，当检测到用户或系统的网络行为与库中的记录相匹配时，系统就认为这种行为是入侵。
在误用检测技术中，入侵行为由预先编写好的规则(signature)定义，入侵检测系统采用遍历规则库中的每一条规则的方式检测网络报文载荷。一旦发现匹配，则上报告警。
在误用检测(misusedetection)技术中，报文经历收包，解码，预处理后进入检测引擎，如图1所示。
在检测引擎中我们将检测过程分为多模式匹配(mpm)阶段和验证阶段。在检测引擎加载规则集后，会预先将规则集进行分组。将相同特征的规则放入同一signaturegroup，如图2所示：
1)首先报文进入规则匹配引擎后，根据解码后的报文特征，进入对应的signaturegroup中进行检测。报文将首先进入检测引擎的第一阶段，多模式匹配阶段。通常多模式匹配阶段采用多模式匹配算法(multi-patternmatching)对signaturegroup中的规则进行预先过滤，拣选出至少有一项与报文特征符合的规则作为预匹配规则，最终为待检测报文生成预匹配规则集。
2)验证阶段检测引擎逐条遍历预匹配规则集中的规则，与报文载荷特征进行匹配，如果报文特征满足规则的所有约束条件，则生成告警，测引擎流程如图3所示：
mpm可以达到o(n)时间复杂度，可以快速拣选signaturegroup中的候选规则。在阶段一得到的多个预匹配规则(prefiltersignatures)，假设prefiltersignatures的数量为i，我们设预匹配规则为signature1，signature2，…signaturei，然后对规则的逐个遍历验证。设signaturen为命中规则(1≤n≤i)，那么在命中signaturen之前的n-1次匹配均为无效匹配。由此可知n在prefiltersignatures序列中的位置，决定了单一报文的匹配开销。如果能够知道signaturen的位置，并预先进行排序，则能够将匹配次数由n次，降为1次。可以有效的提升入侵检测系统规则匹配性能。
提升匹配效率的方法有很多，例如采用性能更高的字符串匹配引擎,或引入强化学习(reinforcementlearning,rl)来辅助推断signaturen的位置。假设我们可以获得本次prefiltersignatures序列的匹配概率(matchprobability)，则可以根据匹配概率对prefiltersignatures进行降序排序，最大程度降低无效匹配的次数，并在后续的匹配结果中进一步修正预测概率，来获取更加精确的prefiltersignature序列。
目前在入侵检测系统中存在的主要缺陷有：
(1)规则库庞大，入侵检测系统无效匹配次数多，检测性能低。
(2)入侵检测系统在不同流量场景下，性能不稳定。
技术实现要素：
随着机器学习领域的不断发展，将机器学习技术应用于入侵检测领域已经成为行业趋势。本发明提出了一种基于机器学习的入侵检测系统规则库匹配优化方法。目的是降低入侵检测系统无效匹配次数，提升入侵检测系统规则匹配效率，保证规则库在不同流量场景下的性能稳定性。
为实现上述目的，本发明提供的具体技术方案如下：
实现本发明的技术方案是：基于机器学习的入侵检测系统规则库匹配优化方法，包括：机器学习构建模块、机器学习数据训练、机器学习预测和排序模块；
该方法在于利用机器学习周期构建模块持续学习入侵检测系统历史告警，周期性构建机器学习数据训练集。机器学习预测模块在网络报文进入检测引擎阶段二后，对拣选好的预匹配规则(prefiltersignatures)序列进行实时预测，输出预匹配规则库序列的命中概率。并根据命中概率对预匹配规则进行逆排序，使得入侵检测系统优先遍历命中概率最高的预匹配规则。该方法可以有效降低入侵检测系统无效匹配次数，提升入侵检测系统性能，动态调整入侵检测系统预匹配规则序列，保障在不同流量场景下入侵检测系统效率的稳定性。流程如图4所示：
本发明所述方法具体包含以下步骤：
步骤1：网络报文接入入侵检测系统
步骤2：入侵检测系统针对报文规则生成预匹配规则序列；
步骤3：机器学习预测模块获机器学习数据训练集，如机器学习数据训练集为空则进入步骤6；
步骤4：机器学习预期模块根据机器学习数据训练集计算预匹配规则命中概率；
步骤5：规则排序模块根据命中概率，对预匹配规则进行实时逆排序；
步骤6：入侵检测系统遍历预匹配规则与报文进行匹配检测；
步骤7：机器学习周期构建模块收集入侵检测系统检测结果，定时构建机器学习数据训练集；
步骤8：循环步骤1直至程序结束。
所述步骤4中的规则命中概率取值范围为：0％-100％。
所述步骤5中的排序算法选用快速排序算法。
所述步骤7中的定时构建机器学习数据训练集时间间隔设定为24小时。
本发明创造的优点：
(1)本发明通过机器学习算法，动态调整预匹配规则库。能有效降低入侵检测匹配次数。从而提升入侵检测系统处理性能。
(2)本发明通过定期更新机器学习数据集，能够有效提升入侵检测系统在多流量场景中的稳定性。
附图说明
图1为现有技术中ids流程图；
图2为现有技术中检测引擎流程；
图3为现有技术中测引擎流程图；
图4为本发明基于机器学习的入侵检测规则匹配优化流程图；
图5为本发明入侵检测系统的典型部署示意图；
图6为本发明模块结构关系图；
图7为本发明一种基于机器学习的入侵检测规则匹配优化流程图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述，但并不以此作为对本申请保护范围的限定。
实施例1
具体实施方法如下：
步骤1：网络报文接入入侵检测系统；
步骤2：入侵检测系统针对报文规则生成预匹配规则序列；
步骤3：机器学习预测模块获机器学习数据训练集，如机器学习数据训练集为空则进入步骤6；
步骤4：机器学习预期模块根据机器学习数据训练集计算预匹配规则命中概率；
步骤5：规则排序模块根据命中概率，对预匹配规则进行实时逆排序；
步骤6：入侵检测系统遍历预匹配规则与报文进行匹配检测；
步骤7：机器学习周期构建模块收集入侵检测系统检测结果，定时构建机器学习数据训练集；
步骤8：循环步骤1直至程序结束。
所述步骤4中的规则命中概率取值范围为：0％-100％。
所述步骤5中的排序算法选用快速排序算法。
所述步骤7中的定时构建机器学习数据训练集时间间隔设定为24小时。
部署方式：如图1所示，在入侵检测系统的典型部署示意图中，包含局域网计算机，服务器，交换机，防火墙，路由器，以及入侵检测系统服务器。
入侵检测系统作为旁路设备，采集交换机镜像流量作为输入源，用于分析本网络环境中所有计算机、服务器的网络请求和交互流量。
当入侵检测系统首次部署时，具体实施方法如下：
第一步：配置交换机镜像端口；
第二步：将交换机镜像端口连接至入侵检测系统流量采集网口；
第三步：配置入侵检测系统管理口ip地址；
第四步:登录入侵检测系统web客户端，检查机器学习数据集和告警日志。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
1.一种基于机器学习的入侵检测系统规则匹配优化方法，其特征在于，包括：机器学习构建模块、机器学习数据训练、机器学习预测和排序模块；利用机器学习周期构建模块持续学习入侵检测系统历史告警，周期性构建机器学习数据训练集；机器学习预测模块在网络报文进入检测引擎阶段二后，对拣选好的预匹配规则序列进行实时预测，输出预匹配规则库序列的命中概率；根据命中概率对预匹配规则进行逆排序，使得入侵检测系统优先遍历命中概率最高的预匹配规则。
2.根据权利要求1所述的一种基于机器学习的入侵检测系统规则匹配优化方法，其特征在于，所述一种基于机器学习的入侵检测系统规则匹配优化方法具体包括如下步骤：
步骤1：网络报文接入入侵检测系统
步骤2：入侵检测系统针对报文规则生成预匹配规则序列；
步骤3：机器学习预测模块获机器学习数据训练集，如机器学习数据训练集为空则进入步骤6；
步骤4：机器学习预期模块根据机器学习数据训练集计算预匹配规则命中概率；
步骤5：规则排序模块根据命中概率，对预匹配规则进行实时逆排序；
步骤6：入侵检测系统遍历预匹配规则与报文进行匹配检测；
步骤7：机器学习周期构建模块收集入侵检测系统检测结果，定时构建机器学习数据训练集；
步骤8：循环步骤1直至程序结束。
3.根据权利要求1所述的一种基于机器学习的入侵检测系统规则匹配优化方法，其特征在于，所述所述步骤4中的规则命中概率取值范围为：0％-100％。
4.根据权利要求1所述的一种基于机器学习的入侵检测系统规则匹配优化方法，其特征在于，所述步骤5中的排序算法选用快速排序算法。
5.根据权利要求1所述的一种基于机器学习的入侵检测系统规则匹配优化方法，其特征在于，所述步骤7中的定时构建机器学习数据训练集时间间隔设定为24小时。
技术总结