本申请涉及网络安全领域,具体而言,涉及一种基于大数据的网络波动安全处理方法和装置。
背景技术:
现有技术中,判断网络设备中的是不是超过负载,一般情况下是由管理员通过主观经验来设置一个阈值范围,当该网络设备当前的负载超过该阈值范围的时候,则向管理员发送告警信息。
网络情况千变万化,这种根据管理员经验来设置负载阈值的方式可能对管理员的经验要求比较高,管理员在经验不足的情况下,其设置的负载阈值可能不合适,有可能引起对网络设备负载情况发生误判,从而带来网络安全的隐患。
技术实现要素:
本申请提供一种基于大数据的网络波动安全处理方法和装置,以解决相关技术中人工设置的负载阈值可能不合适,有可能引起对网络设备负载情况发生误判,从而带来网络安全的隐患的问题。
根据本发明的一个方面,提供了一种基于大数据的网络波动安全处理方法,包括:获取第一网络设备的类型;根据所述第一网络设备的类型获取与同类型的网络设备已经上传的网络信息,其中,所述网络信息包括:多个所述同类型的网络设备中的每台设备在一定的历史时间段内承担的网络负载与时间的对应关系;获取预定时间段内所述第一网络设备的网络负载与时间的对应关系,其中,预定时间段为一天中的预定时间范围;获取多个所述同类型的网络设备中的每个设备在历史上与预定时间段相同时间段内的对应关系,并根据获取到对应关系确定该历史上的与预定时间段相同的时间段内出现过的最大负载和最小负载;在所述第一网络设备在所述预定时间段内的负载超过所述最大负载或低于所述最小负载的情况下,发送告警信息。
进一步地,发送所述告警信息包括:通过短信的方式向管理员发送告警信息,其中,所述告警信息用于指示所述第一网络设备的网络负荷异常。
进一步地,发送所述告警信息包括:通过即时通讯工具的方式向管理员发送告警信息,其中,所述告警信息用于指示所述第一网络设备的网络负荷异常。
进一步地,在发送所述告警信息之后,所述方法还包括:保存所述告警信息。
根据本发明的另一个方面,还提供了一种基于大数据的网络波动安全处理装置,包括:第一获取模块,用于获取第一网络设备的类型;第二获取模块,用于根据所述第一网络设备的类型获取与同类型的网络设备已经上传的网络信息,其中,所述网络信息包括:多个所述同类型的网络设备中的每台设备在一定的历史时间段内承担的网络负载与时间的对应关系;第三获取模块,用于获取预定时间段内所述第一网络设备的网络负载与时间的对应关系,其中,预定时间段为一天中的预定时间范围;第四获取模块,用于获取多个所述同类型的网络设备中的每个设备在历史上与预定时间段相同时间段内的对应关系,并根据获取到对应关系确定该历史上的与预定时间段相同的时间段内出现过的最大负载和最小负载;发送模块,用于在所述第一网络设备在所述预定时间段内的负载超过所述最大负载或低于所述最小负载的情况下,发送告警信息。
进一步地,所述发送模块用于通过短信的方式向管理员发送告警信息,其中,所述告警信息用于指示所述第一网络设备的网络负荷异常。
进一步地,所述发送模块用于通过即时通讯工具的方式向管理员发送告警信息,其中,所述告警信息用于指示所述第一网络设备的网络负荷异常。
进一步地,还包括:保存模块,用于保存所述告警信息。
根据本申请的另一个方面,还提供了一种存储器,用于存储软件,其中,所述软件用于执行上述的方法。
根据本申请的另一个方面,还提供一种处理器,用于执行软件,其中,所述软件用于执行上述的方法。
本申请采用以下步骤:获取第一网络设备的类型;根据所述第一网络设备的类型获取与同类型的网络设备已经上传的网络信息,其中,所述网络信息包括:多个所述同类型的网络设备中的每台设备在一定的历史时间段内承担的网络负载与时间的对应关系;获取预定时间段内所述第一网络设备的网络负载与时间的对应关系,其中,预定时间段为一天中的预定时间范围;获取多个所述同类型的网络设备中的每个设备在历史上与预定时间段相同时间段内的对应关系,并根据获取到对应关系确定该历史上的与预定时间段相同的时间段内出现过的最大负载和最小负载;在所述第一网络设备在所述预定时间段内的负载超过所述最大负载或低于所述最小负载的情况下,发送告警信息。通过本申请解决了相关技术中人工设置的负载阈值可能不合适,有可能引起对网络设备负载情况发生误判,从而带来网络安全的隐患的问题,在一定程度上提高了告警的精确性并提高了网络安全。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的基于大数据的网络波动安全处理方法的流程图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flashram)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitorymedia),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
在本实施例中,提供了一种基于大数据的网络波动安全处理方法,图1是根据本发明实施例的基于大数据的网络波动安全处理方法的流程图,如图1所示,该方法包括如下步骤:
步骤s102,获取第一网络设备的类型;
优选地,还可以获取第一网络设备的网络拓扑结构,获取其连接的其他设备的类型和数量,在以下步骤中的同类型的网络设备可以指网络设备本身的类型相同,并且其连接的其他设备的类型和数量也相同的网络设备。
步骤s104,根据所述第一网络设备的类型获取与同类型的网络设备已经上传的网络信息,其中,所述网络信息包括:多个所述同类型的网络设备中的每台设备在一定的历史时间段内承担的网络负载与时间的对应关系;
对于网络负载,根据网络设备的不同,会有不同的计算方法。
例如,网络负载率(有时候叫利用率)是描述当前网络工作状态的重要标志,它是一个百分数,用一个实例来表述:
比如一条线路,其额定容量是100mbps,而在某个时刻,网络上的数据量仅有20mbps,它的负载率为20%。如果负载率是0%,就意味着网络属于完全空闲状态,而负载率是100%,网络就已经满负荷运转,如果再有信息来,就要延迟等待了。有些机器内部就设置有查看负载率的指令,比如:
load在某种特定类型网络设备中用来表示设备接口的负载(即使用率)情况,loadinterval则是指网络设备计算负载量load时的采样时间间隔。通常,如果网络管理员想看更精确的统计数据或实时的流量信息,会通过更改loadinterval值去实现。同样,当测试接口的吞吐量时,也可以减小loadinterval以便更快的获得结果。负载量(load)的计算是基于数据的bit位的,通常它会统计某段时间间隔内进入或流出接口的单位秒的流量。
作为一个优选的可以增加的实施例,对于每台设备获取的对应关系,可以按照月来进行区分,这样每天设备会到得到一月份到十二月份的对应关系,如果这台设备已经运行了n年,则可以得到n个一月份到n个十二月份的对应关系,将得到的每个月的对应关系绘制成曲线,其中,所述曲线的x轴是时间,单位是每个小时;由于是多台网络设备,此时就可以得到多组月份和对应曲线。使用这些数据作为训练数据可以训练得到一个第一模型,该第一模型的输入是月份输出是对应的曲线。经过训练之后,可以使用该第一模型来判断每个月的负载曲线。
获取第一网络设备当前时间上个月的负载情况,并根据负载情况制作该第一网络设备的真实负载曲线;将所述第一网络设备的上个月的月份输入到上述模型中,得到模型输入的模拟负载曲线;比较真实负载曲线和模拟负载曲线并判断两个曲线的相似度,在两个曲线相似度未超过阈值的情况下,进行告警。
比较两个曲线相似度的方法有很多种,在本实施例中可以采用一种优选的比较方法。使用多组训练数据,通过机器学习的方式训练一个第二模型,每组训练数据均包括两个曲线以及这两个曲线对应的相似度,通过训练得到的第二模型就可以使用了。将上述真实负载曲线和模拟负载曲线输入到所述第二模型中,第二模型就输出这两个曲线的相似度。
还可以获取所述第一网络设备的当前时间的下一个月份,将下一个月份输入到所述第一模型中获取下一个月份的负载曲线,获取该负载曲线的最高值和最低值,选取所述最高值的105%和所述最高值的95%作为最高值的取值范围,在所述第一网络设备实际运行到下一个月份的时候,如果其瞬间的网络负载进入所述最高值的取值范围则进行负载均衡,如果其瞬间的网络负载超过所述最高值的取值范围,则进行告警。
步骤s106,获取预定时间段内所述第一网络设备的网络负载与时间的对应关系,其中,预定时间段为一天中的预定时间范围;
步骤s108,获取多个所述同类型的网络设备中的每个设备在历史上与预定时间段相同时间段内的对应关系,并根据获取到对应关系确定该历史上的与预定时间段相同的时间段内出现过的最大负载和最小负载;
步骤s110,在所述第一网络设备在所述预定时间段内的负载超过所述最大负载或低于所述最小负载的情况下,发送告警信息。
作为另一个可选的可以增加的实施方式,还可以获取第一网络设备的负载和所述第一网络设备硬件资源占用率之间的对应关系。获取其他同类型的多个网络设备的负载和其硬件资源占用率之间的对比关系,获取多个网络设备的每个负载值对应的其硬件资源占用率的平均值,例如,负载20%时网络设备a硬件资源占用率是15%,负载20%时网络设备b硬件资源占用率是17%,则负载20%平均硬件资源占用率为16%。获取所述第一网络设备的每个负载值对应的其硬件资源占用率的平均值(例如,得到四个负载20%时的硬件资源占用率a1、a2、a3和a4,则求a1、a2、a3和a4的平均值),比较第一网络设备的每个负载至对应的平均硬件资源占用率的平均值和同一负载下其他网络设备的硬件资源平均占用率,在两者差距大于预定值(例如,上下浮动超过10%)时,则从1开始计数每次加1,当计数超过阈值的时候(例如20),发送告警信息。
通过上述步骤解决了相关技术中人工设置的负载阈值可能不合适,有可能引起对网络设备负载情况发生误判,从而带来网络安全的隐患的问题,在一定程度上提高了告警的精确性并提高了网络安全。
优选地,发送所述告警信息包括:通过短信的方式向管理员发送告警信息,其中,所述告警信息用于指示所述第一网络设备的网络负荷异常。
优选地,发送所述告警信息包括:通过即时通讯工具的方式向管理员发送告警信息,其中,所述告警信息用于指示所述第一网络设备的网络负荷异常。
优选地,在发送所述告警信息之后,所述方法还包括:保存所述告警信息。
上述实施例中涉及到瞬间的网络负载进入所述最高值的取值范围则进行负载均衡,下面对本实施例中可以采用的负载均衡的方式进行说明。
负载均衡(loadbalance,简称lb)是一种服务器或网络设备的集群技术。负载均衡将特定的业务(网络服务、网络流量等)分担给多个服务器或网络设备(在本实施例中可以把服务器和网络设备均认为是一种网络设备),从而提高了业务处理能力,保证了业务的高可用性。负载均衡基本概念有:实服务、实服务组、虚服务、调度算法、持续性等,其常用应用场景主要是服务器负载均衡,链路负载均衡。
服务器负载均衡根据lb设备处理到的报文层次,分为四层服务器负载均衡和七层负载均衡,四层处理到ip包的ip头,不解析报文四层以上载荷(l4slb);七层处理到报文载荷部分,比如http,rtsp,sip报文头,有时也包括报文内容部分(l7slb)。
1.四层服务器负载均衡技术
客户端将请求发送给服务器群前端的负载均衡设备,负载均衡设备上的虚服务接收客户端请求,通过调度算法,选择真实服务器,再通过网络地址转换,用真实服务器地址重写请求报文的目标地址后,将请求发送给选定的真实服务器;真实服务器的响应报文通过负载均衡设备时,报文的源地址被还原为虚服务的vsip,再返回给客户,完成整个负载调度过程。2.七层服务器负载均衡技术
七层负载均衡和四层负载均衡相比,只是进行负载均衡的依据不同,而选择确定的实服务器后,所做的处理基本相同,下面以http应用的负载均衡为例来说明。
由于在tcp握手阶段,无法获得http真正的请求内容,因此也就无法将客户的tcp握手报文直接转发给服务器,必须由负载均衡设备先和客户完成tcp握手,等收到足够的七层内容后,再选择服务器,由负载均衡设备和所选服务器建立tcp连接。
七层负载均衡组网和四层负载均衡组网有一个显著的区别:四层负载均衡每个虚服务对应一个实服务组,实服务组内的所有实服务器提供相同的服务;七层负载均衡每个虚服务对应多个实服务组,每组实服务器提供相同的服务。根据报文内容选择对应的实服务组,然后根据实服务组调度算法选择某一个实服务器。
链路负载均衡
在企业网、运营商链路出口需要部署lb设备以优化链路选择,提升访问体验,链路负载均衡按照流量发起方向分为inbound负载均衡和outbound负载均衡
1.inbound入方向负载均衡
inbound负载均衡技术是dns智能解析的一种,外网用户通过域名访问内部服务器时,localdns的地址解析请求到达lb设备,lb根据对localdns的就近性探测结果响应一个最优的ip地址,外网用户根据这个最优的ip响应进行对内部服务器的访问。
2.outbound出方向负载均衡
内网用户访问internet上其他服务器。outbound链路负载均衡中vsip为内网用户发送报文的目的网段。用户将访问vsip的报文发送到负载均衡设备后,负载均衡设备依次根据策略、持续性功能、就近性算法、调度算法选择最佳的链路,并将内网访问外网的业务流量分发到该链路。
业务负载均衡
业务负载监控平台通过h3c负载均衡设备的参数设定和监控可以动态感知业务负载变化,并通知云管理平台动态调整业务资源。由此实现用户业务资源的实时动态调整、业务资源优化调配。
当业务负载监控平台发现业务资源需要调整时:业务负载超限—增加资源;业务资源过剩——回收资源,云管理平台通过自动创建、启动或者删除停止虚拟机的方式为业务进行资源动态调整。
负载均衡技术不管应用于用户访问服务器资源,还是应用于多链路出口,均大大提高了对资源的高效利用,显著降低了用户的网络布署成本,提升了用户的网络使用体验。
在本实施例中还提供了一种装置,该装置中的模块对应于上述的方法步骤,在上述实施例中已经进行过说明的,在此不再赘述。
本实施例还提供了一种基于大数据的网络波动安全处理装置,包括:第一获取模块,用于获取第一网络设备的类型;第二获取模块,用于根据所述第一网络设备的类型获取与同类型的网络设备已经上传的网络信息,其中,所述网络信息包括:多个所述同类型的网络设备中的每台设备在一定的历史时间段内承担的网络负载与时间的对应关系;第三获取模块,用于获取预定时间段内所述第一网络设备的网络负载与时间的对应关系,其中,预定时间段为一天中的预定时间范围;第四获取模块,用于获取多个所述同类型的网络设备中的每个设备在历史上与预定时间段相同时间段内的对应关系,并根据获取到对应关系确定该历史上的与预定时间段相同的时间段内出现过的最大负载和最小负载;发送模块,用于在所述第一网络设备在所述预定时间段内的负载超过所述最大负载或低于所述最小负载的情况下,发送告警信息。
优选地,所述发送模块用于通过短信的方式向管理员发送告警信息,其中,所述告警信息用于指示所述第一网络设备的网络负荷异常。
优选地,所述发送模块用于通过即时通讯工具的方式向管理员发送告警信息,其中,所述告警信息用于指示所述第一网络设备的网络负荷异常。
优选地,还包括:保存模块,用于保存所述告警信息。
在本实施例中,提供了一种存储器,用于存储软件,其中,该软件用于执行上述的方法。
在本实施例中,提供了一种处理器,用于执行软件,其中,该软件用于执行上述的方法。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例提供了一种存储介质,其上存储有程序或者软件,该程序被处理器执行时实现上述方法。存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flashram),存储器包括至少一个存储芯片。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
1.一种基于大数据的网络波动安全处理方法,其特征在于,包括:
获取第一网络设备的类型;
根据所述第一网络设备的类型获取与同类型的网络设备已经上传的网络信息,其中,所述网络信息包括:多个所述同类型的网络设备中的每台设备在一定的历史时间段内承担的网络负载与时间的对应关系;
获取预定时间段内所述第一网络设备的网络负载与时间的对应关系,其中,预定时间段为一天中的预定时间范围;
获取多个所述同类型的网络设备中的每个设备在历史上与预定时间段相同时间段内的对应关系,并根据获取到对应关系确定该历史上的与预定时间段相同的时间段内出现过的最大负载和最小负载;
在所述第一网络设备在所述预定时间段内的负载超过所述最大负载或低于所述最小负载的情况下,发送告警信息。
2.根据权利要求1所述的方法,其特征在于,发送所述告警信息包括:
通过短信的方式向管理员发送告警信息,其中,所述告警信息用于指示所述第一网络设备的网络负荷异常。
3.根据权利要求1或2所述的方法,其特征在于,发送所述告警信息包括:
通过即时通讯工具的方式向管理员发送告警信息,其中,所述告警信息用于指示所述第一网络设备的网络负荷异常。
4.根据权利要求1至3中任一项所述的方法,其特征在于,在发送所述告警信息之后,所述方法还包括:
保存所述告警信息。
5.一种基于大数据的网络波动安全处理装置,其特征在于,包括:
第一获取模块,用于获取第一网络设备的类型;
第二获取模块,用于根据所述第一网络设备的类型获取与同类型的网络设备已经上传的网络信息,其中,所述网络信息包括:多个所述同类型的网络设备中的每台设备在一定的历史时间段内承担的网络负载与时间的对应关系;
第三获取模块,用于获取预定时间段内所述第一网络设备的网络负载与时间的对应关系,其中,预定时间段为一天中的预定时间范围;
第四获取模块,用于获取多个所述同类型的网络设备中的每个设备在历史上与预定时间段相同时间段内的对应关系,并根据获取到对应关系确定该历史上的与预定时间段相同的时间段内出现过的最大负载和最小负载;
发送模块,用于在所述第一网络设备在所述预定时间段内的负载超过所述最大负载或低于所述最小负载的情况下,发送告警信息。
6.根据权利要求5所述的装置,其特征在于,
所述发送模块用于通过短信的方式向管理员发送告警信息,其中,所述告警信息用于指示所述第一网络设备的网络负荷异常。
7.根据权利要求5或6所述的装置,其特征在于,
所述发送模块用于通过即时通讯工具的方式向管理员发送告警信息,其中,所述告警信息用于指示所述第一网络设备的网络负荷异常。
8.根据权利要求5至7中任一项所述的装置,其特征在于,还包括:
保存模块,用于保存所述告警信息。
9.一种存储器,其特征在于,用于存储软件,其中,所述软件用于执行权利要求1至4中任一项所述的方法。
10.一种处理器,其特征在于,用于执行软件,其中,所述软件用于执行权利要求1至4中任一项所述的方法。
技术总结