模型服务的安全性检测方法及相关设备与流程

专利2026-02-11  14


本公开涉及人工智能,尤其涉及一种模型服务的安全性检测方法及相关设备。


背景技术:

1、本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

2、随着人工智能技术的不断发展,模型服务在对话问答、文本生成、语言翻译等方面上展现出优越的性能。

3、在模型的推理过程中,会使用键值缓存(key-value cache,kv缓存)共享的方式来节省模型推理过程的计算时间和计算资源。

4、但是,这种方式存在一定的安全问题。


技术实现思路

1、有鉴于此,本公开的目的在于提出一种模型服务的安全性检测方法及相关设备,至少在一定程度上解决相关技术中的技术问题之一。

2、基于上述目的,本公开第一方面提供了一种模型服务的安全性检测方法,包括:

3、获取第一模型服务的缓存信息,所述缓存信息基于向所述第一模型服务发送的第一请求生成;

4、基于所述缓存信息的生存周期对所述第一模型服务进行安全检测,得到针对所述第一模型服务的缓存共享的安全性检测结果。

5、在一些实施例中,基于所述缓存信息的生存周期对所述第一模型服务进行安全检测,得到针对所述第一模型服务的缓存共享的安全性检测结果,包括:

6、若所述缓存信息的生存周期基于用户原因延长,确定所述第一模型服务的缓存共享的安全性检测结果为未通过。

7、在一些实施例中,还包括:获取用户向所述第一模型服务发送的第二请求;

8、所述若所述缓存信息的生存周期基于用户原因延长,确定所述第一模型服务的缓存共享的安全性检测结果为未通过,包括:

9、获取所述缓存信息的生存周期;

10、若所述缓存信息的生存周期大于预设生存周期阈值,确定所述缓存信息的生存周期的异常原因;

11、若所述异常原因包括所述缓存信息的生存周期基于所述第二请求延长,确定所述第一模型服务的缓存共享的安全性检测结果为未通过。

12、在一些实施例中,所述的方法,还包括:

13、响应于所述异常原因包括缓存信息未基于预设的清除命令清除,确定所述第一模型服务的缓存共享的安全性检测结果为未通过。

14、在一些实施例中,还包括:

15、获取用户向所述第一模型服务发送的第三请求;

16、基于所述第三请求的返回信息对所述第一模型服务进行安全检测,得到安全性检测结果。

17、在一些实施例中,所述基于所述第三请求的返回信息对所述第一模型服务进行安全检测,得到安全性检测结果,包括:

18、获取所述第三请求的请求处理时间;

19、若在第一预设时段内,属于同一用户的所述第三请求的数量大于第一预设数量且对应的所述请求处理时间小于预设时间阈值,确定所述第一模型服务的缓存共享的安全性检测结果为未通过。

20、在一些实施例中,所述基于所述第三请求的返回信息对所述第一模型服务进行安全检测,得到安全性检测结果,包括:

21、获取属于多个用户的所述第三请求的返回信息;

22、若在第二预设时段内,多个用户中目标用户所属所述第三请求的返回信息的顺序改变且顺序改变的所述第三请求的数量大于第二预设数量,确定所述第一模型服务的缓存共享的安全性检测结果为未通过。

23、在一些实施例中,还包括:

24、获取用户向所述第一模型服务发送的第四请求;

25、基于所述第四请求的请求内容对所述第一模型服务进行安全检测,得到安全性检测结果。

26、在一些实施例中,基于所述第四请求的请求内容对所述第一模型服务进行安全检测,得到安全性检测结果,包括:

27、获取所述第四请求的请求内容;

28、若在第三预设时段内,属于同一用户的所述第四请求的请求内容相同或相似,和/或,所述第四请求的数量大于第三预设数量,确定所述第一模型服务的缓存共享的安全性检测结果为未通过。

29、在一些实施例中,所述基于所述第四请求的请求内容对所述第一模型服务进行安全检测,得到安全性检测结果,包括:

30、获取所述第四请求的请求内容;

31、获取所述请求内容中的用户设置请求参数;

32、响应于所述用户设置请求参数满足预设条件,确定所述第一模型服务的缓存共享的安全性检测结果为未通过。

33、在一些实施例中,所述用户设置请求参数满足预设条件,包括以下至少之一:

34、所述第四请求的返回信息的长度小于预设值;

35、基于所述第四请求生成的缓存信息不存储在所述第一模型服务中。

36、基于同一发明构思,本公开第二方面提供了一种模型服务的安全性检测装置,包括:

37、获取模块,被配置为:获取第一模型服务的缓存信息,所述缓存信息基于向所述第一模型服务发送的第一请求生成;

38、检测模块,被配置为:基于所述缓存信息的生存周期对所述第一模型服务进行安全检测,得到针对所述第一模型服务的缓存共享的安全性检测结果。

39、基于同一发明构思,本公开的第三方面提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面所述的方法。

40、基于同一发明构思,本公开的第四方面提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行第一方面所述的方法。

41、基于同一发明构思,本公开示例性实施例第五方面提供了一种计算机程序产品,包括计算机程序指令,当所述计算机程序指令在计算机上运行时,使得计算机执行如第一方面所述的方法。

42、从上面所述可以看出,本公开提供的模型服务的安全性检测方法及相关设备,基于第一模型服务中已有的缓存信息的生存周期对第一模型服务进行安全检测,从而得到针对第一模型服务的缓存共享的安全性检测结果,从而对模型服务中的kv缓存共享过程进行安全检测,为模型服务的提供方提供有效的安全分析方式,消除模型服务中的kv缓存共享过程中的安全隐患。



技术特征:

1.一种模型服务的安全性检测方法,包括:

2.根据权利要求1所述的方法,其中,基于所述缓存信息的生存周期对所述第一模型服务进行安全检测,得到针对所述第一模型服务的缓存共享的安全性检测结果,包括:

3.根据权利要求2所述的方法,其中,还包括:获取用户向所述第一模型服务发送的第二请求;

4.根据权利要求3所述的方法,还包括:

5.根据权利要求1所述的方法,还包括:

6.根据权利要求5所述的方法,其中,所述基于所述第三请求的返回信息对所述第一模型服务进行安全检测,得到安全性检测结果,包括:

7.根据权利要求5所述的方法,其中,所述基于所述第三请求的返回信息对所述第一模型服务进行安全检测,得到安全性检测结果,包括:

8.根据权利要求1所述的方法,还包括:

9.根据权利要求8所述的方法,其中,所述基于所述第四请求的请求内容对所述第一模型服务进行安全检测,得到安全性检测结果,包括:

10.根据权利要求8所述的方法,其中,所述基于所述第四请求的请求内容对所述第一模型服务进行安全检测,得到安全性检测结果,包括:

11.根据权利要求10所述的方法,其中,所述用户设置请求参数满足预设条件,包括以下至少之一:

12.一种模型服务的安全性检测装置,包括:

13.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1至11任一项所述的方法。

14.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行权利要求1至11任一项所述的方法。

15.一种计算机程序产品,包括计算机程序指令,当所述计算机程序指令在计算机上运行时,使得计算机执行如权利要求1至11任意一项所述的方法。


技术总结
本公开提供一种模型服务的安全性检测方法及相关设备。所述方法包括:获取第一模型服务的缓存信息,所述缓存信息基于向所述第一模型服务发送的第一请求生成;基于所述缓存信息的生存周期对所述第一模型服务进行安全检测,得到针对所述第一模型服务的缓存共享的安全性检测结果。本公开所述模型服务的安全性检测方法及相关设备,能够对模型服务中的KV缓存共享过程进行安全检测,为模型服务的提供方提供有效的安全分析方式,消除模型服务中的KV缓存共享过程中的安全隐患。

技术研发人员:吴冠龙,张政,张尧,吴烨,张殷乾
受保护的技术使用者:北京火山引擎科技有限公司
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-29628.html