面向审计业务流程的系统自动测试方法及系统与流程

专利2025-12-02  4


本发明属于数字化,具体涉及一种面向审计业务流程的系统自动测试方法及系统。


背景技术:

1、由于审计业务在风险合规、规范操作、专业性方面的特殊要求,支撑审计流程自动化的审计业务系统,也具有特殊的属性,包括:(1)数据多样性:审计系统需要处理不同类型和格式的数据,如财务报表、交易记录、凭证等。(2)用户多样性:审计系统的用户包括审计师、企业管理层、监管机构等,不同用户对系统的需求和操作权限不同。(3)业务规则复杂性和特异性:审计业务规则繁多且经常更新,并且不同的审计目标、审计对象、审计内容往往对应特异性的业务规则,系统需要能够适应这些规则的变化。(4)信息安全性和保密性:审计系统处理的信息往往具有高度敏感性,因此系统需要具备强大的安全性和保密性。(5)集成难度:审计系统通常需要与其他企业内部系统(如财务系统、erp系统等)集成,这增加了系统实现的复杂性。

2、因此,在系统开发过程中,审计业务系统的自动化测试是一个重要的研究方向。现有的测试方法往往依赖于手动编写测试用例,这不仅耗时耗力,而且难以覆盖复杂的业务逻辑和用户操作。此外,随着审计业务系统的复杂性增加,测试用例的维护和更新也变得日益困难。

3、目前,虽然有一些自动化测试工具,如selenium和playwright等,能够模拟用户操作,但这些工具通常需要大量的配置和编程工作,且一般只能从测试用例库中按照固定的规则选取模板并组合形成测试用例,导致测试用例单一固化,不易于生成针对特定业务流程的测试用例脚本,测试覆盖率和适应性受到很大的制约。因此,如何高效地生成和执行针对审计业务流程的测试用例脚本,成为当前自动化测试领域的一个主要挑战。


技术实现思路

1、本发明提供的一种面向审计业务流程的系统自动测试方法及系统。本发明通过能够通过训练大模型,理解多种特异性的审计业务流程和规则,进而大模型能够自动生成动态、灵活性的测试用例脚本,并在playwright框架下模拟用户的审计业务流程进行测试,从而提高测试效率,减少人工成本,并提高测试覆盖率和质量,从而解决上述技术问题。

2、第一方面,本发明提供了一种面向审计业务流程的系统自动测试方法,其特征在于,包括:

3、审计业务流程数据标引步骤,通过采集和分析样本集合内的审计业务流程,确定并标注审计业务系统的关键操作和验证点;

4、大模型训练步骤,使用样本集合中标注好的审计业务数据来训练大模型,使其能够理解和生成符合审计业务逻辑的测试用例脚本;

5、大模型测试用例脚本生成步骤,通过训练后的大模型,根据之前分析和理解的审计业务数据,自动生成一系列模拟用户按照审计业务流程执行操作的测试用例脚本;

6、测试用例脚本集成运行步骤,基于playwright框架的api,将生成的测试用例脚本与playwright框架集成,并通过playwright框架执行测试用例脚本。

7、优选的是,所述审计业务流程数据标引步骤具体包括:

8、流程图绘制子步骤,绘制审计业务流程图,标注每个环节的功能和操作;

9、操作识别子步骤:基于流程图,识别出所有的关键操作,并对关键操作进行标注;

10、验证点确定子步骤,对于每个关键操作,确定相应的验证点,并对验证点的验证内容、验证方式、验证标准进行标注。

11、优选的是,大模型测试用例脚本生成步骤中,所述测试用例脚本用于复现用户按照审计业务流程,在审计业务系统各个功能界面中的操作行为,包括:网页交互,将包含指令以启动浏览器并导航到特定的url,为后续操作提供交互环境;填写表单字段,模拟用户输入行为,对表单中的各个字段按照预定的数据输入规则进行数据填充;按钮点击,在完成必要的数据输入后,脚本将模拟用户点击提交按钮,以触发下一步的业务流程。

12、优选的是,将生成的测试用例脚本与playwright框架集成具体步骤包括:初始化playwright环境,通过playwright框架的api初始化一个测试环境,这包括启动浏览器实例和创建一个新的浏览器上下文;将大模型生成的测试用例脚本加载到playwright的测试上下文中,脚本中包含了一系列待执行的操作指令;模拟执行用户操作,通过playwright框架的api,模拟用户操作,如点击、输入、导航;在执行测试用例脚本的同时,实时监控日志输出和异常情况,确保测试的稳定性和可靠性;测试执行完毕后,收集测试结果。

13、优选的是,所述面向审计业务流程的系统自动测试方法还包括:脚本动态优化步骤,收集审计业务系统的运行情况,并根据反馈动态调整测试用例脚本,持续测试与动态优化直到达到符合预期的测试覆盖率。

14、优选的是,在测试用例脚本执行的过程中,收集审计业务系统的运行情况,记录下包含关键的性能指标和系统响应的反馈信息,包括:响应时间,记录系统对每个操作的平均响应时间,以评估系统的效率;错误日志,捕捉系统在执行操作过程中产生的任何错误信息,用于后续的问题分析和解决;异常行为,监测系统是否有任何异常行为。

15、优选的是,所述根据反馈动态调整测试用例脚本具体包括:利用大模型根据反馈信息,对测试用例脚本进行以下分析和调整:对收集到的数据进行深入分析,识别出可能的性能瓶颈或功能缺陷;基于分析结果,大模型对测试用例脚本进行修改;使用调整后的脚本重新执行测试,验证问题是否得到解决。

16、优选的是,大模型根据审计业务系统的反馈信息,动态调整测试用例脚本的过程包括:构造反馈信息特征解析器和测试用例转换器。其中反馈信息特征解析器采用vit模型,输入表示每个样本对中的反馈信息矢量样本,以上响应时间、错误信息类型以及异常行为类型可作为该反馈信息矢量样本的矢量元素;为该反馈信息特征解析器的全部参数构成的参数向量,该反馈信息特征解析器输出反馈信息的结构特征;测试用例转换器是text transformers模型,输入表示每个样本对中的测试用例样本,为测试用例转换器中的全部参数构成的参数向量,该转换器输出测试用例结构特征;大模型还包括反馈信息结构特征和测试用例结构特征的线性投影矩阵,该矩阵参数表示为和;反馈信息矢量样本和测试用例样本所构成的配对样本的样本集合表示为,是样本集合总容量。

17、优选的是,预训练过程中,对反馈信息特征解析器和测试用例转换器的参数初始化为,并且初始化矩阵参数;在每个训练轮次(epoch)中,将随机分成大小为的小批量样本:,,这里;对第批次的小批量样本对, 将分别输入反馈信息特征解析器和测试用例转换器,得到该小批量样本的反馈信息结构特征和测试用例结构特征,分别表示为、;在每个小批量样本中,同一个配对样本的反馈信息结构特征和测试用例结构特征构成正样本对,来自不同的配对样本的的反馈信息结构特征和测试用例结构特征结合在一起构成负样本对,其中;利用所述线性投影矩阵,对两组特征进行线性投影,得到两组相同维度的特征,并进行归一化为:

18、;

19、;

20、这里,;和为针对本批量样本的线性投影的矩阵参数;函数表示把矩阵每一行的值除以该行所有元素平方和的平方根;利用线性投影的特征和,构造训练损失函数如下:首先计算特征和的余弦相似度矩阵:

21、;

22、这里,是一个的矩阵,是预定义的超参数;继而计算基于对比损失的对称损失函数:

23、

24、其中是的第个元素;进而,计算该损失函数相对于反馈信息特征解析器和测试用例转换器以及线性投影矩阵所有参数的梯度:

25、;

26、这里,是由中所有参数组成参数向量,表示针对第批小批量样本以上参数的取值;每批次的训练过程中持续更新训练模型参数:

27、;

28、这里,是学习率;训练完成后输出最优参数向量,从而得到训练优化完成的反馈信息特征解析器和测试用例转换器以及线性投影矩阵,,,。

29、另一方面,本技术还公开了一种面向审计业务流程的自动测试系统,其特征在于,包括:

30、审计业务流程数据标引单元,通过采集和分析样本集合内的审计业务流程,确定并标注审计业务系统的关键操作和验证点。

31、审计测试大模型单元,包括使用样本集合中标注好的审计业务数据训练的大模型,其能够理解和生成符合审计业务逻辑的测试用例脚本;并且通过训练后的大模型,根据之前分析和理解的审计业务数据,自动生成一系列模拟用户按照审计业务流程执行操作的测试用例脚本。

32、本发明通过能够通过训练大模型,理解多种特异性的审计业务流程和规则,进而大模型能够自动生成动态、灵活性的测试用例脚本,并在playwright框架下模拟用户的审计业务流程进行测试;基于大模型的特性,能够支持高动态、多轮交互的审计业务系统测试,适配复杂和变化的审计业务流程,并且能够实时对测试结果进行分析和评估,提高测试覆盖率,改善测试质量和测试效率,减少人工成本,并且在迭代过程中持续优化大模型的测试用例脚本生成能力。


技术特征:

1.一种面向审计业务流程的系统自动测试方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述审计业务流程数据标引步骤具体包括:

3.根据权利要求2所述的方法,其特征在于,大模型测试用例脚本生成步骤中,所述测试用例脚本用于复现用户按照审计业务流程,在审计业务系统各个功能界面中的操作行为,包括:网页交互,将包含指令以启动浏览器并导航到特定的url,为后续操作提供交互环境;填写表单字段,模拟用户输入行为,对表单中的各个字段按照预定的数据输入规则进行数据填充;按钮点击,在完成必要的数据输入后,脚本将模拟用户点击提交按钮,以触发下一步的业务流程。

4.根据权利要求3所述的方法,其特征在于,将生成的测试用例脚本与playwright框架集成具体步骤包括:初始化playwright环境,通过playwright框架的api初始化一个测试环境,这包括启动浏览器实例和创建一个新的浏览器上下文;将大模型生成的测试用例脚本加载到playwright的测试上下文中,脚本中包含了一系列待执行的操作指令;模拟执行用户操作,通过playwright框架的api,模拟用户操作,如点击、输入、导航;在执行测试用例脚本的同时,实时监控日志输出和异常情况,确保测试的稳定性和可靠性;测试执行完毕后,收集测试结果。

5.根据权利要求4所述的方法,其特征在于,所述面向审计业务流程的系统自动测试方法还包括:脚本动态优化步骤,收集审计业务系统的运行情况,并根据反馈动态调整测试用例脚本,持续测试与动态优化直到达到符合预期的测试覆盖率。

6.根据权利要求5所述的方法,其特征在于,在测试用例脚本执行的过程中,收集审计业务系统的运行情况,记录下包含关键的性能指标和系统响应的反馈信息,包括:响应时间,记录系统对每个操作的平均响应时间,以评估系统的效率;错误日志,捕捉系统在执行操作过程中产生的任何错误信息,用于后续的问题分析和解决;异常行为,监测系统是否有任何异常行为。

7.根据权利要求6所述的方法,其特征在于,所述根据反馈动态调整测试用例脚本具体包括:利用大模型根据反馈信息,对测试用例脚本进行以下分析和调整:对收集到的数据进行深入分析,识别出可能的性能瓶颈或功能缺陷;基于分析结果,大模型对测试用例脚本进行修改;使用调整后的脚本重新执行测试,验证问题是否得到解决。

8.根据权利要求7所述的方法,其特征在于,大模型根据审计业务系统的反馈信息,动态调整测试用例脚本的过程包括:构造反馈信息特征解析器和测试用例转换器;其中反馈信息特征解析器采用vit模型,输入表示每个样本对中的反馈信息矢量样本,以上响应时间、错误信息类型以及异常行为类型可作为该反馈信息矢量样本的矢量元素; 为该反馈信息特征解析器的全部参数构成的参数向量,该反馈信息特征解析器输出反馈信息的结构特征;测试用例转换器是text transformers模型,输入表示每个样本对中的测试用例样本,为测试用例转换器中的全部参数构成的参数向量,该转换器输出测试用例结构特征;大模型还包括反馈信息结构特征和测试用例结构特征的线性投影矩阵,该矩阵参数表示为和;反馈信息矢量样本和测试用例样本所构成的配对样本的样本集合表示为,是样本集合总容量。

9.根据权利要求8所述的方法,其特征在于,预训练过程中,对反馈信息特征解析器和测试用例转换器的参数初始化为,并且初始化矩阵参数;在每个训练轮次(epoch)中,将 随机分成大小为的小批量样本: , ,这里;对第批次的小批量样本对, 将 分别输入反馈信息特征解析器和测试用例转换器,得到该小批量样本的反馈信息结构特征和测试用例结构特征,分别表示为、;在每个小批量样本中,同一个配对样本的反馈信息结构特征和测试用例结构特征构成正样本对,来自不同的配对样本的的反馈信息结构特征和测试用例结构特征结合在一起构成负样本对,其中;利用所述线性投影矩阵,对两组特征进行线性投影,得到两组相同维度的特征,并进行归一化为:

10.一种面向审计业务流程的自动测试系统,其特征在于,包括:


技术总结
本发明提供了一种面向审计业务流程的系统自动测试方法及系统。该方法包括:审计业务流程数据标引步骤、大模型训练步骤、大模型测试用例脚本生成步骤以及测试用例脚本集成运行步骤。本发明通过能够通过训练大模型,理解多种特异性的审计业务流程和规则,进而大模型能够自动生成动态、灵活性的测试用例脚本,并在Playwright框架下模拟用户的审计业务流程进行测试,从而提高测试效率,减少人工成本,并提高测试覆盖率和质量,从而解决上述技术问题。

技术研发人员:王涌,陈琛,王开向,龚峰平,王开志,彭超
受保护的技术使用者:北京至臻云智能科技有限公司
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-28189.html