本发明涉及模型服务，特别涉及一种模型推理一致性校验方法。
背景技术：
1、在机器学习领域，模型发布成的服务后结果准确性的验证一直是一个关键挑战。近年来，随着机器学习模型服务技术的快速发展，模型服务结果的准确性校验技术受到了广泛关注。这些技术涵盖了模型批量服务发布、模型实时服务发布、预测结果导出、结果对比等方法，使模型能够在预测任务中做一致性校验，保障实际上线后在各种应用中保证结果稳定性。这些创新不仅保障了模型的稳定，还提高了机器学习系统的智能和自动化水平，从而满足了不断演化的需求。传统机器学习模型发布成批量推理服务可进行数据的批量预测，发布成实时推理服务可进行单次数据的实时预测。实际模型应用环境分为开发环境、测试环境、生产环境。开发环境进行开发，测试环境进行服务的验证，生产环境进行服务的实际应用。机器学习模型服务在不断变化的服务器环境中往往面临性能挑战。因此，当模型服务实际从测试环境阶段过渡到生产环境阶段时，缺乏系统化的方法来确保模型行为的一致性。模型的性能可能受到服务所在服务器环境、模型所需环境依赖等内部问题的影响。由于预测场景不一致往往发布成的应用逻辑、架构等会有差异。因此要求对结果的一致性进行校验，以确保模型预测结果的一致，保证模型应用的稳定。目前，许多机器学习领域的应用的结果校验依赖于手动干预，即手动进行一次批量预测将结果导出、手动进行同样数据的实时服务预测，并将两个结果导出后做手工对比。
2、但是，传统机器学习模型的模型发布通常需要昂贵的人力和时间资源。专业数据科学家和工程师必须手动干预，进行服务构建、服务发布、服务结果验证、服务下线、服务重新部署。这一过程不仅费时费力，还可能导致人为错误。因此，研究人员一直在寻求自动化和智能化的方法，以便可以自动进行服务结果的一致性校验，并给出差异化结果分析，无需人为干预。
3、因此，本发明提出一种模型推理一致性校验方法。
技术实现思路
1、本发明提供一种模型推理一致性校验方法，用以通过模型管理服务能够自动触发预测任务，使用已有模型数据发起预测任务，并通过向训练环境中的初始模型和推理环境中的初始模型同时输入相同的测试数据获得比对输出结果，实现模型推理的一致性校验，节省了模型一致性验证过程中的时间和人力成本。
2、本发明提供一种模型推理一致性校验方法，包括：
3、s1：部署模型管理服务和模型发布服务；
4、s2：在模型中心导入模型，并选择适当的参数配置，构建出初始模型；
5、s3：为初始模型配置训练环境信息，并根据基础数据集触发初始模型在训练环境中执行预测任务，获得训练任务执行结果，基于训练任务执行结果判断出初始模型在训练环境中是否正常运行，若是，则保留训练环境，并生成初始模型镜像推送至镜像仓库；
6、s4：向推理环境的初始模型同时调用批量服务算子和在线服务算子并输入相同的测试数据，获得比对输出结果；
7、s5：基于比对输出结果和模型发布服务，按照应用场景发布成批量服务或在线服务。
8、优选的，参数配置包括：模型类型、训练数据集、初始超参数。
9、优选的，构建出初始模型之后，包括：对初始模型进行冻结及保存。
10、优选的，为初始模型配置训练环境信息，包括：
11、利用模型管理服务和容器，为初始模型构建运行所需的依赖包、算法包。
12、优选的，向推理环境的初始模型同时调用批量服务算子和在线服务算子并输入相同的测试数据，获得比对输出结果，包括：
13、利用模型发布服务向推理环境的初始模型同时调用批量服务算子和实时服务算子，同时基于输入的相同的测试数据执行模型预测任务，获得批量服务算子的任务执行结果和实时服务算子的任务执行结果；
14、将批量服务算子的任务执行结果和实时服务算子的任务执行结果进行对比，获得比对输出结果。
15、优选的，s5：基于比对输出结果和模型发布服务，按照应用场景发布成批量服务或在线服务，包括：
16、当比对输出结果为一致时，则利用模型发布服务将初始模型按照应用场景发布成批量服务或在线服务；
17、当比对输出结果为不一致时，则基于比对输出结果进行运行逻辑排查或数据加工，获得训练好的模型，并获取训练好的模型的比对输出结果，直至训练好的模型的比对输出结果为一致时，则利用模型发布服务将训练好的模型按照应用场景发布成批量服务或在线服务。
18、优选的，基于比对输出结果进行运行逻辑排查或数据加工，获得训练好的模型，包括：
19、在比对输出结果中获取每组测试数据对应的批量服务算子的任务执行结果和实时服务算子的任务执行结果；
20、评估出每组测试数据对应的批量服务算子的任务执行结果和实时服务算子的任务执行结果之间的偏差度，包括：
21、
22、式中，为单组测试数据对应的批量服务算子的任务执行结果和实时服务算子的任务执行结果之间的偏差度，为单组测试数据对应的批量服务算子的任务执行结果，为将单组测试数据对应的批量服务算子的任务执行结果按照预设的量化映射函数进行量化后获得的数值，为单组测试数据对应的实时服务算子的任务执行结果，为将单组测试数据对应的实时服务算子的任务执行结果按照预设的量化映射函数进行量化后获得的数值；
23、计算出所有组测试数据对应的批量服务算子的任务执行结果和实时服务算子的任务执行结果之间的偏差度的泛化度；
24、当所有组测试数据对应的批量服务算子的任务执行结果和实时服务算子的任务执行结果之间的偏差度的泛化度不小于泛化度阈值时，则对初始模型的运行逻辑进行排查修正，获得训练好的模型。
25、优选的，计算出所有组测试数据对应的批量服务算子的任务执行结果和实时服务算子的任务执行结果之间的偏差度的泛化度，包括：
26、
27、式中，为所有组测试数据对应的批量服务算子的任务执行结果和实时服务算子的任务执行结果之间的偏差度的泛化度，为同时输入至批量服务算子和实时服务算子的测试数据总组数，为第组测试数据对应的批量服务算子的任务执行结果和实时服务算子的任务执行结果之间的偏差度，为批量服务算子对应的模型可靠度，为实时服务算子对应的模型可靠度，为批量服务算子对应的模型在完成基于输入的第组测试数据执行模型预测任务时已完成的模型迭代次数，为实时服务算子对应的模型在完成基于输入的第组测试数据执行模型预测任务时已完成的模型迭代次数。
28、优选的，基于比对输出结果进行运行逻辑排查或数据加工，获得训练好的模型，还包括：
29、当所有组测试数据对应的批量服务算子的任务执行结果和实时服务算子的任务执行结果之间的偏差度的泛化度小于泛化度阈值时，则对测试数据进行数据加工，获得新的测试数据；
30、并利用模型发布服务分别调用批量服务算子和实时服务算子，同时基于输入的相同的新的测试数据执行模型预测任务，获得批量服务算子的新的任务执行结果和实时服务算子的新的任务执行结果；
31、将批量服务算子的新的任务执行结果和实时服务算子的新的任务执行结果当作新的比对数据结果；
32、基于新的比对输出结果，对初始模型进行运行逻辑排查或对新的测试数据进行数据加工，直至获得训练好的模型。
33、优选的，基于新的比对输出结果，对初始模型进行运行逻辑排查或对新的测试数据进行数据加工，直至获得训练好的模型，包括：
34、当新的比对输出结果为一致时，则将初始模型当作训练好的模型；
35、当新的比对输出结果为不一致时，则评估出每组新的测试数据对应的批量服务算子的新的任务执行结果和实时服务算子的新的任务执行结果之间的偏差度；
36、计算出所有组测试数据对应的批量服务算子的新的任务执行结果和实时服务算子的新的任务执行结果之间的偏差度的泛化度；
37、当所有组新的测试数据对应的批量服务算子的新的任务执行结果和实时服务算子的新的任务执行结果之间的偏差度的泛化度不小于泛化度阈值时，则对初始模型的运行逻辑进行排查修正，获得训练好的模型；
38、当所有组新的测试数据对应的批量服务算子的新的任务执行结果和实时服务算子的新的任务执行结果之间的偏差度的泛化度小于泛化度阈值时，则继续对新的测试数据进行数据加工，直至获得训练好的模型。
39、本发明相对于现有技术产生的有益效果为：
40、实现了机器学习模型服务的结果一致性校验，无需手动发起推理服务再进行结果的对比。模型管理服务能够自动触发预测任务，并调用批量服务算子和在线服务算子对结果进行比较，展示明细信息，加速模型的验证过程。对于发布的推理服务，也会使用部分训练数据发起预测任务，进行端到端的一致性校验，确保训练模型和推理模型的预测能力一致。
41、通过容器技术，模型管理服务能够为每个模型单独构建所需的运行环境，并对模型运行做校验任务，保证模型服务运行的稳定性，且保证模型从测试环境过度到生产环境时模型服务的一致性。
42、本发明提供了通用性的解决方案，适用于各种机器学习任务和领域。这意味着不再需要为每个新问题重新开发和优化迭代过程，提高了可移植性。
43、通过调度技术，模型管理服务能够有效地规划和分配计算资源，以满足建模任务的需求。这包括分配计算资源、数据存储以及其他关键资源。这种资源的最大化利用不仅提高了效率，还减少了资源浪费，有助于优化模型改进的成本效益。
44、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在本技术文件中所特别指出的结构来实现和获得。
45、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
1.一种模型推理一致性校验方法，其特征在于，包括：
2.根据权利要求1所述的模型推理一致性校验方法，其特征在于，参数配置包括：模型类型、训练数据集、初始超参数。
3.根据权利要求1所述的模型推理一致性校验方法，其特征在于，构建出初始模型之后，包括：对初始模型进行冻结及保存。
4.根据权利要求1所述的模型推理一致性校验方法，其特征在于，为初始模型配置训练环境信息，包括：
5.根据权利要求1所述的模型推理一致性校验方法，其特征在于，向推理环境的初始模型同时调用批量服务算子和在线服务算子并输入相同的测试数据，获得比对输出结果，包括：
6.根据权利要求1所述的模型推理一致性校验方法，其特征在于，s5：基于比对输出结果和模型发布服务，按照应用场景发布成批量服务或在线服务，包括：
7.根据权利要求6所述的模型推理一致性校验方法，其特征在于，基于比对输出结果进行运行逻辑排查或数据加工，获得训练好的模型，包括：
8.根据权利要求7所述的模型推理一致性校验方法，其特征在于，计算出所有组测试数据对应的批量服务算子的任务执行结果和实时服务算子的任务执行结果之间的偏差度的泛化度，包括：
9.根据权利要求7所述的模型推理一致性校验方法，其特征在于，基于比对输出结果进行运行逻辑排查或数据加工，获得训练好的模型，还包括：
10.根据权利要求9所述的模型推理一致性校验方法，其特征在于，基于新的比对输出结果，对初始模型进行运行逻辑排查或对新的测试数据进行数据加工，直至获得训练好的模型，包括：
