本申请涉及文件分割,特别是涉及一种知识文件分割处理方法、装置、存储介质及处理器。
背景技术:
1、随着信息技术的发展,知识管理已经成为各种企业、团体、组织中提高工作效率、提高产能以及促进创新发展的关键。在自动化执行知识管理时,常需要对知识文件进行处理,但是由于一些知识文件比较庞大,增加了单个处理任务的复杂性,进而导致处理速度低,处理效率低。如何提升知识文件的处理效率,进而提升知识管理效能,是本领域当前亟需解决的技术问题。
技术实现思路
1、基于上述问题,本申请提供了一种知识文件分割处理方法、装置、存储介质及处理器,目的是提升对知识文件的处理效率,方便知识管理。
2、本申请实施例公开了如下技术方案:
3、本申请第一方面提供了一种知识文件分割处理方法,该方法包括:
4、基于待处理知识文件的数据量,将所述待处理知识文件分割为多个知识文件块,并将分割得到的所述多个知识文件块缓存至预先创建的知识文件块加载库中;
5、从所述知识文件块加载库加载所述多个知识文件块,并按照所述多个知识文件块的分割顺序构造与所述多个知识文件块一一对应的多个文件块分割任务;
6、采用多个线程分批异步执行所述多个文件块分割任务对所述多个知识文件块进行分割,直至所述多个文件块分割任务执行完毕,得到所述待处理知识文件对应的知识文档集合;所述知识文档集合中包含多个知识文档,每个知识文档作为所对应的知识文件块的分割结果。
7、在一种可选实现方式中,所述采用多个线程分批异步执行所述多个文件块分割任务对所述多个知识文件块进行分割,包括:
8、启动多个线程,利用所述待处理知识文件对应的知识分割策略分批异步执行所述多个文件块分割任务,以对所述多个知识文件块进行分割;所述知识分割策略是根据所述待处理知识文件的文件类型和/或业务需求配置的。
9、在一种可选实现方式中,知识文件分割处理方法还包括:
10、响应于所述待处理文件的业务需求变化,重新配置所述待处理知识文件对应的知识分割策略;
11、从所述知识文件块加载库加载所述多个知识文件块;
12、启动多个线程,利用为所述待处理知识文件最新配置的知识分割策略分批异步执行所述多个文件块分割任务,以对所述多个知识文件块重新进行分割,直至所述多个文件块分割任务执行完毕,得到所述待处理知识文件对应的最新知识文档集合。
13、在一种可选实现方式中,知识文件分割处理方法还包括:
14、依据所述多个知识文件块的分割顺序,为所述多个知识文件块分配不同的标识信息用以区分不同的知识文件块;
15、构建所述多个知识文件块各自的标识信息与所述待处理知识文件的关联关系;
16、所述得到所述待处理知识文件对应的知识文档集合,包括:
17、将分割得到的知识文档与所对应的知识文件块的标识信息进行关联;
18、根据所述多个知识文件块各自的标识信息与所述待处理知识文件的关联关系,以及知识文档与标识信息的关联关系,将各知识文档按照所述分割顺序整合到所述待处理知识文件对应的知识文档集合中。
19、在一种可选实现方式中,线程利用所述待处理知识文件对应的知识分割策略执行文件块分割任务,以对知识文件块进行分割,包括:
20、由线程将所执行的文件块分割任务对应的知识文件块转换为文本内容;
21、利用所述待处理知识文件对应的知识分割策略对所述文本内容进行分割,得到分割结果。
22、在一种可选实现方式中,根据所述待处理知识文件的文件类型和/或业务需求配置所述待处理知识文件对应的知识分割策略,包括:
23、获取所述待处理知识文件的文件类型信息和业务需求信息;
24、基于文件类型信息与推荐知识分割策略的对应关系,展示所述待处理知识文件的文件类型信息对应的推荐知识分割策略;以及,基于业务需求信息与推荐知识分割策略的对应关系,展示所述待处理知识文件的业务需求信息对应的推荐知识分割策略;
25、响应于用户针对所展示的推荐知识分割策略的触发操作,为所述待处理知识文件配置受触发的推荐知识分割策略作为所述待处理知识文件对应的知识分割策略。
26、在一种可选实现方式中,为所述待处理知识文件配置的知识分割策略为以下策略中之一或者为以下策略中多种策略的组合:
27、按照章节分割,按照段落分割,按照句子分割,按照分隔符分割,按照字数分割。
28、本申请第二方面提供了一种知识文件分割处理装置,该装置包括:
29、第一分割模块,用于基于待处理知识文件的数据量,将所述待处理知识文件分割为多个知识文件块;
30、缓存模块,用于将分割得到的所述多个知识文件块缓存至预先创建的知识文件块加载库中;
31、加载模块,用于从所述知识文件块加载库加载所述多个知识文件块;
32、任务构造模块,用于按照所述多个知识文件块的分割顺序构造与所述多个知识文件块一一对应的多个文件块分割任务;
33、第二分割模块,用于采用多个线程分批异步执行所述多个文件块分割任务对所述多个知识文件块进行分割,直至所述多个文件块分割任务执行完毕,得到所述待处理知识文件对应的知识文档集合;所述知识文档集合中包含多个知识文档,每个知识文档作为所对应的知识文件块的分割结果。
34、本申请第三方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序被处理器运行时,实现如第一方面任一实现方式中介绍的知识文件分割处理方法。
35、本申请第四方面提供了一种处理器,用于运行计算机程序,所述计算机程序运行时执行如第一方面任一实现方式介绍的知识文件分割处理方法。
36、相较于现有技术,本申请具有以下有益效果:
37、本申请中,对待处理知识文件进行了前后两个阶段的分割。第一阶段中,基于待处理知识文件的数据量,将待处理知识文件分割为多个知识文件块;第二阶段中,对经过分割得到的多个知识文件块进一步分割,得到多个知识文档。本方案在执行第一阶段的分割时,将待处理知识文件分割得到多个知识文件块后,将多个知识文件块缓存到了预先创建的知识文件块加载库中,从而当再次需要对同一个待处理知识文件进行分割时,不需要对其重复分割为知识文件块的形式,直接从知识文件块加载库中加载该知识文件的相关知识文件块即可。以缓存知识文件块的方式避免了对同一个待处理知识文件在第一阶段的重复分割,提升了文件分割整体流程的分割速度和分割效率。此外,本方案在执行第二阶段的分割时,采用多个线程分批异步执行文件块分割任务,有效提升了对多个知识文件块的分割效率,从而也能够从整体上提升对知识文件的分割速度和分割效率。通过提升对知识文件的分割速度和分割效率,相应地,能够更加方便基于这些知识文件分割得到的知识文档集合进行知识管理,提升知识管理效能。
1.一种知识文件分割处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述采用多个线程分批异步执行所述多个文件块分割任务对所述多个知识文件块进行分割,包括:
3.根据权利要求2所述的方法,其特征在于,还包括:
4.根据权利要求1所述的方法,其特征在于,还包括:
5.根据权利要求2所述的方法,其特征在于,线程利用所述待处理知识文件对应的知识分割策略执行文件块分割任务,以对知识文件块进行分割,包括:
6.根据权利要求2所述的方法,其特征在于,根据所述待处理知识文件的文件类型和/或业务需求配置所述待处理知识文件对应的知识分割策略,包括:
7.根据权利要求2或6所述的方法,其特征在于,为所述待处理知识文件配置的知识分割策略为以下策略中之一或者为以下策略中多种策略的组合:
8.一种知识文件分割处理装置,其特征在于,包括:
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序被处理器运行时,实现如权利要求1-7中任一项所述的知识文件分割处理方法。
10.一种处理器,其特征在于,用于运行计算机程序,所述计算机程序运行时执行如权利要求1-7中任一项所述的知识文件分割处理方法。
