本发明涉及计算机领域,尤其涉及一种数据输入识别方法、装置、设备及存储介质。
背景技术:
1、在日常生活或工作中,在很多场合,用户一般依赖于手写笔在纸质文档上进行书写记录,但纸质文档存储有一定的期限,不利于长期存储,且在后续查询过程中存在很大的不便利。
2、传统的农批市场erp系统依赖于频繁的用户与系统交互来完成进销存的管理任务,而绝大多数商家习惯使用纸笔记录农批市场或农业相关领域的进销数据,这就产生了矛盾点,传统的erp无法自动将纸笔数据录入到系统,以实现对用户手写内容的智能识别。
技术实现思路
1、本发明的主要目的在于解决如何实现对用户手写农批市场数据的智能识别的技术问题。
2、本发明第一方面提供了一种数据输入识别方法,所述数据输入识别方法包括:
3、获取记录的农批市场数据,所述农批市场数据是通过点阵笔在带有点阵的纸上记录并输入缓存到所述点阵笔中得到的;
4、通过摄像头及预设计算机视觉算法,获取所述农批市场数据中表格数据对应的图像;
5、通过cycle-centernet模型,定位得到所述图像中单元格内容的行列坐标;
6、通过循环神经网络,得到所述图像中的行列信息,并根据所述行列坐标及所述行列信息,通过transformer模型,识别得到单元格内容;
7、根据所述行列信息,将所述单元格内容格式化并输出到终端界面上。
8、可选的,在本发明第一方面的第一种实现方式中,所述通过cycle-centernet模型,定位得到所述图像中单元格内容的行列坐标包括:
9、通过cycle-centernet模型,定位得到所述图像中单元格的中心点;
10、根据所述中心点,定位得到所述图像中单元格内容的行列坐标。
11、可选的,在本发明第一方面的第二种实现方式中,所述根据所述中心点,定位得到所述图像中单元格内容的行列坐标包括:
12、根据所述中心点,通过回归的方式计算出单元格的顶点;
13、根据所述单元格的顶点,生成所述单元格对应的边界框;
14、根据所述边界框,定位得到所述图像中单元格内容的行列坐标。
15、可选的,在本发明第一方面的第三种实现方式中,所述通过循环神经网络,得到所述图像中的行列信息,并根据所述行列坐标及所述行列信息,通过transformer模型,识别得到单元格内容包括:
16、通过循环神经网络,得到所述图像中的行列信息;
17、根据所述行列坐标,对所述图像中的单元格进行剪裁;
18、根据剪裁后的单元格及所述行列信息,通过transformer模型,识别得到单元格内容。
19、可选的,在本发明第一方面的第四种实现方式中,所述根据剪裁后的单元格及所述行列信息,通过transformer模型,识别得到单元格内容包括:
20、根据剪裁后的单元格及所述行列信息,通过transformer模型,得到查询矩阵、键矩阵及值矩阵,所述查询矩阵用于指定关注的词,所述键矩阵用来衡量模型输入的单元格内容特征与所述查询矩阵的相似度,所述值矩阵用于根据所述相似度计算出模型最终的输出结果;
21、计算所述查询矩阵与所述键矩阵之间的相似度;
22、根据所述查询矩阵与所述键矩阵之间的相似度,以及所述值矩阵,识别得到单元格内容。
23、可选的,在本发明第一方面的第五种实现方式中,所述根据所述查询矩阵与所述键矩阵之间的相似度,以及所述值矩阵,识别得到单元格内容包括:
24、通过softmax函数将所述相似度进行归一化,得到注意力权重;
25、根据所述注意力权重及所述值矩阵,计算得到注意力机制的输出;
26、根据所述注意力机制的输出,识别得到单元格内容。
27、可选的,在本发明第一方面的第六种实现方式中,所述根据所述行列信息,将所述单元格内容格式化并输出到终端界面上包括:
28、根据所述行列信息,得到剪裁后的单元格之间的关联信息;
29、根据关联信息,得到单元格结构信息,并根据所述单元格结构信息,将所述单元格内容格式化并输出到终端界面上;
30、通过终端界面,判断所述单元格内容是否正确,若否,则获取修改后的单元格内容。
31、本发明第二方面提供了一种数据输入识别设备,包括:存储器和至少一个处理器,所述存储器中存储有指令,所述存储器和所述至少一个处理器通过线路互连;所述至少一个处理器调用所述存储器中的所述指令,以使得所述数据输入识别设备执行上述的数据输入识别方法。
32、本发明的第三方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的数据输入识别方法。
33、在本发明实施例中,获取记录的农批市场数据,所述农批市场数据是通过点阵笔在带有点阵的纸上记录并输入缓存到所述点阵笔中得到的;通过摄像头及预设计算机视觉算法,获取所述农批市场数据中表格数据对应的图像;通过cycle-centernet模型,定位得到所述图像中单元格内容的行列坐标;通过循环神经网络,得到所述图像中的行列信息,并根据所述行列坐标及所述行列信息,通过transformer模型,识别得到单元格内容;根据所述行列信息,将所述单元格内容格式化并输出到终端界面上。本发明中,利用点阵和transformer自然语言处理模型,实现了对用户手写内容的智能识别,这不仅大幅提高了操作效率,减少了人工输入的错误,还提升了用户体验,使得进销存管理变得更加直观和便捷。
1.一种数据输入识别方法,其特征在于,所述数据输入识别方法包括:
2.根据权利要求1所述的数据输入识别方法,其特征在于,所述通过cycle-centernet模型,定位得到所述图像中单元格内容的行列坐标包括:
3.根据权利要求2所述的数据输入识别方法,其特征在于,所述根据所述中心点,定位得到所述图像中单元格内容的行列坐标包括:
4.根据权利要求1所述的数据输入识别方法,其特征在于,所述通过循环神经网络,得到所述图像中的行列信息,并根据所述行列坐标及所述行列信息,通过transformer模型,识别得到单元格内容包括:
5.根据权利要求4所述的数据输入识别方法,其特征在于,所述根据剪裁后的单元格及所述行列信息,通过transformer模型,识别得到单元格内容包括:
6.根据权利要求5所述的数据输入识别方法,其特征在于,所述根据所述查询矩阵与所述键矩阵之间的相似度,以及所述值矩阵,识别得到单元格内容包括:
7.根据权利要求1所述的数据输入识别方法,其特征在于,所述根据所述行列信息,将所述单元格内容格式化并输出到终端界面上包括:
8.一种数据输入识别装置,其特征在于,所述数据输入识别装置包括:
9.一种数据输入识别设备,其特征在于,所述数据输入识别设备包括:存储器和至少一个处理器,所述存储器中存储有指令,所述存储器和所述至少一个处理器通过线路互连;
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的数据输入识别方法。
