本发明涉及中医问诊领域，特别涉及一种辅助中医的问诊方法、装置、设备及存储介质。
背景技术：
1、中医作为传统医学，具有独特的理论体系和诊疗方法，在预防和治疗各种疾病，尤其是亚健康和老年病方面，发挥着重要作用。然而，传统中医诊断面临一些挑战和困难，主要体现在以下几个方面：
2、1、诊断指标和标准不明确，诊断结果受到医生和患者多种因素的影响，缺乏可复制性和一致性。例如，脉诊和舌诊的结果可能因医生的水平、习惯、情绪等因素而有所差异，也可能因患者的年龄、性别、体质、饮食、服药等因素而变化。
3、2、中医专家和中医院的数量和分布不均衡，导致中医服务的供需不平衡和质量不一。例如，中医的特色技术和经验难以得到有效传播和推广，一些中医的优势和特色难以得到充分发挥和利用。
4、3、中医诊疗过程和结果往往缺乏规范的记录和保存，导致中医知识和数据流失和浪费。例如，中医的经典案例和名方难以完整复现和验证，中医的疗效和安全性难以得到科学评估和监测，中医的创新和发展难以得到有效支持和促进。
5、有鉴于此，提出本技术。
技术实现思路
1、本发明公开了一种辅助中医的问诊方法、装置、设备及存储介质，旨在解决中医四诊数据的处理和分析过程中，缺乏对多模态数据的有效融合和利用，导致诊断结果的准确性和全面性不足。
2、本发明第一实施例提供了一种辅助中医的问诊方法，包括：
3、获取由望诊设备采集到的图像信息，基于所述图像信息进行识别，以生成望诊结果，其中，所述图像信息包括面部图像和舌象图像；
4、获取由闻诊信息采集到的声音信号，对所述声音信号进行分类，以生成声音分类结果；
5、获取由脉象仪采集到的脉象信息，对所述脉象信息进行特征提取并分析，以生成脉象分类结果；
6、获取触控设备上由患者输入的问诊文本，将所述问诊文本、所述望诊结果、所述声音分类结果、所述脉象分类结果进行融合，以生成格式文本；
7、将所述格式文本输入到中医知识图谱中以生成文本提示，调用预训练的中医大语言模型并输入所述文本提示，生成辅助诊断结果。
8、优选地，所述基于所述图像信息进行识别，以生成望诊结果，具体为：
9、对所述面部图像进行预处理，其中，所述预处理包括颜色校正、图像滤波、以及图像增强；
10、调用预训练的面诊模型对预处理后的所述面部图像进行特征提取以生成面部特征，对所述面部特征进行分析和分类，以生成面部望诊结果，其中，所述面部特征包括色泽、光泽、形态、皱纹、以及斑点；
11、对所述舌象图像进行预处理，并对预处理后的所述舌象图像进行舌体定位和分割，保留目标图像；
12、调用预训练的舌诊模型对目标图像进行分割和分类，并基于舌象特征生成舌象望诊结果。
13、优选地，所述对所述声音信号进行分类，以生成声音分类结果，具体为：
14、对所述声音信号转化为数字信号，并对所述数字信号进行预处理，其中，所述声音信号包括呼吸、咳嗽、呕吐、呃逆、嗳气、太息、喷嚏、肠鸣；
15、从所述数字信号中提取声音特征，并调用预训练的闻诊模型对所述声音特征进行分类，以生成声音分类结果，其中，所述声音特征包括音高、音量、音色、节奏。
16、优选地，所述对所述脉象信息进行特征提取并分析，以生成脉象分类结果，具体为：
17、对所述脉象信息转化为数字信号，并对所述数字信号进行预处理，其中，所述预处理包括去除噪声和基线漂移；
18、对所述预处理后的数字信号进行特征提取，并调用训练的脉诊模型对所述提取结果进行分析和分类，以生成脉象分类结果，其中，所述提取结果包括时域特征、频域特征、形态特征、动力学特征、变异性特征、非线性特征。
19、优选地，所述中医大语言模型的训练过程为：
20、以llama13b作为基础模型，对所述基础模型进行汉化，其中，所述汉化包括：扩充llama13b的词表，加入中文字符，并使用中文文本数据进行二次预训练，使模型适应中文；
21、中医知识图谱数据转换为文本，将转化后的中医知识图谱数据和中医文献数据合并文本语料库，基于训练任务和所述文本语料库对汉化后的基础模型进行微调，并通过中医临床诊疗数据做进一步微调；
22、构建中医问答数据集，并对数据集进行预处理，其中，所述问答数据集基于中医药的特征和需求进行收集、清洗、标注和划分；
23、通过对比损失函数进行训练，其中，训练过程采用动态学习率策略，初始5e-5，然后根据训练的进度和验证集的表现进行调整，最终降低到1e-6，批次值为64，并采用adamw优化器自动调整权重的衰减。
24、优选地，还包括：使用四诊信息和对应证名的有标签数据进行监督微调。
25、优选地，还包括：
26、从指令微调的数据集中，随机抽取一部分数据，作为奖励模型的训练集，对于每条训练数据，使用指令微调后的模型，生成若干个候选输出；
27、对于每个候选输出，给出一个奖励值，表示输出的质量，范围在0到1之间，使用rlhf算法，根据候选输出和奖励值，更新模型参数。
28、本发明第二实施例提供了一种辅助中医的问诊装置，包括：
29、望诊结果生成单元，用于获取由望诊设备采集到的图像信息，基于所述图像信息进行识别，以生成望诊结果，其中，所述图像信息包括面部图像和舌象图像；
30、声音分类结果生成单元，用于获取由闻诊信息采集到的声音信号，对所述声音信号进行分类，以生成声音分类结果；
31、脉象分类结果生成单元，用于获取由脉象仪采集到的脉象信息，对所述脉象信息进行特征提取并分析，以生成脉象分类结果；
32、格式文本生成单元，用于获取触控设备上由患者输入的问诊文本，将所述问诊文本、所述望诊结果、所述声音分类结果、所述脉象分类结果进行融合，以生成格式文本；
33、辅助诊断结果生成单元，用于将所述格式文本输入到中医知识图谱中以生成文本提示，调用预训练的中医大语言模型并输入所述文本提示，生成辅助诊断结果。
34、本发明第三实施例提供了一种辅助中医的问诊设备，包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如上任意一项所述的一种辅助中医的问诊方法。
35、本发明第四实施例提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序能够被所述计算机可读存储介质所在设备的处理器执行，以实现如上任意一项所述一种辅助中医的问诊方法。
36、基于本发明提供的一种辅助中医的问诊方法、装置、设备及存储介质，通过先获取由望诊设备采集到的图像信息，基于所述图像信息进行识别，以生成望诊结果，接着，获取由闻诊信息采集到的声音信号，对所述声音信号进行分类，以生成声音分类结果；再接着，获取由脉象仪采集到的脉象信息，对所述脉象信息进行特征提取并分析，以生成脉象分类结果；再接着，获取触控设备上由患者输入的问诊文本，将所述问诊文本、所述望诊结果、所述声音分类结果、所述脉象分类结果进行融合，以生成格式文本；最后，将所述格式文本输入到中医知识图谱中以生成文本提示，调用预训练的中医大语言模型并输入所述文本提示，生成辅助诊断结果。解决了中医四诊数据的处理和分析过程中，缺乏对多模态数据的有效融合和利用，导致诊断结果的准确性和全面性不足。
1.一种辅助中医的问诊方法，其特征在于，包括：
2.根据权利要求1所述的一种辅助中医的问诊方法，其特征在于，所述基于所述图像信息进行识别，以生成望诊结果，具体为：
3.根据权利要求1所述的一种辅助中医的问诊方法，其特征在于，所述对所述声音信号进行分类，以生成声音分类结果，具体为：
4.根据权利要求1所述的一种辅助中医的问诊方法，其特征在于，所述对所述脉象信息进行特征提取并分析，以生成脉象分类结果，具体为：
5.根据权利要求1所述的一种辅助中医的问诊方法，其特征在于，所述中医大语言模型的训练过程为：
6.根据权利要求5所述的一种辅助中医的问诊方法，其特征在于，还包括：使用四诊信息和对应证名的有标签数据进行监督微调。
7.根据权利要求6所述的一种辅助中医的问诊方法，其特征在于，还包括：
8.一种辅助中医的问诊装置，其特征在于，包括：
9.一种辅助中医的问诊设备，其特征在于，包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如权利要求1至7任意一项所述的一种辅助中医的问诊方法。
10.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序能够被所述计算机可读存储介质所在设备的处理器执行，以实现如权利要求1至7任意一项所述一种辅助中医的问诊方法。
