本发明涉及中医辅助诊断与治疗，尤其涉及一种基于ai大模型的智能中医诊断系统。
背景技术：
1、中医通过“望闻问切”四诊的信息，对病人的气血的盛衰、寒热虚实等生理状况有一个全局的把握，归纳得出病情，然后利用中药、针灸、推拿按摩、拔罐疗法、食疗等多种治疗手段，从整体上对病人进行疗愈。
2、随着信息技术的发展，中医诊断逐渐和信息技术进行结合。远程医疗诊断模式让医生和患者之间不再需要线下进行交流，极大便利了中医诊断；基于人工智能的中医诊断数据分析系统，通过诊断映射模型，把疑似疾病组合发送给医生复核；基于深度学习的智能中医诊断系统结合了四诊的信息，利用卷积神经网络深度学习技术训练模型进行预训练，与本地知识库和病例进行匹配，精准地定位了患者的病情。然而目前与中医诊断结合的信息技术存在局限性，本地中医知识库的数量受到限制，导致病情可能无法覆盖所有患者的情况，同时，生成的病情诊断和相应的治疗方案是通过匹配已有的病例而生成的，结果较为单一，且缺乏针对性。
3、目前的ai大模型技术利用transformer的解码器，擅于生成针对性的语言描述，同时，通过模型微调，以本地知识库作为模型微调的数据集，可以生成相应的专有大模型，对于学到的知识可以相互联通，提高诊断的准确性，同时也能定制化输出的诊断，恰好弥补了目前与信息技术结合的中医诊断系统的缺陷。
4、因此，有必要开发一种基于ai大模型的智能中医诊断系统来弥补目前诊断系统存在的不足。
技术实现思路
1、本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于ai大模型的智能中医诊断系统。
2、为解决上述技术问题，本发明所采取的技术方案是：
3、一种基于ai大模型的智能中医诊断系统，包括信息收集模块、数据处理模块、生成诊断模块和中医专有大模型诊断模块；
4、信息收集模块通过面部识别、舌象记录、患者自述和中医切诊四个部分来收集用户的信息；面部识别部分和舌象记录部分通过在线录制视频获取到面部信息和舌象信息；患者自述部分通过在线录制视频获取患者的相关病情，对视频的语音进行提取得到语音信息，然后再通过语音转录技术得到文本信息；中医切诊部分通过在线录制视频，利用非接触的测量心率的系统，得到脉诊心率图；
5、数据处理模块用于将信息收集模块收集到的五种信息进行预处理；对于面部信息和舌象信息，数据处理模块从视频中每秒抽取一帧图片；对于文本信息，数据处理模块对文本进行分词，并将文本转化为数值形式；对于脉诊心率图，数据处理模块通过fft进行转换，得到频谱图；对于语音信息，数据处理模块通过wavenet(波网)得到相应的语音特征；
6、生成诊断模块对数据处理模块输出的数据进行诊断；由面部信息和舌象信息得到的若干帧图片，分别通过对应的预训练的visualglm模型，使用视觉编码器对输入的舌象或面部图像进行编码，生成图像特征，再将这些图像特征与文本提示结合，通过自回归解码器生成面部和舌象的诊断结果；预处理后的文本通过预训练的bert-over-bert(bob)模型，将文本作为理解用户角色的文段，然后通过预先设定的问题对bob模型提问，生成用户的病史、症状、生活环境、出汗情况、饮食情况、睡眠情况、排泄情况，是否存在头痛、胸痛、腰腹疼痛的情况，输出文本诊断；由脉诊心率图生成的频谱图通过基于cnn和lstm的混合模型crnn，使用基于时频分量注意力的混合模型arnn的心音分类方法，计算具有相关的心血管疾病的可能性，输出相应的脉诊诊断；由语音信息生成的语音特征通过预训练的mvitv2模型，输出用户声音的初步分类情况，包括用户语音的强弱、高低、清浊、长短、缓急，然后再将初步分类结果输入到预训练的svm模型，输出判断患者的肺气状况、情志变化、气血是否充沛、脾胃是否病变、脏腑的健康程度，将其作为语音诊断；最后将五种诊断输入到chatglm4模型中，输出一段总结的文字，形成一个综合诊断；
7、中医专有大模型诊断模块将生成诊断模块生成的综合诊断作为输入，然后通过预训练的中医专有大模型，输出相对应的方案建议。
8、进一步地，所述信息收集模块中的非接触的测量心率系统，由信息采集硬件和数据处理软件构成；非接触的测量心率系统获取心率图的过程分为脉象数据采集部分、脉象数据处理部分、心率信号处理部分和实时心率与稳定心率计算部分，具体步骤如下：
9、步骤1.1：脉象数据采集与处理；非接触的测量心率系统通过拍摄用户手腕部位，对“寸、关、尺”部位进行特征提取并计算roi(region of interest，感兴趣的区域)绿色通道平均值；
10、步骤1.2：心率信号处理；计算每次提取绿色通道平均值的每秒帧数(fps,framesper second)，对绿色通道平均值进行矩阵化转换并插值到均匀的时间间隔上，进行信号处理后得到心率信息的时分信号；使用傅里叶变换将时分信号转换为频分信号；
11、步骤1.3：实时心率与稳定心率计算；通过fps计算频率数组结合频分信号的幅度谱得到心率频谱图；通过频谱图在合理范围内的峰值计算实时心率，进而计算稳定心率。
12、进一步地，所述步骤1.1中，脉象数据采集部分的具体方法为：用户首先根据引导，选择上传视频或实时拍摄视频后，正确放置非接触的测量心率系统，打开非接触的测量心率系统搭载的内置照明灯，确保光源稳定；随后，用户被要求在视频中将手腕放置在非接触的测量心率系统的指定区域内，保持一定的姿势稳定性，以确保脉搏周围的关键特征被完整记录；获得质量合格的视频数据之后，非接触的测量心率系统将基于其展示手腕特征的清晰度和完整性自动从视频流中捕获指定数量的关键帧；
13、所述步骤1.1中，脉象数据处理部分的具体方法为：系统首先识别手腕的感兴趣区域，该过程用以下公式来描述：(x,y)→roi，其中，(x,y)代表roi中心的坐标；系统在图像中标记出手腕区域并进行划分，确保后续步骤中只对这块区域进行分析和裁剪，具体步骤如下：
14、s1.1.1：识别手腕区域的边界坐标，划分为三个部分：寸、关、尺；
15、s1.1.2：对每个部分分别进行颜色空间转换和掩码处理，确保只保留皮肤区域；
16、s1.1.3：找出皮肤区域的最大轮廓，并基于此进行roi提取；
17、s1.1.4：对于成功识别出手腕区域的图像，进一步提取绿色通道的平均值作为心率信号的基础数据。
18、进一步地，所述步骤1.2的具体方法如下：
19、s1.2.1：颜色提取与标准化；从图像处理后的roi中提取rgb颜色通道中绿色通道的平均值，并进行标准化处理；
20、提取的平均值为：
21、
22、其中，g为绿色通道平均值，gi为第i个像素的绿色值，n为像素总数；
23、按下式对绿色通道平均值进行归一处理：
24、
25、其中normalized_data为归一化处理后的绿色通道平均值，g为原始绿色通道平均值；
26、s1.2.2：信号去趋势与插值；在得到脉搏roi的绿色通道平均值后，将每一次检测到的数值以队列形式存在数据缓冲区中，当缓冲区满后，将缓冲区内数据转换为矩阵信号；之后对信号数据进行去趋势处理；计算每次检测绿色通道平均值的时间戳，得到实际的fps，即每秒检测的次数；根据fps得到的周期性时间序列，将绿色通道平均值插值到平均时间间隔的序列中，得到心率信息的时分信号；
27、s1.2.3：快速傅里叶变换；对时分信号进行快速傅里叶变换，得到频分信号，后面再根据心率标准范围：50到180，使用带通滤波器进行频谱分析，筛选出特定频率范围内的心率信号；傅里叶变换公式如下：
28、fft＝|f(nt*30)|2
29、其中，nt为归一化的时分信号，f为傅里叶变换运算符：
30、
31、其中，x(t)为时分信号，t为时间，x(f)为频率域信号，f为信号频率。
32、进一步地，所述步骤1.3的具体方法为：
33、根据变换后的频分信号，按下式计算出频率数组：
34、
35、其中，freqs_bpm[k]是频率数组转换为每分钟心跳数后的结果，k是频率索引，fps是采样频率，d是信号的长度；
36、对频率数组进行频谱分析，筛选出标准范围内的心率，得到心率的频谱图；找到频谱图中频率的峰值，即为当前实时心率；对根据历史测量的所有实时心率求平均值，按下式计算出一段时间内的稳定心率值：
37、
38、其中，bpms表示稳定心率，k为历史心率数据的个数，bpmi为第i次计算的心率值；
39、最终系统将“寸关尺”区域内对应的心率图、实时心率和稳定心率提供给用户。
40、进一步地，所述生成诊断模块中的生成面部诊断和舌象诊断分为数据采集部分、数据处理部分、visualglm微调部分和visualglm诊断部分，具体步骤如下：
41、步骤2.1：数据采集；所述基于ai大模型的智能中医诊断系统指导用户通过在线视频方式，通过面对镜头、张开嘴并伸出舌头的方式，收集脸部或舌象数据；
42、步骤2.2：数据处理；利用已知的yolox和基于segment anything(分割万物)的开源tonguesam模型，通过图像编码器、提示生成器和掩码解码器生成边界框提示，实现高精度舌象分割，以此分别对采集到的视频数据中的脸部和舌头进行提取；
43、步骤2.3：visualglm微调；系统采用lora(low-rank adaptation)方法对多模态对话语言模型visualglm模型进行微调；
44、步骤2.4：将处理后的面部图像或舌头图像，结合特定的提示语送入visualglm模型进行处理；visualglm-6b通过图像编码器对输入图像进行编码，结合提示生成器生成的提示语，生成对应舌象或面部图像的描述和分析结果。
45、进一步地，所述步骤2.2中，对于面部诊断模块，系统使用yolox提取出图像中的人脸部分作为感兴趣区域，即roi；用(x,y)代表roi中心的坐标，w和h分别代表roi的宽度和高度；随后确定roi区域的边界坐标，用(x1,y1)代表左上角坐标，(x2,y2)代表右下角坐标，则有
46、
47、
48、对于舌象诊断模块，首先利用yolox标注出含有舌头的roi，随后对于成功识别出舌头区域的图像，采用tonguesam算法对每个像素点所属类别的概率进行计算，分割提取出图像中的舌头部分。
49、进一步地，所述步骤2.3的具体方法为：
50、系统首先准备一组由面部图像和对应文字描述或舌头图像和对应的文字描述组成的训练数据集d＝{(xi,ti)}，其中，xi代表面部图像或舌头图像，ti代表对应的文字描述；
51、使用visualglm模型的视觉编码器ev处理图像数据，得到图像的特征表示vi＝ev(xi)；使用visualglm模型的文本编码器et处理文字描述，得到文本特征ti′＝et(ti)；
52、引入低秩矩阵w更新模型的权重，将图像特征vi和文本特征ti′与低秩矩阵w结合，计算模型输出yi：
53、yi＝f(vi,ti′；θ,w)
54、其中，f代表模型的前向传播函数，yi是模型根据输入vi和ti′输出的预测结果；
55、通过最小化预测结果yi和真实文字描述ti之间的损失函数l来进行基于监督学习的训练，最小化预测结果和真实值之间的差异：
56、
57、其中，i是损失函数，用于衡量预测结果和真实文字描述之间的差异。
58、进一步地，所述中医专有大模型诊断模块通过预训练模型，设置提示词，根据综合诊断的信息，分析用户可能存在的病情，根据中医八大体质的特征判断用户的体质，输出用户与中医八大体质中典型特征相重合的地方，及其相应体质的特征，根据以上的综合信息，分析当前用户可能存在的病情风险，并针对用户的体质和可能存在的病情给出相应的建议；
59、所述预训练模型为前期通过大量的诊断案例，融入对中医八大体质的判断，训练得到的具备中医专有知识的大模型。
60、采用上述技术方案所产生的有益效果在于：本发明提供的基于ai大模型的智能中医诊断系统，收集的五种信息可以全部线上收集，无需到指定地点或者使用相关机器，在保证实现功能的前提下，让整个系统真正实现了远程诊断；在处理面部信息和舌象信息时，分别使用了预训练的visualglm模型，输入图片，可以输出更具有针对性、更丰富的诊断；通过前期预训练的中医专有大模型，可以判断用户的体质，并且可以针对性地分析用户可能存在的病情，同时也能给出相应的建议。本发明利用大模型的生成能力解决了过去系统的诊断和建议单一的问题。
1.一种基于ai大模型的智能中医诊断系统，其特征在于：包括信息收集模块、数据处理模块、生成诊断模块和中医专有大模型诊断模块；
2.根据权利要求1所述的一种基于ai大模型的智能中医诊断系统，其特征在于：所述信息收集模块中的非接触的测量心率系统，由信息采集硬件和数据处理软件构成；非接触的测量心率系统获取心率图的过程分为脉象数据采集部分、脉象数据处理部分、心率信号处理部分和实时心率与稳定心率计算部分，具体步骤如下：
3.根据权利要求2所述的一种基于ai大模型的智能中医诊断系统，其特征在于：所述步骤1.1中，脉象数据采集部分的具体方法为：用户首先根据引导，选择上传视频或实时拍摄视频后，正确放置非接触的测量心率系统，打开非接触的测量心率系统搭载的内置照明灯，确保光源稳定；随后，用户被要求在视频中将手腕放置在非接触的测量心率系统的指定区域内，保持一定的姿势稳定性，以确保脉搏周围的关键特征被完整记录；获得质量合格的视频数据之后，非接触的测量心率系统将基于其展示手腕特征的清晰度和完整性自动从视频流中捕获指定数量的关键帧；
4.根据权利要求3所述的一种基于ai大模型的智能中医诊断系统，其特征在于：所述步骤1.2的具体方法如下：
5.根据权利要求4所述的一种基于ai大模型的智能中医诊断系统，其特征在于：所述步骤1.3的具体方法为：
6.根据权利要求1所述的一种基于ai大模型的智能中医诊断系统，其特征在于：所述生成诊断模块中的生成面部诊断和舌象诊断分为数据采集部分、数据处理部分、visualglm微调部分和visualglm诊断部分，具体步骤如下：
7.根据权利要求6所述的一种基于ai大模型的智能中医诊断系统，其特征在于：所述步骤2.2中，对于面部诊断模块，系统使用yolox提取出图像中的人脸部分作为感兴趣区域，即roi；用(x，y)代表roi中心的坐标，w和h分别代表roi的宽度和高度；随后确定roi区域的边界坐标，用(x1,y1)代表左上角坐标，(x2,y2)代表右下角坐标，则有
8.根据权利要求6所述的一种基于ai大模型的智能中医诊断系统，其特征在于：所述步骤2.3的具体方法为：
9.根据权利要求1所述的一种基于ai大模型的智能中医诊断系统，其特征在于：所述中医专有大模型诊断模块通过预训练模型，设置提示词，根据综合诊断的信息，分析用户可能存在的病情，根据中医八大体质的特征判断用户的体质，输出用户与中医八大体质中典型特征相重合的地方，及其相应体质的特征，根据以上的综合信息，分析当前用户可能存在的病情风险，并针对用户的体质和可能存在的病情给出相应的建议；
