本技术涉及室内定位，且更为具体地，涉及一种多模态融合室内定位方法。
背景技术：
1、室内外一体化高精度定位是当前智能手机的重要应用之一。目前，室外定位已广泛依赖全球卫星导航系统（gnss）实现高精度定位，并满足各类基于位置的服务需求，但由于gnss信号难以穿透室内空间，导致非视距(nlos)传输和多径效应现象，使得室内定位精度急剧降低。
2、近年来，涌现出多种室内定位技术和解决方案，包括wi-fi、蓝牙、超宽带（uwb）、声信号、超声波、5g定位、惯性导航系统、光学定位等。同时，提出了基于不同测量方法的各种源定位方法，如接收信号强度（rss）、到达时间（toa）、到达时间差（tdoa）等。但这些单一定位技术在手机端应用时仍面临着兼容性差、能耗高、部署成本高、覆盖范围有限、易受多径效应和信号干扰影响以及定位精度不一致等缺陷，难以在所有场景中实现高精度、低成本和广泛适用的定位服务，需要进一步的技术创新和融合方案来克服这些限制。
3、因此，期待一种多模态融合室内定位方法。
技术实现思路
1、为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种多模态融合室内定位方法，首先，定位基站系统发送定位音频信号，被定位通信设备接收并记录来自不同基站的音频信号及其对应的时间戳，通过tdoa算法获得tdoa位置探测数据。接着，被定位通信设备向定位基站系统发送预定义的蓝牙信号，定位基站系统中的各个基站接收该信号后通过蓝牙aoa技术计算通信设备的aoa位置探测数据。进而通过融合声信号tdoa和蓝牙aoa位置探测数据，以输出更精确的通信设备的位置信息。该方法通过融合tdoa和aoa定位观测信息，有效克服了单一定位方法精度受限的问题，能够更好地应对多径效应、非视距传播等挑战，提供在二维动态场景下更可靠的定位服务。
2、相应地，根据本技术的一个方面，提供了一种多模态融合室内定位方法，其包括：
3、定位基站系统向被定位通信设备发送定位音频信号，所述定位基站系统包括一个主基站和三个从基站；
4、所述被定位通信设备接收并记录来自所述定位基站系统的定位音频信号的到达时间戳以得到信号到达时间戳的集合；
5、基于所述信号到达时间戳的集合以及所述定位基站系统中各个基站的位置数据，并通过tdoa算法来计算所述定位通信设备的tdoa位置探测数据；
6、通过所述被定位通信设备向所述定位基站系统发送蓝牙信号；
7、所述定位基站系统中的各个基站捕捉所述蓝牙信号以得到蓝牙iq信号的集合；
8、基于所述蓝牙iq信号的集合，并通过aoa算法来计算所述定位通信设备的aoa位置探测数据；
9、融合所述定位通信设备的aoa位置探测数据和所述定位通信设备的tdoa位置探测数据以得到所述被定位通信设备的定位数据。
10、在上述多模态融合室内定位方法中，基于所述蓝牙iq信号的集合，并通过aoa算法来计算所述定位通信设备的aoa位置探测数据，包括：使用所述aoa算法对所述蓝牙iq信号的集合中的各个蓝牙iq信号进行处理以得到到达基站角度的集合；将所述到达基站角度的集合发送至定位服务器进行定位数据解算以得到所述定位通信设备的aoa位置探测数据。
11、在上述多模态融合室内定位方法中，融合所述定位通信设备的aoa位置探测数据和所述定位通信设备的tdoa位置探测数据以得到所述被定位通信设备的定位数据，包括：将所述定位通信设备的aoa位置探测数据和所述定位通信设备的tdoa位置探测数据输入改进的无迹卡尔曼滤波算法以得到所述被定位通信设备的定位数据。
12、在上述多模态融合室内定位方法中，将所述定位通信设备的aoa位置探测数据和所述定位通信设备的tdoa位置探测数据输入改进的无迹卡尔曼滤波算法以得到所述被定位通信设备的定位数据，包括：设置初始状态估计向量和初始协方差矩阵；对所述初始状态估计向量和所述初始协方差矩阵进行无迹变换以生成sigma点；设置二维动态场景下的运动状态转移函数；基于所述sigma点并结合所述运动状态转移函数进行预测以得到预测观测值；基于所述预测观测值以及定位通信设备的aoa位置探测数据和所述定位通信设备的tdoa位置探测数据确定aoa误差观测信息和tdoa误差观测信息；基于所述aoa误差观测信息和所述tdoa误差观测信息，确定所述被定位通信设备的定位数据。
13、在上述多模态融合室内定位方法中，融合所述定位通信设备的aoa位置探测数据和所述定位通信设备的tdoa位置探测数据以得到所述被定位通信设备的定位数据，包括：对所述定位通信设备的aoa位置探测数据和所述定位通信设备的tdoa位置探测数据进行嵌入编码以得到aoa位置探测嵌入编码向量和tdoa位置探测嵌入编码向量；对所述aoa位置探测嵌入编码向量和所述tdoa位置探测嵌入编码向量进行基于隐式联合特征的引导交互以得到位置探测显著联合交互编码向量；将所述位置探测显著联合交互编码向量输入基于解码器的位置解析模块以得到所述被定位通信设备的定位数据。
14、在上述多模态融合室内定位方法中，对所述aoa位置探测嵌入编码向量和所述tdoa位置探测嵌入编码向量进行基于隐式联合特征的引导交互以得到位置探测显著联合交互编码向量，包括：提取所述aoa位置探测嵌入编码向量和所述tdoa位置探测嵌入编码向量之间的隐式联合特征作为条件特征向量；基于所述aoa位置探测嵌入编码向量、所述tdoa位置探测嵌入编码向量相对于所述条件特征向量的内容贡献，对所述aoa位置探测嵌入编码向量、所述tdoa位置探测嵌入编码向量进行特征调制以得到调制后aoa位置探测嵌入编码向量和调制后tdoa位置探测嵌入编码向量；对所述调制后aoa位置探测嵌入编码向量、所述调制后tdoa位置探测嵌入编码向量和所述条件特征向量进行基于注意力机制的跨域交互融合以得到所述位置探测显著联合交互编码向量。
15、在上述多模态融合室内定位方法中，提取所述aoa位置探测嵌入编码向量和所述tdoa位置探测嵌入编码向量之间的隐式联合特征作为条件特征向量，包括：将所述aoa位置探测嵌入编码向量和所述tdoa位置探测嵌入编码向量输入隐式联合特征捕获网络以得到aoa-tdoa位置探测隐式联合特征向量；对所述aoa-tdoa位置探测隐式联合特征向量进行基于sigmoid函数的特征激活以得到所述条件特征向量。
16、在上述多模态融合室内定位方法中，基于所述aoa位置探测嵌入编码向量、所述tdoa位置探测嵌入编码向量相对于所述条件特征向量的内容贡献，对所述aoa位置探测嵌入编码向量、所述tdoa位置探测嵌入编码向量进行特征调制以得到调制后aoa位置探测嵌入编码向量和调制后tdoa位置探测嵌入编码向量，包括：计算所述aoa位置探测嵌入编码向量相对于所述条件特征向量的第一内容贡献度；计算所述tdoa位置探测嵌入编码向量对于所述条件特征向量的第二内容贡献度；对所述第一内容贡献度和所述第二内容贡献度进行归一化处理，并使用归一化后的第一内容贡献度和第二内容贡献度对所述aoa位置探测嵌入编码向量和所述tdoa位置探测嵌入编码向量进行加权调制以得到所述调制后aoa位置探测嵌入编码向量和所述调制后tdoa位置探测嵌入编码向量。
17、在上述多模态融合室内定位方法中，对所述调制后aoa位置探测嵌入编码向量、所述调制后tdoa位置探测嵌入编码向量和所述条件特征向量进行基于注意力机制的跨域交互融合以得到所述位置探测显著联合交互编码向量，包括：以所述调制后aoa位置探测嵌入编码向量作为查询向量、以所述调制后tdoa位置探测嵌入编码向量作为键向量且以所述条件特征向量作为值向量，将所述调制后aoa位置探测嵌入编码向量、所述调制后tdoa位置探测嵌入编码向量和所述条件特征向量输入基于转换器结构的特征间显著引导交互模块以得到所述位置探测显著联合交互编码向量。
18、与现有技术相比，本技术提供的多模态融合室内定位方法，首先，定位基站系统发送定位音频信号，被定位通信设备接收并记录来自不同基站的音频信号及其对应的时间戳，通过tdoa算法获得tdoa位置探测数据。接着，被定位通信设备向定位基站系统发送预定义的蓝牙信号，定位基站系统中的各个基站接收该信号后通过蓝牙aoa技术计算通信设备的aoa位置探测数据。进而通过融合声信号tdoa和蓝牙aoa位置探测数据，以输出更精确的通信设备的位置信息。该方法通过融合tdoa和aoa定位观测信息，有效克服了单一定位方法精度受限的问题，能够更好地应对多径效应、非视距传播等挑战，提供在二维动态场景下更可靠的定位服务。
1.一种多模态融合室内定位方法，其特征在于，包括：
2.根据权利要求1所述的多模态融合室内定位方法，其特征在于，基于所述蓝牙iq信号的集合，并通过aoa算法来计算所述定位通信设备的aoa位置探测数据，包括：
3.根据权利要求1所述的多模态融合室内定位方法，其特征在于，融合所述定位通信设备的aoa位置探测数据和所述定位通信设备的tdoa位置探测数据以得到所述被定位通信设备的定位数据，包括：
4.根据权利要求3所述的多模态融合室内定位方法，其特征在于，将所述定位通信设备的aoa位置探测数据和所述定位通信设备的tdoa位置探测数据输入改进的无迹卡尔曼滤波算法以得到所述被定位通信设备的定位数据，包括：
5.根据权利要求1所述的多模态融合室内定位方法，其特征在于，融合所述定位通信设备的aoa位置探测数据和所述定位通信设备的tdoa位置探测数据以得到所述被定位通信设备的定位数据，包括：
6.根据权利要求5所述的多模态融合室内定位方法，其特征在于，对所述aoa位置探测嵌入编码向量和所述tdoa位置探测嵌入编码向量进行基于隐式联合特征的引导交互以得到位置探测显著联合交互编码向量，包括：
7.根据权利要求6所述的多模态融合室内定位方法，其特征在于，提取所述aoa位置探测嵌入编码向量和所述tdoa位置探测嵌入编码向量之间的隐式联合特征作为条件特征向量，包括：
8.根据权利要求7所述的多模态融合室内定位方法，其特征在于，基于所述aoa位置探测嵌入编码向量、所述tdoa位置探测嵌入编码向量相对于所述条件特征向量的内容贡献，对所述aoa位置探测嵌入编码向量、所述tdoa位置探测嵌入编码向量进行特征调制以得到调制后aoa位置探测嵌入编码向量和调制后tdoa位置探测嵌入编码向量，包括：
9.根据权利要求8所述的多模态融合室内定位方法，其特征在于，对所述调制后aoa位置探测嵌入编码向量、所述调制后tdoa位置探测嵌入编码向量和所述条件特征向量进行基于注意力机制的跨域交互融合以得到所述位置探测显著联合交互编码向量，包括：
