本发明涉及通信，更具体地，涉及一种基于强化的小波降噪直接定位算法。
背景技术：
1、随着通信技术的不断发展，人们对通信设备的精度也日渐严苛。近年来，目标直接定位算法受到了学者们的广泛关注。与传统的两步定位算法对比，直接定位法由于不会引入额外的误差，有效提升定位的精度，并且降低了算法复杂度。然而，大部分的直接定位算法还不够智能，在使用种需要人为设置各项参数，并且在低信噪比的环境中定位效果不佳。
2、2008年，oispuu等人对多重信号分类算法进行推广，提出了基于子空间数据融合的直接定位算法。该算法通过计算噪声子空间。搜索噪声最小值在地理网格的位置作为目标的位置估计。该算法利用单个运动阵列可以实现多个目标位置的解耦估计。
3、2013年，zhong等人引入最小均方的滤波思想，利用目标到不同观察站的时间差，提出基于自适应滤波的直接定位算法。该方法通过统筹不同观测站的信息，并使用迭代运算降低多站直接定位算法的计算量。但定位精度在低信噪比条件下有一定的损失，并且只能定位单个目标。
4、2017年，逯志宇提出一种基于分段信号相关累加的变速多站联合直接定位算法，该算法利用多个变速运动的观测站，能够更加准确的定位目标信息，并且解决了相干累加所引起的相位模糊问题，在低信噪比条件下鲁棒性较好。但多站定位需要统筹所有站点的信息，并且复杂度也比单站定位要高，仍需要一定的改进。
5、小波降噪是一种消除噪声影响的信号处理技术。由于在小波变换中数据具有强关联性，对带噪信号进行小波分解得到一系列的小波系数后，信号的能量集中在一些大的小波系数当中，而噪声的能量则遍布整个小波域。因此通过保留大的小波系数进行小波重构，进而对信号实现降噪。由于小波降噪操作简单，降噪效果好，在图像、音频等领域均引起广泛的关注。
6、公开一种基于强化学习的小波降噪直接定位算法。包括如下步骤：接收信号，根据探索系数和q值表确定滤波阈值，对信号进行小波分解，根据阈值对信号进行滤波，重构信号，使用重构信号对目标位置进行空间谱估计，根据重构结果得到奖励矩阵r，利用奖励矩阵r更新q值表。
技术实现思路
1、本发明提供一种基于q学习的小波降噪直接定位算法，在低信噪比环境下可得到较佳的定位效果。
2、为解决上述技术问题，本发明的技术方案如下：
3、一种基于q学习的小波降噪直接定位算法，包括以下步骤：
4、s1：根据探索系数和q值表，选择合适的降噪阈值。
5、s2：使用选择的降噪阈值，对接收到的信号进行小波降噪处理。
6、s3：使用降噪后信号的信号进行空间谱估计。
7、s4：结合空间谱的估计结果以及观测站的动作得到奖励矩阵r。
8、s5：利用奖励矩阵对q值表进行更新，在学习完毕后就能得到最优的直接定位结果。
9、优选地，当观测站接收到带噪信号后，会根据探索系数决定采用随机阈值进行滤波或者根据q值表选择阈值进行滤波，其中q值表states代表阈值，记为sta，action代表增加阈值、减少阈值或保持阈值不变三种动作，记为act。阈值的可选范围为[0，λmax]，所以q值表共有λmax个状态。探索系数越大，观测站采用随机阈值的概率就会越大。其中探索系数会随着迭代不断下降，设置如下：
10、p＝βr
11、其中β是探索因子，β∈[0,1]。r是迭代次数。如果采用根据q值表选择阈值，则会选择q值最大的阈值进行滤波。当前阈值记为λ。
12、优选地，观测站接收到的带噪信号可以表示为：
13、x(t)＝a·s(t)+n(t)
14、其中s(t)为目标发射的信号，a是阵列导向矩阵，n(t)是高斯加性白噪声。x(t)是观测站接收到的信号。
15、观测站对接收到的信号进行小波分解，所述小波变换系数幅度的计算方式如下：
16、
17、式中，a为尺度因子，b为平移因子，*表示复共轭，ψ(t)为小波函数，ψ(a.b)(t)为小波母函数经过伸缩平移得到的小波基函数：
18、
19、选用sym4小波对接收信号进行小波变化。sym4小波的支撑范围为2*4-1，消失矩为4，同时也具备较好的正则性、连续性和对称性。一定程度上能够减少对信号进行分析和重构时的相位失真。
20、由于信号具有强相关性，信号会集中在大的小波系数上。利用步骤s1得到的阈值对小波系数进行处理，降噪的阈值函数为：
21、
22、其中wj,k代表降噪前的第j尺度上第k个小波系数，代表降噪后的第j尺度上第k个小波系数。之后使用降噪后的小波系数对信号进行重构，得到降噪信号。
23、信号重构的公式为：
24、
25、其中，为降噪后的信号。
26、优选地，利用降噪信号，我们使用子空间数据融合法对目标进行直接定位。对降噪信号的协方差矩阵进行特征值分解，得到的特征矢量可以分为两个部分，1个大特征值和m-1个小特征值。m是观测天线阵元数。
27、协方差矩阵rl的公式为：
28、
29、对协方差矩阵进行特征值分解，得到信号子空间和噪声子空间子空间数据融合法的代价函数为：
30、
31、优选地，观测站对近5次的接收信号进行粗略的小波降噪和空间谱估计，并与前一次的粗略定位结果进行对比，得到奖励矩阵r。前一次的阈值记为当前阈值记为λ。根据观测站的动作以及定位对比情况，可以分为以下6种情况。
32、1)若则表示观测站采取增加阈值的动作，若粗略定位效果比之前的更优，则奖励矩阵r设置如下：
33、
34、其中θ是奖励步长，为一正值。
35、2)若则表示观测站采取增加阈值的动作，若粗略定位效果比之前的更差，则奖励矩阵r设置如下：
36、
37、3)若则表示观测站采取增加阈值的动作，若粗略定位效果与之前的比变化很小，则奖励矩阵r设置如下：
38、
39、4)若则表示观测站采取减少阈值的动作，若粗略定位效果比之前的更优，则奖励矩阵r设置如下：
40、
41、5)若则表示观测站采取减少阈值的动作，若粗略定位效果比之前的更差，则奖励矩阵r设置如下：
42、
43、6)若则表示观测站采取减少阈值的动作，若粗略定位效果与之前的比变化很小，则奖励矩阵r设置如下：
44、
45、优选地，当观测站得到奖励矩阵r后，对q值表进行更新。q值表更新公式如下：
46、newq(sta,act)＝(1-α)q(sta,act)+α(r(sta,act)+γ*maxq′(sta′,act′))
47、其中α是学习率，γ是折扣因子，newq(sta,act)是基于状态和行动的新q值，maxq′(sta′,act′)是预期新状态下可能会获得的最大奖励。在学习结束后，q值最大的状态就是当下最优的阈值。采用该阈值能获得最佳的定位结果。
48、与现有技术相比，本发明技术方案的有益效果是：
49、本发明使用q学习算法对带噪信号进行直接定位，以提高定位精度。对带噪信号进行小波降噪，能够有效提高低信噪比条件下的定位精度。利用q学习算法合理选择降噪阈值，提高了定位算法的智能，能够应用在不同场景下。该算法在性能不变的前提下，优先选择小阈值滤波，一方面可以防止过度滤波造成信号失真，另一方面尽可能保持信号的相位幅度不变，确保滤波后的波形符合原始信号趋势，使结果更加可信。用定位结果作为反馈进行学习，比其他算法使用信噪比作为反馈更加合理，具有更高的定位精度。
1.一种基于q学习的小波降噪直接定位算法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于q学习的小波降噪直接定位算法，其特征在于，步骤s1中当观测站接收到带噪信号后，会根据探索系数决定采用随机阈值进行滤波或者根据q值表选择阈值进行滤波，其中q值表states代表阈值，记为sta，action代表增加阈值、减少阈值或保持阈值不变三种动作，记为act。阈值的可选范围为[0，λmax]，所以q值表共有λmax个状态。探索系数越大，观测站采用随机阈值的概率就会越大。其中探索系数会随着迭代不断下降，设置如下：
3.根据权利要求2所述的基于q学习的小波降噪直接定位算法，其特征在于，步骤s2中观测站接收到的带噪信号可以表示为：
4.根据权利要求3所述的基于q学习的小波降噪直接定位算法，其特征在于，步骤s3中利用降噪信号，我们使用子空间数据融合法对目标进行直接定位。对降噪信号的协方差矩阵进行特征值分解，得到的特征矢量可以分为两个部分，1个大特征值和m-1个小特征值。m是观测天线阵元数。
5.根据权利要求4所述的基于q学习的小波降噪直接定位算法，其特征在于，步骤s4中观测站对近5次的接收信号进行粗略的小波降噪和空间谱估计，并与前一次的粗略定位结果进行对比，得到奖励矩阵r。前一次的阈值记为当前阈值记为λ。根据观测站的动作以及定位对比情况，可以分为以下6种情况。
6.根据权利要求5所述的基于q学习的小波降噪直接定位算法，其特征在于，步骤s5中当观测站得到奖励矩阵r后，对q值表进行更新。q值表更新公式如下：
