本发明属信号处理,更进一步涉及脑机接口中的一种面向稳态视觉诱发电位脑机接口ssvep-bci(steady-state visual evoked potentials-braincomputer interface)的监督域适应跨受试者迁移方法。本发明可用于拼写系统在输入过程中对目标进行识别。
背景技术:
1、脑机接口bci(brain computer interface)技术能够解析大脑活动产生的电信号,实现人脑与计算机或其他外部设备之间的交互。非侵入式脑机接口无创、便捷,已经在现实中广泛使用,其中,基于稳态视觉诱发电位的脑机接口ssvep-bci具有较高的稳定性、丰富的指令集以及简便的采集的特点,使得ssvep-bci能够获得更高的信息传输速率itr(information translate rate)和更好的用户体验。ssvep-bci主要应用于拼写系统中,稳态视觉诱发电位ssvep(steady-state visual evoked potentials)解码技术是ssvep-bci的核心环节,传统的解码技术主要是通过参考信号或受试者的个人校准数据作为模板信号训练空间滤波器,以提升采集到的ssvep信号的信噪比,从而提高ssvep信号的解码效率。但是,此类方法需要大量校准数据来计算有效的空间滤波器和模板信号,需要繁琐的信号采集流程,由此导致高昂的时间成本和受试者的视觉疲劳,从而降低ssvep-bci的实用性。
2、西安交通大学在其申请的专利文献“一种用于ssvep短时窗信号的精准目标识别方法”(专利申请号:cn 2023102667752,申请公布号:cn 116269445a)中公开了一种使用信号延拓模型延长ssvep信号以实现ssvep精准目标识别的方法。该方法的实现步骤是,利用一个或多个刺激目标对应的ssvep信号构建信号延拓模型dp-mafd-sem(signal extensionmodel based on multichannel adaptive fourier decomposition with differentphase),通过信号延拓模型对ssvep短信号进行信号延拓,增长ssvep信号长度,然后利用基于信号延拓的典型相关性分析方法se-cca(signal-extension canonical correlationanalysis))完成特征频率的识别和分类;通过信号延拓增长ssvep短时窗信号长度,以提高典型相关分析cca(canonical correlation analysis)基于协方差矩阵估计方法识别的可靠性,实现更高的识别准确率。该方法虽然能够用较短的信号达到更高的识别准确率,进一步提高了ssvep-bci的信息传输率。但是,该方法仍然存在的不足之处是,该方法仍需要采集大量的短时受试者ssvep信号,使得新用户无法快速使用脑机接口系统。
3、yan等人在其发表的论文“cross-subject spatial filter transfer methodfor ssvep-eeg feature recognition”(10.1088/1741-2552/ac6b57/j neuraleng.2022.35483331)中公开了一种用于降低ssvep识别过程中校准工作量的跨受试者迁移方法。该方法的实现步骤是,首先从已有的用户数据中选取具有良好ssvep响应的数据作为迁移对象,将其多个试次相应的刺激频率进行叠加和平均。然后将cca/fbcca算法用于计算叠加和平均数据的空间投影向量,将该向量转移到新用户的数据中;最后,计算从新用户测试数据中得到的特征判别系数,并利用迁移分类模型和新用户分类模型,对特征判别系数进行整合,用于目标识别。该方法使用迁移学习适当的降低了新用户使用脑机接口系统的校准工作量,但是,该方法仍然存在的不足之处是,在原始受试者与目标受试者数据差异显著时的性能提升有限,因此迁移学习方法并不能从根源上解决脑机接口校准工作量大的问题。
技术实现思路
1、本发明的目的在于针对上述现有技术的不足,提出一种面向ssvep-bci的监督域适应跨受试者迁移方法,用于解决现有技术中仍需采集大量受试者的ssvep信号,从而导致的受试者视觉疲劳,脑机接口易用性差的问题,并且解决现有方法中在迁移过程中源域与目标域差异过大,影响迁移效果,降低识别准确性的问题。
2、实现本发明目的的技术思路是,本发明设计了新的数据增强方法,在原始数据不足时也能够提取出有效的空间滤波器和模板信号,对原始数据进行多试次平均得到模板信号,接着按照锁相时移步长滑动窗口,得到锁相时移数据集,并计算每个刺激源对应的时间滤波器对锁相时移数据集进行时间滤波,原始数据集、原始数据集计算的模板信号、时间滤波后的锁相时移数据集三者合并,生成扩充训练数据集,为后续的域适应受试者间迁移打下了基础。本发明学习了ssvep的域不变特征,并将域不变特征泛化到未知的测试域,生成的域内不变空间滤波器和域间不变空间滤波器,能够分别对训练集中的样本进行空间滤波,得到域内不变模板信号和域间不变模板信号。这样既能通过域内不变模板信号增强目标的频域特征,同时也通过域间不变信号最大化了不同受试者之间的相关性,增强了泛化性,从而解决了现有技术对用户数据特征提取不完整的问题。本发明通过相关性最大化与源域和目标域之间的转换矩阵,将源受试者的空间滤波器迁移至新用户的ssvep数据上,完成域间迁移。目标受试者数据通过源受试者得到的两类空间滤波器进行滤波,计算滤波后的数据与模板信号、由转换矩阵转换后数据间的三种相关系数来构建特征向量,完成目标识别任务,从而减少在ssvep检测中对受试者的繁琐耗时的校准工作,并通过多个相关系数进一步提升了ssvep识别的准确率。
3、为实现上述目的,本发明采取的技术方案包括如下步骤:
4、步骤1,通过刺激频率对应的周期设置锁相时移步长,生成每个刺激源的锁相时移数据集;
5、步骤2,计算时间滤波器;
6、步骤3,生成扩充训练集;
7、步骤4,利用域内不变空间滤波器,计算训练集中每个源受试者在每个刺激下的域内不变模板信号;
8、步骤5,利用域间不变空间滤波器,计算训练集中每个源受试者在每个刺激下的域间不变模板信号;
9、步骤6,计算域适应转换矩阵,将源受试者的空间滤波器迁移至新用户的ssvep数据;
10、步骤7,对待识别的ssvep信号计算每个刺激目标对应的三个相关系数,将三个相关系数的平均值作为组合相关系数,将相关系数最大时对应的刺激目标作为该ssvep信号的识别结果。
11、本发明与现有技术相比较,具有以下优点:
12、第一,本发明设计的数据增强方法,能够基于滑动窗口策略动态截取原始ssvep信号,仅需要少量采集数据就能达到多次采集的效果并提取出有效的空间滤波器和模板信号。同时计算了信号的时间局部协方差,捕捉ssvep信号的内在时间结构信息,提高了ssvep的信噪比,克服了传统迁移学习在数据稀少时与域间有显著差异时性能提升有限的问题,使得本发明进一步提高了ssvep解码的效率。从而能高效准确地完成后续基于ssvep信号目标识别的准确率。
13、第二,本发明中计算出的域内不变模板信号和域间不变模板信号,既能通过域内不变模板信号增强目标的频域特征,也能通过域间不变信号最大化了不同受试者之间的相关性,避免了现有算法中对用户数据特征提取不完整的缺点,使得本发明提高了脑机接口的泛化能力。
14、第三,本发明提出的域适应跨受试者迁移方法,将源域受试者学习到的广义空间滤波器和模板信号迁移到目标域受试者上,而无需访问目标受试者的ssvep数据。从用户的角度来看,克服了新用户在使用脑机接口时被大量校准工作引发视觉疲劳的不足,使得本发明提升了脑机接口的易用性。
1.一种面向ssvep-bci的监督域适应跨受试者迁移方法,其特征在于,基于滑动窗口策略动态截取原始ssvep信号,分别计算出域内不变模板信号和域间不变模板信号,将源受试者的空间滤波器迁移至新用户的ssvep数据上,完成域间的跨受试者迁移;该目标识别方法的步骤如下:
2.根据权利要求1所述面向ssvep-bci的监督域适应跨受试者迁移方法,其特征在于,步骤1中所述生成每个刺激源的锁相时移数据集的步骤如下:
3.根据权利要求2所述面向ssvep-bci的监督域适应跨受试者迁移方法,其特征在于,步骤2中所述计算时间滤波器的步骤如下:
4.根据权利要求1所述面向ssvep-bci的监督域适应跨受试者迁移方法,其特征在于,步骤3中所述扩充训练集是由原始数据集、时间滤波后的锁相时移数据集和原始模板信号合并组成,其中原始数据集由对每个刺激对应的所有试次ssvep信号从起始时间开始截取训练时间窗长度的数据段得到。
5.根据权利要求3所述面向ssvep-bci的监督域适应跨受试者迁移方法,其特征在于,步骤4中所述域内不变空间滤波器由以下目标函数得到的:
6.根据权利要求5所述面向ssvep-bci的监督域适应跨受试者迁移方法,其特征在于,步骤4中所述的域内不变模板信号是由以下目标函数得到的:
7.根据权利要求6所述面向ssvep-bci的监督域适应跨受试者迁移方法,其特征在于,步骤5中所述的域间不变空间滤波器是由下式得到的:
8.根据权利要求7所述面向ssvep-bci的监督域适应跨受试者迁移方法,其特征在于,步骤5中所述的域间不变模板信号是由下式得到的:
9.根据权利要求8所述面向ssvep-bci的监督域适应跨受试者迁移方法,其特征在于,步骤6中所述域适应转换矩阵如下:
10.根据权利要求9所述面向ssvep-bci的监督域适应跨受试者迁移方法,其特征在于,步骤6中所述将源受试者的空间滤波器迁移至新用户的ssvep数据方法如下:
