本公开实施例涉及计算机技术领域,尤其涉及一种字幕显示方法、装置、电子设备及存储介质。
背景技术:
目前,同声传译在各种会议、传媒活动、广播授课等领域被广泛使用。尤其在许多跨语言的直播中往往会配备同声传译字幕,将主讲者的语言通过语音识别技术和机器翻译技术,转化为观众的语言并实时显示在直播画面中,以此来解决观众不懂外语而无法理解直播内容的问题。
相关技术中,主要基于“打字机”的方式将同声传译字幕展示在直播画面中,也即跟随主讲人的讲话速度,对采集的语音信息边进行语音识别和机器翻译,边将同声传译字幕展示在直播画面中。由于语音识别获取的字幕的断句方式和句子结构还没有固定,需要不断根据字幕内容进行调整,从而机器翻译字幕也会适应性调整,而“打字机”方式使得字幕还没有稳定就进行显示,导致同声传译字幕在直播画面中跳动性很大。而同声传译字幕的不断跳动,使得观众观看字幕时容易视觉疲劳,观众视觉难以聚焦,且上下文容易干扰理解。另一方面,每句字幕内容的停留时间短,观众很可能读不完当前字幕就跳动到下一句字幕,导致观众的实际阅读体验较差。
技术实现要素:
本公开实施例提供一种字幕显示方法、装置、电子设备及存储介质,可以有效保证字幕在直播音视频数据流中显示的稳定性,大大提高了用户体验。
第一方面,本公开实施例提供了一种字幕显示方法,包括:
实时采集直播音视频数据流,并基于预设延时时长对所述直播音视频数据流进行缓存;
在所述预设延时时长内,确定与所述直播音视频数据流对应的字幕数据;
将所述字幕数据叠加至所述直播音视频数据流上;
在所述预设延时时长结束时,播放带所述字幕数据的直播音视频数据流。
第二方面,本公开实施例还提供了一种字幕显示装置,包括:
音视频数据缓存模块,用于实时采集直播音视频数据流,并基于预设延时时长对所述直播音视频数据流进行缓存;
字幕数据确定模块,用于在所述预设延时时长内,确定与所述直播音视频数据流对应的字幕数据;
字幕数据叠加模块,用于将所述字幕数据叠加至所述直播音视频数据流上;
音视频数据播放模块,用于在所述预设延时时长结束时,播放带所述字幕数据的直播音视频数据流。
第三方面,本公开实施例还提供了一种电子设备,所述电子设备包括:
一个或多个处理装置;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理装置执行,使得所述一个或多个处理装置实现如本公开实施例所述的字幕显示方法。
第四方面,本公开实施例还提供了一种计算机可读介质,其上存储有计算机程序,该程序被处理装置执行时实现如本公开实施例所述的字幕显示方法。
本公开实施例,实时采集直播音视频数据流,并基于预设延时时长对所述直播音视频数据流进行缓存;在所述预设延时时长内,确定与所述直播音视频数据流对应的字幕数据;将所述字幕数据叠加至所述直播音视频数据流上;在所述预设延时时长结束时,播放带所述字幕数据的直播音视频数据流。本公开实施例提供的字幕显示方法,通过基于预设延时时长对实时采集的直播音视频数据流进行缓存,并在预设延时时长内,准确确定与直播音视频数据流对应的字幕数据,并在延时时长结束时播放带字幕数据的直播音视频数据流,不仅可以解决现有技术中“打字机”方式显示字幕,由于字幕不稳地导致字幕在直播画面中跳动性大、用户的视觉难以聚焦、容易视觉疲劳的技术问题,还可以有效保证字幕确定的准确性及字幕在直播音视频数据流中显示的稳定性,大大提高了用户体验。
附图说明
图1是本公开一实施例中的一种字幕显示方法的流程图;
图2是本公开另一实施例中的一种字幕显示方法的流程图;
图3是本公开另一实施例中的一种字幕显示方法的流程图;
图4是本公开另一实施例中的一种字幕显示方法的流程图;
图5是本公开另一实施例中的一种字幕显示装置的结构示意图;
图6是本公开另一实施例中的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
图1为本公开一实施例提供的一种字幕显示方法的流程图,本公开实施例可适用于对直播音视频数据流中的字幕进行显示的情况,该方法可以由字幕显示装置来执行,该装置可由硬件和/或软件组成,并一般可集成在具有字幕显示功能的设备中,该设备可以是服务器、移动终端或服务器集群等电子设备。如图1所示,该方法具体包括如下步骤:
步骤110,实时采集直播音视频数据流,并基于预设延时时长对所述直播音视频数据流进行缓存。
在本公开实施例中,实时采集直播音视频数据流,其中,直播音视频数据流可以包括各种会议、传媒活动、广播授课、演讲等直播场景下采集的音视频数据流。示例性的,实时采集的直播音视频数据流为直播演讲过程中采集的音视频数据流,则该直播音视频数据流不仅包含演讲者在演讲过程中所发出的音频数据还包含演讲者在演讲过程中的视频数据。实时采集直播音视频数据流,并基于预设延时时长将实时采集的直播音视频数据流进行缓存,可以理解的是,将实时采集的直播音视频数据流缓存预设延时时长后,再进行播放,而不是边采集边播放。
其中,预设延时时长可以根据实际需求预先进行设定,例如可以是1min。当然,用户可以根据具体情况随时对预设延时时长进行调整,已达到预期效果。例如,可以根据直播音视频数据流的直播场景对预设延时时长进行设定,其中,直播音视频数据流的直播场景不同,对应的预设延时时长可以不同,对直播的实时性要求越高,对应的预设延时时长越短,反之,对直播的实时性要求越低,对应的预设延时时长越长。例如,直播音视频数据流为对某大型的足球比赛进行直播而采集的音视频数据,则可将预设延时时长设置为10s,直播音视频数据流为对某学术会议进行直播而采集的音视频数据,则可将预设延时时长设置为5min。
步骤120,在所述预设延时时长内,确定与所述直播音视频数据流对应的字幕数据。
在本公开实施例中,在预设延长时间内,确定与直播音视频数据流对应的字幕数据,其中,直播音视频数据流对应的字幕数据可以为对直播音视频数据流中所包含的语音信息进行语音识别的识别结果(识别结果为与直播音视频数据流中的语音数据相同语种的识别文本),还可以为对所述识别文本进行翻译后得到的目标语种的翻译文本,也可以为由识别文本与翻译文本共同构成的数据。可选的,直播音视频数据流对应的字幕数据还可以为直播音视频数据流中所包含的语音信息的识别文本修改后的文本,和/或对识别文本进行翻译的翻译文本修改后的文本。
可选的,在所述预设延时时长内,确定与所述直播音视频数据流对应的字幕数据,包括:在所述预设延时时长内,从所述直播音视频数据流中提取音频数据流;基于所述音频数据流确定与所述直播音视频数据流对应的字幕数据。具体的,可以直接对整个音频数据流进行音频数据流的提取,也可以多线程同时对音视频数据流进行音频数据流的提取。示例性的,从直播音视频数据流中提取音频数据流,并基于自动语音识别(automaticspeechrecognition,asr)技术对音频数据流进行识别,将识别结果作为与直播音视频数据流对应的字幕数据。又示例性的,从直播音视频数据流中提取音频数据流,将音频数据流输入至同声传译模型中,基于同声传译模型的输入结果确定与直播音视频数据流对应的字幕数据。其中,同声传译模型可以包括语音识别模型和翻译模型,通过语音识别模型对音频数据中的语音进行识别,获取对应的识别文本,翻译模型对识别文本进行翻译,得到翻译文本,将识别文本和翻译文本作为与直播音视频数据流对应的字幕数据。
可选的,基于所述音频数据流确定与所述直播音视频数据流对应的字幕数据,包括:对所述音频数据流进行语音识别,生成属于第一语种的字幕数据;将所述属于第一语种的字幕数据翻译为属于第二语种的字幕数据;将所述属于第一语种的字幕数据和所述属于第二语种的字幕数据,确定为所述直播音视频数据流对应的字幕数据。示例性的,基于asr技术对音频数据流进行语音识别,生成属于第一语种的字幕数据,其中,第一语种为与音频数据中的语音信息所属的语种。基于机器翻译技术将属于第一语种的字幕数据翻译为第二语种的字幕数据,其中,第二语种为与第一语种不同的语种,第二语种可以为一种,也可以为多种。例如,第一语种和第二语种可以为中文、英语、法语、德语、韩语等语种。将属于第一语种的字幕数据和属于第二语种的字幕数据,共同确定为直播音视频数据流对应的字幕数据,也即直播音视频数据流对应的同声传译字幕数据。
可选的,将所述属于第一语种的字幕数据和所述属于第二语种的字幕数据,确定为所述直播音视频数据流对应的字幕数据,包括:根据接收到的修正信息,对所述属于第一语种的字幕数据和所述属于第二语种的字幕数据进行修正;将修正后的属于第一语种的字幕数据和修正后的属于第二语种的字幕数据,确定为所述直播音视频数据流对应的字幕数据。这样设置的好处在于,可以准确获取直播音视频数据流对应的同声传译字幕。
示例性的,当主讲人发音不标准或语音数据中包含专业术语词汇时,可能导致对音频数据流进行语音识别获取的属于第一语种的字幕数据不准确,从而导致翻译生成的属于第二语种的字幕数据也不准确。因此,可根据译员输入的修正信息,对属于第一语种的字幕数据和/或属于第二语种的字幕数据进行修改。例如,可对属于第一语种的字幕数据进行修改后,基于机器翻译技术将修改后的属于第一语种的字幕数据翻译为属于第二语种的字幕数据,当译员认为属于第二语种的字幕数据依旧不准确时,可基于接收到的对属于第二语种的字幕数据的修正信息,对属于第二语种的字幕数据进行修正。又例如,可根据接收到的对属于第二语种的字幕数据的修正信息,对属于第二语种的字幕数据进行修改,再基于修改后的属于第二语种的字幕数据对属于第一语种的字幕数据进行修改。
步骤130,将所述字幕数据叠加至所述直播音视频数据流上。
在本公开实施例中,将字幕数据叠加至对应的直播音视频数据流上,以使字幕数据与直播音视频数据流中的语音信息对应或同步。具体的,可以将字幕数据叠加至对应的直播音视频数据流上,以使直播音视频数据流在音视频直播画面播放时,字幕数据在音视频直播画面的预设位置区域进行显示。
可选的,在将所述字幕数据叠加至所述直播音视频数据流上之前,还包括:获取与所述直播音视频数据流对应的字幕数据的时间戳;将所述字幕数据叠加至所述直播音视频数据流上,包括:根据所述时间戳将所述字幕数据叠加至所述直播音视频数据流上,以使所述字幕数据与所述直播音视频数据流同步。具体的,字幕数据的时间戳是字幕数据在直播音视频数据流中对应起止时间。其中,可以在直播音视频数据流中的音频数据流进行识别,以确定对应的字幕数据的过程中,获取字幕数据的时间戳。根据时间戳将字幕数据叠加至直播音视频数据流上,具体的,根据字幕数据的时间戳与直播音视频数据流的时间戳,将字幕数据添加至对应的直播音视频数据流中,以使字幕数据的显示时间与直播音视频数据流播放时间对齐或同步。
示例性的,当与所述直播音视频数据流对应的字幕数据包括属于第一语种的字幕数据和属于第二语种的字幕数据时,分别获取属于第一语种的字幕数据的第一时间戳和属于第二语种的字幕数据的第二时间戳,根据第一时间戳、第二时间戳以及音视频数据流的时间戳的对应关系,将属于第一语种字幕数据和属于第二语种的字幕数据同步至对应的直播音视频数据流上。
步骤140,在所述预设延时时长结束时,播放带所述字幕数据的直播音视频数据流。
在本公开实施例中,当预设延时时长结束时,播放带字幕数据的直播音视频数据流。可以理解的是,用户在观看音视频播放界面播放的直播音视频数据流时,不仅可以看到直播音视频数据流中的视频画面,听到直播音视频数据流中的语音信息,还可以看到与直播音视频数据流中的语音信息同步显示的字幕数据。
示例性的,预设延时时长结束时,按照直播音视频数据流的播放速度或采集频率,播放带字幕数据的音视频数据流,可以理解的是,将直播音视频数据流以带字幕数据的形式整体上延时播放预设延时时长。具体的,实时采集的直播音视频流为8:00-9:00这段时间的直播的音视频数据,预设延时时长为5min,则在8:05-9:05播放带字幕数据的直播音视频数据流。示例性的,为了方便理解,可以将直播音视频数据流假设拆分为10条直播音视频数据,每条直播音视频数据对应一条字幕数据,若第一条直播音视频数据的实时采集时刻为8:00,播放时长为1min,第二条直播音视频数据的实时采集时刻为8:01,播放时长为2min,则在本公开实施例提供的技术方案,若延时时长为5min,则8:05播放第一条带字幕数据的直播音视频数据,播放时长为1min,8:06播放第二条带字幕数据的直播音视频数据,播放时长为2min,依次类推。
具体的,通过预设延时时长对实时采集的直播音视频数据流进行缓存,并在预设延时时长内,准确确定与直播音视频数据流对应的字幕数据,在预设延时时长结束后,播放叠加了稳定且准确的字幕数据的直播音视频数据流,有效解决了现有技术中“打字机”方式显示字幕,由于字幕不稳地导致字幕在直播画面中跳动性大、用户的视觉难以聚焦、容易视觉疲劳,以及字幕内容的停留时间短,观众的实际阅读体验较差的技术问题。
本公开实施例,实时采集直播音视频数据流,并基于预设延时时长对所述直播音视频数据流进行缓存;在所述预设延时时长内,确定与所述直播音视频数据流对应的字幕数据;将所述字幕数据叠加至所述直播音视频数据流上;在所述预设延时时长结束时,播放带字幕数据的直播音视频数据流。本公开实施例提供的字幕显示方法,通过基于预设延时时长对实时采集的直播音视频数据流进行缓存,并在预设延时时长内,准确确定与直播音视频数据流对应的字幕数据,在延时时长结束时播放带字幕数据的直播音视频数据流,可以有效保证字幕确定的准确性及字幕在直播音视频数据流中显示的稳定性,大大提高了用户体验。
在一些实施例中,将所述字幕数据叠加至所述直播音视频数据流上,包括:按照所述属于第二语种的字幕数据与所述属于第一语种的字幕数据呈上下对应关系的方式,将所述属于第二语种的字幕数据与所述属于第一语种的字幕数据叠加至所述直播音视频数据流上。这样设置的好处在于,可以将观众语种对应的字幕数据(译文)在上,主讲人语种对应的字幕数据在下,并呈对应关系的方式进行显示,重点突出,简单清晰,可以大大提高用户的阅读体验。
示例性的,第一语种为直播音视频数据流的语音信息所属语种,也即第一语种的字幕数据为直播音视频数据流中的主讲人的语种对应的文字信息,而第二语种所属的字幕数据为用户观看同声传译的直播音视频数据流时,用户使用的语种对应的文字信息。因此,可将属于第二语种的字幕数据与属于第一语种的字幕数据呈上下对应关系的方式叠加至直播音视频数据流上,可以理解的是,在音视频直播画面播放带双语字幕数据的直播音视频数据流时,属于第二语种的字幕数据呈现在属于第一语种的字幕数据的上方位置,且属于第二语种的字幕数据与属于第一语种的字幕数据一一对应。
在一些实施例中,在对所述音频数据流进行语音识别,生成属于第一语种的字幕数据之前,还包括:根据用户输入的语种切换指令,确定语音识别的目标语种;对所述音频数据流进行语音识别,生成属于第一语种的字幕数据,包括:基于目标语种对所述音频数据流进行语音识别,生成属于第一语种的字幕数据;其中,所述第一语种与所述目标语种相同。这样设置的好处在于,可以在直播中根据主讲人或发言人的语种变化,一键切换识别语种,有助于提高字幕数据确定的速度和准确性,而且可进一步保证直播“音画同步”,使用户全程感受实时流畅的字幕。
示例性的,在中国人a采访英国人b的直播场景下,当中国人a发言的过程中,实时采集的直播音视频数据流中包含的音频数据流为中文语种的语音,而当英国人b发言的过程中,实时采集的直播音视频数据流中包含的音频数据流为英语语种的语音。因此,可在中国人a与英国人b发言切换时刻,对语音识别的语种进行切换。具体的,接收用户输入的语种切换指令,将切换后的语种作为语音识别的目标语种,也即在对直播音视频数据流中的音频数据流进行语音识别时,基于目标语种进行语音识别。示例性的,由中国人a发言切换到英国人b发言时,根据用户输入的语种切换指令,即将中文语种切换至英语语种的切换指令,将英语作为当前待进行语音识别的目标语种,可有效避免继续基于中文语种对英国人讲话的内容进行语音识别时,语音识别结果错误的情况发生。
在一些实施例中,在将所述字幕数据叠加至所述直播音视频数据流上之前,还包括:按照预设方式对所述字幕数据进行切分,生成至少一条子字幕数据;确定每条子字幕数据的开始播放时间和结束播放时间;将所述字幕数据叠加至所述直播音视频数据流上包括:基于所述开始播放时间和所述结束播放时间,将每条子字幕数据叠加至对应的直播音视频数据流上。这样设置的好处在于,可以使字幕数据在音视频直播画面中按句呈现,长度适中,实现“影院级”字幕的呈现方式,可大大提高用户观看直播音视频的体验。
具体的,在预设延时时长内,确定的直播音视频数据流对应的字幕数据可能很长,在播放直播音视频数据流时,直播音视频数据流对应的字幕数据在音视频直播画面中呈段显示,冗长的字幕数据容易对用户造成干扰,导致用户的实际阅读体验较差。因此,在本公开实施例中,在预设延时时长内,确定与直播音视频数据流对应的字幕数据的过程中,按照预设方式对字幕数据进行切分,生成至少一条子字幕数据。可选的,按照预设方式对所述字幕数据进行切分,包括:在确定与所述直播音视频数据流对应的字幕数据的过程中,基于语音边界检测(voiceactivitydetection,vad)方式对所述字幕数据进行切分;和/或基于知识图谱对所述字幕数据进行切分;或者,基于预设字符数量对所述字幕数据进行切分,以使每条子字幕数据包含所述预设字符数量的字符。具体的,基于vad方式对直播音视频数据流进行切分,是根据说话的时间间隔对直播音视频数据流中的音频数据进行切分,也即根据音频数据流中音频的波形图通过语音识别来判断应该断句的位置,从而使得整个直播音视频数据流对应的字幕数据被切分为至少一条子字幕数据。基于知识图谱对字幕数据进行切分的方式是在保证切分生成的子字幕数据的长度适中的同时,尽量将专有名词切分至同一条子字幕数据中。基于预设字符数量对字幕数据进行切分是使切分后的每套子字幕数据均包含预设字符数量的字符,以使得切分得到的子字幕数据的长度固定且适中。在本公开实施例中,可以同时基于vad方式和知识图谱方式对字幕数据进行切分,具体的,可以先基于vad方式对字幕数据进行切分,再基于知识图谱方式对字幕数据的切分点进行调整,使生成的子字幕数据长度适中,且切分合理,符合用户说话方式。
在本公开实施例中,根据字幕数据的时间戳确定每条子字幕数据的开始播放时间和结束播放时间,例如,可以将每条子字幕数据的第一个字符的时间戳的起始时间作为子字幕数据的开始播放时间,将每条子字幕数据的最后一个字符的时间戳的终止时间作为子字幕数据的结束播放时间。根据开始播放时间和结束播放时间,将每条子字幕数据叠加至对应的直播音视频数据流上。这样设置的好处在于,在播放直播音视频数据流时,可有效保证直播音视频数据流中呈现出的字幕数据长短适中,方便用户观看、消化、理解字幕内容,使用户拥有类似于在影院观看电影的“影院级”字幕体验。
在一些实施例中,在所述预设延时时长内,确定与所述直播音视频数据流对应的字幕数据的过程中,还包括:判断所述直播音视频数据流中是否存在异常音视频数据流;当确定所述直播音视频数据流中存在异常音视频数据流时,暂停对所述直播音视频数据流对应的字幕数据的确定操作,并获取与所述异常音视频数据流相同播放时长的视频广告;基于所述视频广告替换所述直播音视频数据流中的异常音视频数据流。这样设置的好处在于,当直播音视频数据流中存在异常音视频数据流时,通过插播视频广告的方式可以有效避免异常音频数据数据流的播放,同时可继续保证直播的“音画同步”,使用户全程感受实时流畅的字幕,提高了用户观看直播的体验。
示例性的,在实时采集直播音视频数据流的过程中,可能会因为摄像机移动或突然短暂性停电等原因导致采集的直播音视频数据流异常,例如,突然短暂性停电使得采集的直播音视频数据流中包含部分时段的异常音视频数据流(全黑画面的音视频数据流),因此,当确定直播音视频数据流中存在异常音视频数据流时,暂停对直播音视频数据流对应的字幕数据的确定操作,可有效避免确定的正常的直播音视频数据流对应的字幕数据的时间戳与正常直播音视频数据流的时间戳出现错位的情况发生,可提升将字幕数据叠加至直播音视频数据流时,两者时间戳校准的准确性。其中,对直播音视频数据流对应的字幕数据的确定操作的暂停时长为异常音视频数据流播放时长。获取与异常音视频数据流相同播放时长的视频广告,并基于视频广告覆盖或替换直播音视频数据流中的异常音视频数据流,避免异常音视频数据流的播出,提高了用户体验。
在一些实施例中,还包括:确定用户对所述字幕数据的修改速度,并基于所述修改速度对所述预设延时时长进行调整;或者,确定所述直播音视频数据流的直播场景信息,并基于所述直播场景信息对所述预设延时时长进行调整。这样设置的好处在于,可以根据需求灵活调整预设延时时长,从而进一步保证直播的“音画同步”。
示例性的,当确定的与直播音视频数据流对应的字幕数据不够准确时,可在预设延时时长内通过人工方式对字幕数据进行修改、校正,以保证字幕数据的准确性。而如果预设延时时长较短,用户对字幕数据的修改速度较慢时,容易导致未获取准确的字幕数据时就播放直播音视频数据流,使得在音视频直播画面中呈现的字幕数据无法准确反映主讲人表达的真实语音信息。因此,可确定用户对字幕数据的修改速度,例如,从服务器获取历史时间段内用户对字幕数据的修改速度,并对历史时间段内用户对字幕数据的修改速度进行统计,可将用户对字幕数据的修改速度均值作为当前用户对字幕数据的修改速度。基于修改速度对预设延时时长进行调整,例如,当修改速度大于预设速度阈值时,可适当减小该预设延时时长,当修改速度小于预设速度阈值时,可适当增加该预设延时时长。
示例性的,预设延时时长越短,说明对直播音视频数据流播放的实时性越好,而预设延时时长越长,说明对直播音视频数据流播放的实时性越差。而不同的直播场景对直播的实时性要求不同。如足球比赛直播、传媒活动直播的实时性要求较高,而学术会议直播、演讲比赛直播的实时性要求相对较低。因此,可确定直播音视频数据流的直播场景信息,并根据直播场景信息对预设延时时长进行调整。具体的,可提供包含各种直播场景的下拉菜单,根据用户的点选操作确定当前直播音视频数据流的直播场景信息;还可根据直播音视频数据流中的音频数据和/或视频数据确定直播场景信息。根据直播场景信息对预设延时时长进行调整,具体的,当直播场景信息为对直播实时性要求较高类的场景信息时,可减小预设延时时长;当直播场景信息为对直播实时性要求较低类的场景信息时,可增加预设延时时长。可选的,还可根据直播场景与预设延时时长的对应关系表,确定与当前直播场景信息对应的目标延时时长,将所述预设延时时长调整为目标延时时长。
图2是本公开另一实施例中的一种字幕显示方法的流程图,如图2所示,该方法包括如下步骤:
步骤210,实时采集直播音视频数据流,并基于预设延时时长对直播音视频数据流进行缓存。
可选的,所述字幕显示方法还包括:确定用户对所述字幕数据的修改速度,并基于所述修改速度对所述预设延时时长进行调整;或者,确定所述直播音视频数据流的直播场景信息,并基于所述直播场景信息对所述预设延时时长进行调整。
步骤220,在预设延时时长内,从直播音视频数据流中提取音频数据流。
步骤230,对音频数据流进行语音识别,生成属于第一语种的字幕数据。
步骤240,将属于第一语种的字幕数据翻译为属于第二语种的字幕数据。
可选的,第二语种是与第一语种不同的语种,第二语种可以为一种,也可以为多种。
步骤250,将属于第一语种的字幕数据和属于第二语种的字幕数据,确定为直播音视频数据流对应的字幕数据。
步骤260,按照属于第二语种的字幕数据与属于第一语种的字幕数据呈上下对应关系的方式,将属于第二语种的字幕数据与属于第一语种的字幕数据叠加至直播音视频数据流上。
可选的,可分别获取属于第一语种的字幕数据的第一时间戳和属于第二语种的字幕数据的第二时间戳,基于第一时间戳和第二时间戳,按照属于第二语种的字幕数据与属于第一语种的字幕数据呈上下对应关系的方式,属于第二语种的字幕数据和属于第一语种的字幕数据对应叠加至直播音视频数据流上,以上字幕数据与直播音视频数据流同步。
步骤270,在预设延时时长结束时,播放带字幕数据的直播音视频数据流。
本公开实施例提供的字幕显示方法,通过基于预设延时时长对实时采集的直播音视频数据流进行缓存,并在预设延时时长内,准确确定与直播音视频数据流对应的同声传译字幕数据(属于第一语种的字幕数据和属于第二语种的字幕数据),并在延时时长结束时播放带字幕数据的直播音视频数据流,不仅可以解决现有技术中“打字机”方式显示字幕,由于字幕不稳地导致字幕在直播画面中跳动性大、用户的视觉难以聚焦、容易视觉疲劳的技术问题,还可以有效保证字幕确定的准确性及字幕在直播音视频数据流中显示的稳定性,大大提高了用户体验。另外,还可以将观众语种对应的字幕数据(属于第二语种的字幕数据)在上,主讲人语种对应的字幕数据(属于第一语种的字幕数据)在下,并呈对应关系的方式进行显示,重点突出,简单清晰,可以大大提高用户的阅读体验。
图3是本公开另一实施例中的一种字幕显示方法的流程图,如图3所示,该方法包括如下步骤:
步骤310,实时采集直播音视频数据流,并基于预设延时时长对直播音视频数据流进行缓存。
步骤320,在预设延时时长内,从直播音视频数据流中提取音频数据流。
步骤330,根据用户输入的语种切换指令,确定语音识别的目标语种。
步骤340,基于目标语种对音频数据流进行语音识别,生成属于第一语种的字幕数据;其中,第一语种与目标语种相同。
步骤350,将属于第一语种的字幕数据翻译为属于第二语种的字幕数据。
步骤360,根据接收到的修正信息,对属于第一语种的字幕数据和属于第二语种的字幕数据进行修正。
步骤370,将修正后的属于第一语种的字幕数据和修正后的属于第二语种的字幕数据,确定为直播音视频数据流对应的字幕数据。
步骤380,获取与直播音视频数据流对应的字幕数据的时间戳。
步骤390,根据时间戳将字幕数据叠加至直播音视频数据流上,以使字幕数据与直播音视频数据流同步。
步骤3100,在预设延时时长结束时,播放带字幕数据的直播音视频数据流。
本公开实施例提供的字幕显示方法,通过基于预设延时时长对实时采集的直播音视频数据流进行缓存,并在预设延时时长内,通过语音识别技术和机器翻译技术获取与直播音视频数据流对应的同声传译字幕数据,并且在延时时长内使得人工有充足的时间,对同声传译字幕进行更全面的校对、修正,充分保障最终显示的字幕的强可读性和准确性,达到“人工字幕”级别。另外,还可以在直播中根据主讲人或发言人的语种变化,一键切换识别语种,有助于提高字幕数据确定的速度和准确性,而且可进一步保证直播“音画同步”,使用户全程感受实时流畅的字幕。
图4是本公开另一实施例中的一种字幕显示方法的流程图,如图4所示,该方法包括如下步骤:
步骤410,实时采集直播音视频数据流,并基于预设延时时长对直播音视频数据流进行缓存。
步骤420,在预设延时时长内,确定与直播音视频数据流对应的字幕数据。
步骤430,按照预设方式对字幕数据进行切分,生成至少一条子字幕数据。
步骤440,确定每条子字幕数据的开始播放时间和结束播放时间。
步骤450,基于开始播放时间和结束播放时间,将每条子字幕数据叠加至对应的直播音视频数据流上。
步骤460,在预设延时时长结束时,播放带字幕数据的直播音视频数据流。
本公开实施例提供的字幕显示方法,通过延时播放策略,可以有效保证字幕确定的准确性及字幕在直播音视频数据流中显示的稳定性,而且通过对字幕数据的切分操作可以使字幕数据在音视频直播画面中按句呈现,长度适中,实现“影院级”字幕的呈现方式,可大大提高用户观看直播音视频的体验。
图5为本公开另一实施例提供的一种字幕显示装置的结构示意图。如图5所示,该装置包括:音视频数据缓存模块510,字幕数据确定模块520,字幕数据叠加模块530和音视频数据播放模块540。
音视频数据缓存模块510,用于实时采集直播音视频数据流,并基于预设延时时长对所述直播音视频数据流进行缓存;
字幕数据确定模块520,用于在所述预设延时时长内,确定与所述直播音视频数据流对应的字幕数据;
字幕数据叠加模块530,用于将所述字幕数据叠加至所述直播音视频数据流上;
音视频数据播放模块540,用于在所述预设延时时长结束时,播放带所述字幕数据的直播音视频数据流。
本公开实施例,实时采集直播音视频数据流,并基于预设延时时长对直播音视频数据流进行缓存;在预设延时时长内,确定与直播音视频数据流对应的字幕数据;将字幕数据叠加至直播音视频数据流上;在预设延时时长结束时,播放字幕数据的直播音视频数据流。本公开实施例提供的字幕显示方案,通过基于预设延时时长对实时采集的直播音视频数据流进行缓存,并在预设延时时长内,准确确定与直播音视频数据流对应的字幕数据,并在延时时长结束时播放带字幕数据的直播音视频数据流,不仅可以解决现有技术中“打字机”方式显示字幕,由于字幕不稳地导致字幕在直播画面中跳动性大、用户的视觉难以聚焦、容易视觉疲劳的技术问题,还可以有效保证字幕确定的准确性及字幕在直播音视频数据流中显示的稳定性,大大提高了用户体验。
可选的,所述字幕数据确定模块,包括:
音频数据提取单元,用于在所述预设延时时长内,从所述直播音视频数据流中提取音频数据流;
字幕数据确定单元,用于基于所述音频数据流确定与所述直播音视频数据流对应的字幕数据。
可选的,所述字幕数据确定单元,包括:
语音识别子单元,用于对所述音频数据流进行语音识别,生成属于第一语种的字幕数据;
翻译子单元,用于将所述属于第一语种的字幕数据翻译为属于第二语种的字幕数据;
字幕数据确定子单元,用于将所述属于第一语种的字幕数据和所述属于第二语种的字幕数据,确定为所述直播音视频数据流对应的字幕数据。
可选的,所述字幕数据确定子单元,用于:
根据接收到的修正信息,对所述属于第一语种的字幕数据和所述属于第二语种的字幕数据进行修正;
将修正后的属于第一语种的字幕数据和修正后的属于第二语种的字幕数据,确定为所述直播音视频数据流对应的字幕数据。
可选的,所述字幕数据叠加模块,包括:
按照所述属于第二语种的字幕数据与所述属于第一语种的字幕数据呈上下对应关系的方式,将所述属于第二语种的字幕数据与所述属于第一语种的字幕数据叠加至所述直播音视频数据流上。
可选的,所述装置还包括:
语种切换模块,用于在对所述音频数据流进行语音识别,生成属于第一语种的字幕数据之前,根据用户输入的语种切换指令,确定语音识别的目标语种;
所述语音识别子单元,用于:
基于目标语种对所述音频数据流进行语音识别,生成属于第一语种的字幕数据;其中,所述第一语种与所述目标语种相同。
可选的,所述装置还包括:
时间戳获取模块,用于在将所述字幕数据叠加至所述直播音视频数据流上之前,获取与所述直播音视频数据流对应的字幕数据的时间戳;
所述字幕数据叠加模块,用于:
根据所述时间戳将所述字幕数据叠加至所述直播音视频数据流上,以使所述字幕数据与所述直播音视频数据流同步。
可选的,在所述预设延时时长内,确定与所述直播音视频数据流对应的字幕数据的过程中,还包括:
判断所述直播音视频数据流中是否存在异常音视频数据流;
当确定所述直播音视频数据流中存在异常音视频数据流时,暂停对所述直播音视频数据流对应的字幕数据的确定操作,并获取与所述异常音视频数据流相同播放时长的视频广告;
基于所述视频广告替换所述直播音视频数据流中的异常音视频数据流。
可选的,所述装置还包括:
第一调整模块,用于确定用户对所述字幕数据的修改速度,并基于所述修改速度对所述预设延时时长进行调整;或者,
第二调整模块,用于确定所述直播音视频数据流的直播场景信息,并基于所述直播场景信息对所述预设延时时长进行调整。
可选的,所述装置还包括:
字幕切分模块,用于在将所述字幕数据叠加至所述直播音视频数据流上之前,按照预设方式对所述字幕数据进行切分,生成至少一条子字幕数据;
时间确定模块,用于确定每条子字幕数据的开始播放时间和结束播放时间;
所述字幕数据叠加模块,用于:
基于所述开始播放时间和所述结束播放时间,将每条子字幕数据叠加至对应的直播音视频数据流上。
上述装置可执行本公开前述所有实施例所提供的方法,具备执行上述方法相应的功能模块和有益效果。未在本公开实施例中详尽描述的技术细节,可参见本公开前述所有实施例所提供的方法。
下面参考图6,其示出了适于用来实现本公开实施例的电子设备300的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端,或者各种形式的服务器,如独立服务器或者服务器集群。图6示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示,电子设备300可以包括处理装置(例如中央处理器、图形处理器等)301,其可以根据存储在只读存储装置(rom)302中的程序或者从存储装置305加载到随机访问存储装置(ram)303中的程序而执行各种适当的动作和处理。在ram303中,还存储有电子设备300操作所需的各种程序和数据。处理装置301、rom302以及ram303通过总线304彼此相连。输入/输出(i/o)接口305也连接至总线304。
通常,以下装置可以连接至i/o接口305:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306;包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置307;包括例如磁带、硬盘等的存储装置308;以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备300,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行词语的推荐方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置309从网络上被下载和安装,或者从存储装置305被安装,或者从rom302被安装。在该计算机程序被处理装置301执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、rf(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如http(hypertexttransferprotocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“lan”),广域网(“wan”),网际网(例如,互联网)以及端对端网络(例如,adhoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:实时采集直播音视频数据流,并基于预设延时时长对所述直播音视频数据流进行缓存;在所述预设延时时长内,确定与所述直播音视频数据流对应的字幕数据;将所述字幕数据叠加至所述直播音视频数据流上;在所述预设延时时长结束时,播放带所述字幕数据的直播音视频数据流。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如java、smalltalk、c++,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开实施例的一个或多个实施例,本公开实施例提供了一种字幕显示方法,包括:
实时采集直播音视频数据流,并基于预设延时时长对所述直播音视频数据流进行缓存;
在所述预设延时时长内,确定与所述直播音视频数据流对应的字幕数据;
将所述字幕数据叠加至所述直播音视频数据流上;
在所述预设延时时长结束时,播放带所述字幕数据的直播音视频数据流。
进一步地,在所述预设延时时长内,确定与所述直播音视频数据流对应的字幕数据,包括:
在所述预设延时时长内,从所述直播音视频数据流中提取音频数据流;
基于所述音频数据流确定与所述直播音视频数据流对应的字幕数据。
进一步地,基于所述音频数据流确定与所述直播音视频数据流对应的字幕数据,包括:
对所述音频数据流进行语音识别,生成属于第一语种的字幕数据;
将所述属于第一语种的字幕数据翻译为属于第二语种的字幕数据;
将所述属于第一语种的字幕数据和所述属于第二语种的字幕数据,确定为所述直播音视频数据流对应的字幕数据。
进一步地,将所述属于第一语种的字幕数据和所述属于第二语种的字幕数据,确定为所述直播音视频数据流对应的字幕数据,包括:
根据接收到的修正信息,对所述属于第一语种的字幕数据和所述属于第二语种的字幕数据进行修正;
将修正后的属于第一语种的字幕数据和修正后的属于第二语种的字幕数据,确定为所述直播音视频数据流对应的字幕数据。
进一步地,将所述字幕数据叠加至所述直播音视频数据流上,包括:
按照所述属于第二语种的字幕数据与所述属于第一语种的字幕数据呈上下对应关系的方式,将所述属于第二语种的字幕数据与所述属于第一语种的字幕数据叠加至所述直播音视频数据流上。
进一步地,在对所述音频数据流进行语音识别,生成属于第一语种的字幕数据之前,还包括:
根据用户输入的语种切换指令,确定语音识别的目标语种;
对所述音频数据流进行语音识别,生成属于第一语种的字幕数据,包括:
基于目标语种对所述音频数据流进行语音识别,生成属于第一语种的字幕数据;其中,所述第一语种与所述目标语种相同。
进一步地,在将所述字幕数据叠加至所述直播音视频数据流上之前,还包括:
按照预设方式对所述字幕数据进行切分,生成至少一条子字幕数据;
确定每条子字幕数据的开始播放时间和结束播放时间;
将所述字幕数据叠加至所述直播音视频数据流上,包括:
基于所述开始播放时间和所述结束播放时间,将每条子字幕数据叠加至对应的直播音视频数据流上。
进一步地,在将所述字幕数据叠加至所述直播音视频数据流上之前,还包括:
获取与所述直播音视频数据流对应的字幕数据的时间戳;
将所述字幕数据叠加至所述直播音视频数据流上,包括:
根据所述时间戳将所述字幕数据叠加至所述直播音视频数据流上,以使所述字幕数据与所述直播音视频数据流同步。
进一步地,在所述预设延时时长内,确定与所述直播音视频数据流对应的字幕数据的过程中,还包括:
判断所述直播音视频数据流中是否存在异常音视频数据流;
当确定所述直播音视频数据流中存在异常音视频数据流时,暂停对所述直播音视频数据流对应的字幕数据的确定操作,并获取与所述异常音视频数据流相同播放时长的视频广告;
基于所述视频广告替换所述直播音视频数据流中的异常音视频数据流。
进一步地,还包括:
确定用户对所述字幕数据的修改速度,并基于所述修改速度对所述预设延时时长进行调整;或者,
确定所述直播音视频数据流的直播场景信息,并基于所述直播场景信息对所述预设延时时长进行调整。
注意,上述仅为本公开的较佳实施例及所运用技术原理。本领域技术人员会理解,本公开不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本公开的保护范围。因此,虽然通过以上实施例对本公开进行了较为详细的说明,但是本公开不仅仅限于以上实施例,在不脱离本公开构思的情况下,还可以包括更多其他等效实施例,而本公开的范围由所附的权利要求范围决定。
1.一种字幕显示方法,其特征在于,包括:
实时采集直播音视频数据流,并基于预设延时时长对所述直播音视频数据流进行缓存;
在所述预设延时时长内,确定与所述直播音视频数据流对应的字幕数据;
将所述字幕数据叠加至所述直播音视频数据流上;
在所述预设延时时长结束时,播放带所述字幕数据的直播音视频数据流。
2.根据权利要求1所述的方法,其特征在于,在所述预设延时时长内,确定与所述直播音视频数据流对应的字幕数据,包括:
在所述预设延时时长内,从所述直播音视频数据流中提取音频数据流;
基于所述音频数据流确定与所述直播音视频数据流对应的字幕数据。
3.根据权利要求2所述的方法,其特征在于,基于所述音频数据流确定与所述直播音视频数据流对应的字幕数据,包括:
对所述音频数据流进行语音识别,生成属于第一语种的字幕数据;
将所述属于第一语种的字幕数据翻译为属于第二语种的字幕数据;
将所述属于第一语种的字幕数据和所述属于第二语种的字幕数据,确定为所述直播音视频数据流对应的字幕数据。
4.根据权利要求3所述的方法,其特征在于,将所述属于第一语种的字幕数据和所述属于第二语种的字幕数据,确定为所述直播音视频数据流对应的字幕数据,包括:
根据接收到的修正信息,对所述属于第一语种的字幕数据和所述属于第二语种的字幕数据进行修正;
将修正后的属于第一语种的字幕数据和修正后的属于第二语种的字幕数据,确定为所述直播音视频数据流对应的字幕数据。
5.根据权利要求3所述的方法,其特征在于,将所述字幕数据叠加至所述直播音视频数据流上,包括:
按照所述属于第二语种的字幕数据与所述属于第一语种的字幕数据呈上下对应关系的方式,将所述属于第二语种的字幕数据与所述属于第一语种的字幕数据叠加至所述直播音视频数据流上。
6.根据权利要求3所述的方法,其特征在于,在对所述音频数据流进行语音识别,生成属于第一语种的字幕数据之前,还包括:
根据用户输入的语种切换指令,确定语音识别的目标语种;
对所述音频数据流进行语音识别,生成属于第一语种的字幕数据,包括:
基于目标语种对所述音频数据流进行语音识别,生成属于第一语种的字幕数据;其中,所述第一语种与所述目标语种相同。
7.根据权利要求1所述的方法,其特征在于,在将所述字幕数据叠加至所述直播音视频数据流上之前,还包括:
获取与所述直播音视频数据流对应的字幕数据的时间戳;
将所述字幕数据叠加至所述直播音视频数据流上,包括:
根据所述时间戳将所述字幕数据叠加至所述直播音视频数据流上,以使所述字幕数据与所述直播音视频数据流同步。
8.根据权利要求1所述的方法,其特征在于,在所述预设延时时长内,确定与所述直播音视频数据流对应的字幕数据的过程中,还包括:
判断所述直播音视频数据流中是否存在异常音视频数据流;
当确定所述直播音视频数据流中存在异常音视频数据流时,暂停对所述直播音视频数据流对应的字幕数据的确定操作,并获取与所述异常音视频数据流相同播放时长的视频广告;
基于所述视频广告替换所述直播音视频数据流中的异常音视频数据流。
9.根据权利要求1-8任一所述的方法,其特征在于,还包括:
确定用户对所述字幕数据的修改速度,并基于所述修改速度对所述预设延时时长进行调整;或者,
确定所述直播音视频数据流的直播场景信息,并基于所述直播场景信息对所述预设延时时长进行调整。
10.一种字幕显示装置,其特征在于,包括:
音视频数据缓存模块,用于实时采集直播音视频数据流,并基于预设延时时长对所述直播音视频数据流进行缓存;
字幕数据确定模块,用于在所述预设延时时长内,确定与所述直播音视频数据流对应的字幕数据;
字幕数据叠加模块,用于将所述字幕数据叠加至所述直播音视频数据流上;
音视频数据播放模块,用于在所述预设延时时长结束时,播放带所述字幕数据的直播音视频数据流。
11.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理装置;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理装置执行,使得所述一个或多个处理装置实现如权利要求1-9中任一所述的字幕显示方法。
12.一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理装置执行时实现如权利要求1-9中任一所述的字幕显示方法。
技术总结