分布式存储系统中可追加类型对象的数据同步方法及设备与流程

专利2024-08-09  20


本发明涉及计算机数据存储领域,尤其涉及一种分布式存储系统中可追加类型对象的数据同步方法及设备



背景技术:

当前的分布式对象存储系统中,当配置多数据中心后,在进行数据自动同步时,一个数据中心的可追加类型对象在同步到另一个数据中心后,将变为不可追加类型对象,即用户不能直接对同步过来的已经变为不可追加类型的对象继续进行追加操作,但是原数据中心的可追加类型对象的属性不变,用户依然可以对原数据中心的可追加类型对象进行追加数据的操作。基于此现状,若主数据中心服务故障,但是用户又必须进行追加操作,则会出现问题。



技术实现要素:

本发明提供了一种分布式存储系统中可追加类型对象的数据同步方法,在主数据中心将所述追加数据与可追加类型对象,并在数据中心中进行同步,可以在原数据基础上进行追加数据操作。

本发明提供的技术方案为:

一种分布式存储系统中可追加类型对象的数据同步方法,包括:

在数据中心中选取一个数据中心作为主数据中心;

所述主数据中心接收并处理客户端发送的追加数据请求;

将所述追加数据存储到存储系统中,并将所述追加数据与可追加类型对象组合形成追加存储对象;

所述主数据中心将所述追加存储对象传输到数据中心;

并对所述主数据中心中的追加存储对象进行数据同步。

优选的是,所述追加数据请求至少包括:目标桶、待追加对象和所述目标对象的对象名。

优选的是,所述数据同步的过程包括如下步骤:

所述数据中心从主数据中心下载可追加类型对象;

获取所述追加类型对象的类型属性;

若为可追加类型对象,则执行可追加类型对象的上传程序;

若为普通对象,则执行普通对象的上传程序。

优选的是,所述主数据中心接收并处理所述客户端发送的追加数据请求包括如下步骤:

所述主数据中心接收用户发送的追加数据请求;

所述主数据中心将处理状态设置为准备处理状态,并向从数据中心发送处理开始请求;

所述主数据中心接收到所述从数据中心发送的处理开始成功响应,将所述处理状态从准备处理状态更改为正在处理状态;

所述主数据中心向所述从数据中心发送完成处理请求;

所述主数据中心若接收到所述从数据中心发送的处理完成成功响应,并将所述处理状态从正在处理状态更改为完成追加处理状态。

优选的是,所述主数据中心若接收到所述从数据中心发送的处理开始失败响应或未接收到所述从数据中心发送的桶处理开始响应,则将处理状态保持为准备处理状态。

优选的是,所述处理状态为桶创建、桶删除或者桶状态切换。

优选的是,所述追加类型对象的类型属性包括对象名称、对象属性信息和层级信息。

优选的是,所述追加数据包括数据名称、请求类型、存储地址和数据标识。

一种计算机可读存储介质,存储有计算机指令,所述指令被处理器执行时可实现分布式存储系统中可追加类型对象的数据同步方法的步骤。

一种电子设备,该电子设备包括机可读存储介质,还包括可执行所述计算机可读存储介质的处理器。

有益效果

本发明提供了一种分布式存储系统中可追加类型对象的数据同步方法,在主数据中心将所述追加数据与可追加类型对象,并在数据中心中进行同步,可以在原数据基础上进行追加数据操作。

附图说明

图1为本发明所述的分布式存储系统中可追加类型对象的数据同步方法流程图。

图2为本发明所述的数据同步的过程的方法流程图。

图3为本发明所述的主数据中心接收并处理所述客户端发送的追加数据请求流程图。

图4为本发明所述的可追加类型对象的数据同步方法流程图。

图5为本发明所示的计算机可读存储介质的结构图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

需要说明的是,在本发明的描述中,术语“中”、“上”、“下”、“横”、“内”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系,这仅仅是为了便于描述,而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。

此外,还需要说明的是,在本发明的描述中,除非另有明确的规定和限定,术语“设置”、“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域技术人员而言,可根据具体情况理解上述术语在本发明中的具体含义。

如图1、4所示,基于背景技术提出的技术问题,本发明提供了一种分布式存储系统中可追加类型对象的数据同步方法,包括:

步骤s110、在数据中心中选取一个数据中心作为主数据中心,数据中心是全球协作的特定设备网络,用来在因特网络基础设施上传递、加速、展示、计算、存储数据信息。其中,数据中心数量为多个,作为一种优选,至少为两个,并选取一个作为主数据中心,主数据中心和其他数据中心可以进行数据共享。

步骤s120、主数据中心接收并处理客户端发送的追加数据请求;将追加数据存储到存储系统中,

步骤s130、并将追加数据与可追加类型对象组合形成追加存储对象;作为一种优选,追加数据请求至少包括:目标桶、待追加对象和所述目标对象的对象名。

在另一实施例中,追加数据包括数据名称、请求类型、存储地址和数据标识。

步骤s140、主数据中心将追加存储对象传输到数据中心,数据中心性能问题可通过简单的修复重组策略解决。

步骤s150、对主数据中心中的追加存储对象进行数据同步。

本实施例充分利用资源,避免了一个数据中心常年处于闲置状态而造成浪费,通过资源整合,多数据中心的服务能力是翻倍的;多数据中心如果断了一个数据中心,其业务可以迅速切换到另外一个正在运行的数据中心,切换过程对用户来说是不可感知的。

本发明在主数据中心将所述追加数据与可追加类型对象,并在数据中心中进行同步,可以在原数据基础上进行追加数据操作。

如图2所示,数据同步的过程包括如下步骤:

步骤s151、数据中心从主数据中心下载可追加类型对象;

步骤s152、获取追加类型对象的类型属性;追加类型对象的类型属性包括对象名称、对象属性信息和层级信息。

步骤s153、判断追加类型对象的类型属性;

步骤s154、若为可追加类型对象,则执行可追加类型对象的上传程序;

步骤s155、若为普通对象,则执行普通对象的上传程序。

在分布式双活数据中心网络环境下,通过数据中心前端分布式双活技术,用户能快速访问“距离最近”的可用数据中心相对应的业务,提高服务响应速度,提升用户访问体验。数据中心的业务对外发布时,可以采用纯ip地址也可以采用dns域名方式。根据业务对外发布方式的不同,数据中心前端也相应采用不同的技术实现分布式网络双活。

如图3所示,主数据中心接收并处理所述客户端发送的追加数据请求包括如下步骤:

步骤s121、主数据中心接收用户发送的追加数据请求;

步骤s122、主数据中心将处理状态设置为准备处理状态,并向从数据中心发送处理开始请求;

步骤s123、主数据中心接收到所述从数据中心发送的处理开始成功响应,将处理状态从准备处理状态更改为正在处理状态;

步骤s124、主数据中心向所述从数据中心发送完成处理请求;

步骤s125、主数据中心若接收到从数据中心发送的处理完成成功响应,并将处理状态从正在处理状态更改为完成追加处理状态。

本实施例提供的主数据中心接收并处理所述客户端发送的追加数据请求,应用于分布式对象存储系统,用以记录客户端发送的追加数据请求,并存储追加数据请求携带的上传内容。有效避免针对同一个目标文件进行并发追加上传时导致的追加错乱问题。

作为一种优选,主数据中心若接收到所述从数据中心发送的处理开始失败响应或未接收到所述从数据中心发送的桶处理开始响应,则将处理状态保持为准备处理状态。

在另一实施例中,处理状态为桶创建、桶删除或者桶状态切换。

如图5所示,本实施例提供了一种计算机可读存储介质200,其上存储有计算机程序211,该计算机程序211被处理器执行时实现如下步骤:

在数据中心中选取一个数据中心作为主数据中心,数据中心是全球协作的特定设备网络,用来在因特网络基础设施上传递、加速、展示、计算、存储数据信息。其中,数据中心数量为多个,作为一种优选,至少为两个,并选取一个作为主数据中心,主数据中心和其他数据中心可以进行数据共享。

主数据中心接收并处理客户端发送的追加数据请求;将追加数据存储到存储系统中,并将追加数据与可追加类型对象组合形成追加存储对象;作为一种优选,追加数据请求至少包括:目标桶、待追加对象和所述目标对象的对象名。

在另一实施例中,追加数据包括数据名称、请求类型、存储地址和数据标识。

主数据中心将追加存储对象传输到数据中心,数据中心性能问题可通过简单的修复重组策略解决。

对主数据中心中的追加存储对象进行数据同步。

在具体实施过程中,该计算机程序211被处理器执行时可以实现图1-3对应的实施例中任一实施方式。

需要说明的是,在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详细描述的部分,可以参见其它实施例的相关描述。

本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本申请实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机软件指令,当计算机软件指令在处理设备上运行时,使得处理设备执行如图1-3对应实施例中的一种分布式存储系统中可追加类型对象的数据同步方法

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriberline,dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘(solidstatedisk,ssd))等。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。

在另一实施例中,本发明还提供了一种电子设备,该电子设备包括机可读存储介质,还包括可执行所述计算机可读存储介质的处理器。

至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。


技术特征:

1.一种分布式存储系统中可追加类型对象的数据同步方法,其特征在于,包括:

在数据中心中选取一个数据中心作为主数据中心;

所述主数据中心接收并处理客户端发送的追加数据请求;

将所述追加数据存储到存储系统中,并将所述追加数据与可追加类型对象组合形成追加存储对象;

所述主数据中心将所述追加存储对象传输到数据中心;

并对所述主数据中心中的追加存储对象进行数据同步。

2.根据权利要求1所述的分布式存储系统中可追加类型对象的数据同步方法,其特征在于,所述追加数据请求至少包括:目标桶、待追加对象和所述目标对象的对象名。

3.根据权利要求1或2所述的分布式存储系统中可追加类型对象的数据同步方法,其特征在于,所述数据同步的过程包括如下步骤:

所述数据中心从主数据中心下载可追加类型对象;

获取所述追加类型对象的类型属性;

若为可追加类型对象,则执行可追加类型对象的上传程序;

若为普通对象,则执行普通对象的上传程序。

4.根据权利要求3所述的分布式存储系统中可追加类型对象的数据同步方法,其特征在于,所述主数据中心接收并处理所述客户端发送的追加数据请求包括如下步骤:

所述主数据中心接收用户发送的追加数据请求;

所述主数据中心将处理状态设置为准备处理状态,并向从数据中心发送处理开始请求;

所述主数据中心接收到所述从数据中心发送的处理开始成功响应,将所述处理状态从准备处理状态更改为正在处理状态;

所述主数据中心向所述从数据中心发送完成处理请求;

所述主数据中心若接收到所述从数据中心发送的处理完成成功响应,并将所述处理状态从正在处理状态更改为完成追加处理状态。

5.根据权利要求4所述的分布式存储系统中可追加类型对象的数据同步方法,其特征在于,所述主数据中心若接收到所述从数据中心发送的处理开始失败响应或未接收到所述从数据中心发送的桶处理开始响应,则将处理状态保持为准备处理状态。

6.根据权利要求4或5所述的分布式存储系统中可追加类型对象的数据同步方法,其特征在于,所述处理状态为桶创建、桶删除或者桶状态切换。

7.根据权利要求6所述的分布式存储系统中可追加类型对象的数据同步方法,其特征在于,所述追加类型对象的类型属性包括对象名称、对象属性信息和层级信息。

8.根据权利要求7所述的分布式存储系统中可追加类型对象的数据同步方法,其特征在于,所述追加数据包括数据名称、请求类型、存储地址和数据标识。

9.一种计算机可读存储介质,存储有计算机指令,其特征在于,所述指令被处理器执行时可实现权利要求1~8任一项所述的方法的步骤。

10.一种电子设备,其特征在于,该电子设备包括如权利要求9所述的计算机可读存储介质,还包括可执行所述计算机可读存储介质的处理器。

技术总结
本发明提供了一种分布式存储系统中可追加类型对象的数据同步方法,包括:在数据中心中选取一个数据中心作为主数据中心;所述主数据中心接收并处理客户端发送的追加数据请求;将所述追加数据存储到存储系统中,并将所述追加数据与可追加类型对象组合形成追加存储对象;所述主数据中心将所述追加存储对象传输到数据中心;并对所述主数据中心中的追加存储对象进行数据同步,本发明提供了一种分布式存储系统中可追加类型对象的数据同步方法,在主数据中心将所述追加数据与可追加类型对象,并在数据中心中进行同步,可以在原数据基础上进行追加数据操作。

技术研发人员:李欢欢;胡永刚
受保护的技术使用者:苏州浪潮智能科技有限公司
技术研发日:2020.12.01
技术公布日:2021.04.06

转载请注明原文地址:https://xbbs.6miu.com/read-21021.html