分布式数据加密的方法、装置、电子设备及存储介质与流程
admin
2022-11-26 14:16:53
0次
该技术已申请专利。仅供学习研究,如用于商业用途,请联系技术所有人。 分布式数据加密的方法、装置、电子设备及存储介质与流程

1.本发明涉及数据加密技术领域,具体而言,涉及一种分布式数据加密的方法、装置、电子设备及存储介质。


背景技术:

2.各行业信息化对数据安全要求越来越高,特殊行业(例如医药行业)对信息化存在更加特殊的要求,用户对数据的安全非常看重,传统信息化解决方案提供商会通过各种技术手段在应用层面对数据安全进行优化,但是仍存在问题。其一是curious database administrator的问题,curious database administrator的问题指某些拥有数据库层面权限较高的,并且过窥探dbms服务器尝试获取私人数据的数据库管理员。即用户会质疑作为系统解决而方案的额提供商是否可以从后台查看到用户的敏感信息,从而进行破坏或者泄露,从而造成ip风险。目前市面上并无商业级的解决方案。造成的问题是,如非物理断网,权限较高的数据管理者有权限可以查看到数据,并且有权限修改数据。
3.随着时代的发展,在如今数据量爆炸的时代,针对大数据还存在大数据存储、single point of failure(spof,单点故障)、系统漏洞造成数据泄露、数据量横向无限扩张等诸多问题,单点模式已经无法满足传统数据的存储,亟需一种高效的能够满足大数据安全的解决方案。


技术实现要素:

4.本发明要解决的技术问题是如何实现满足大数据的数据安全的问题,并提供是适应于分布式数据的加密解决方案。
5.为解决上述技术问题,根据本发明的一个方面,提供一种分布式数据加密的方法,包括如下步骤:s1、由客户端发起数据访问请求;s2、系统业务逻辑层模块接收来自客户端的所述访问请求,并发送给下一步,所述访问请求为明文请求;s3、数据请求代理模块接收所述明文请求,所述数据请求代理模块对所述明文请求进行数据加密和密钥管理,将明文请求加密成加密数据的数据请求,并根据动态一致性要求查询出所请求数据所在的数据节点;s4、依据所述数据所在的数据节点,对数据节点的虚拟数据进行分区,通过hash的方式来定位所请求的数据存储的分布式数据节点,通过udf对数据进行加密,其中,udf加密包括洋葱模型数据加密;s5、从所述分布式数据节点读取并返回加密数据给所述数据请求代理模块,由所述请求代理模块将所述加密数据解密为明文数据,并经所述业务逻辑层模块返回所述客户端。
6.根据本发明的实施例,步骤s3中,所述数据请求代理模块还可包括负载均衡器,用于根据数据节点负载情况和可访问情况对数据请求进行定位具体数据节点位置。
7.根据本发明的实施例,步骤s4中,所述分布式数据节点上有写数据请求时,可通过commit log(操作日志)对加密数据进行优化写入,其中,所述commit log为预写日志,具有失败时重放功能;所述commit log可暂存高频数据,从而提高读写速度。
8.根据本发明的实施例,步骤s4中,可对commit log的数据文件进行两次加密,并写到磁盘上,存入分布式数据节点上的数据文件以两级加密形式存储,所述两次加密包括两级,分别为第一级为数据节点自身的常规加密方式进行数据格式加密,第二级为采用洋葱加密模型处理的机密数据。
9.根据本发明的实施例,步骤s4中,所述分布式数据节点上有读数据请求时,可通过read cache(读缓存)进行读优化,首先从read cache中进行查询请求的数据,如果查询到数据,则直接返回;如果没有从read cache中查询到请求,则从分布式数据节点上的数据文件中读取,返回请求数据并将该数据同时写入到read cache中,以备下次直接从read cache中快速读取。
10.根据本发明的实施例,步骤s4中,数据节点的数据处理还可包括数据索引和数据灾备,其中,所述数据索引为每一个数据文件对应有一个数据索引,该索引用于定位具体数据在数据文件中的位置,方便检索;所述数据灾备为数据灾难备份模式,数据灾备模式用于防止因单个数据节点出现故障而引起的数据访问失败。
11.根据本发明的第二个方面,提供一种分布式数据加密的装置,包括:业务逻辑层模块,所述业务逻辑层模块用于接收来自客户端的访问请求,并发送给下一步,所述访问请求为明文请求;数据请求代理模块,具有密钥管理功能,用于接收所述明文请求,所述数据请求代理模块对所述明文请求进行数据加密,将明文请求加密成加密数据的数据请求,并根据动态一致性要求查询出所请求数据所在的数据节点;依据所述数据所在的数据节点,对数据节点的虚拟数据进行分区,通过hash的方式来定位所请求的数据存储的分布式数据节点;并从所述分布式数据节点读取和返回加密数据给所述数据请求代理模块,由所述请求代理模块将所述加密数据解密为明文数据,再经所述业务逻辑层模块返回所述客户端;至少一分布式数据节点,所述分布式数据节点接收到所述数据请求代理模块hash的数据请求,所述分布式数据节点用于通过包括洋葱模型数据加密的udf对数据进行加密;所述分布式数据节点按照请求进行读和/或写后,将所请求的加密数据返回给所述数据请求代理模块。
12.根据本发明的实施例,所述分布式数据节点还可包括:commit log,所述commit log用于在所述分布式数据节点上有写数据请求时,通过commit log对加密数据进行优化写入,其中,所述commit log为预写日志,具有失败时重放功能;所述commit log可暂存高频数据,从而提高读写速度。read cache,所述read cache用于在所述分布式数据节点上有读数据请求时,通过read cache进行读优化,首先从read cache中进行查询请求的数据,如果查询到数据,则直接返回;如果没有从read cache中查询到请求,则从分布式数据节点上的数据文件中读取,返回请求数据并将该数据同时写入到read cache中,以备下次直接从read cache中快速读取。
13.根据本发明的第三个方面,提供一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的分布式数据加密程序,分布式数据加密程序被处理器执行时实现上述的分布式数据加密方法的步骤。
14.根据本发明的第四个方面,提供一种计算机存储介质,其中,计算机存储介质上存储有分布式数据加密程序,分布式数据加密程序被处理器执行时实现上述的分布式数据加密方法的步骤。
15.与现有技术相比,本发明的实施例所提供的技术方案至少可实现如下有益效果:
16.1)通过本发明的数据加密的方式,让即使有权限的curious database administrator也无法查看并且“读懂”他能看到的信息。
17.2)本发明采用分布式横向扩展的方式,允许架构根据实际数据量来增减数据存储容量,并且通过动态一致性(consistency)调整,根据用户请求选择合适的一致性检测(consistency check)策略并进行数据查询,从而保证数据的可读性。
18.3)本发明不采用传统的master-slave模式(主从式)的存储架构,保证在cluster中的每一个服务节点都是同等的,即每一个服务节点的功能在数据存储架构中都一样,并且存在数据自动灾备,保证任何数据。其中设计的模块有数据节点,数据节点通过虚拟数据分区的方式,让大数据“平均”的分配在不同的数据节点上,其次通过数据灾备技术让同一份数据存储在多个数据节点上,保证了当其中某一节点的数据发生故障时,数据请求代理模块可以把客户端的数据请求发送到灾备的数据节点之上。这样用户在数据访问过程中将不受影响。
19.4)本发明通过加密udf(user defined function,用户定义函数)的方式,对数据进行不同权限的加密,这一操作发生在数据请求代理和数据节点之上,数据的存储基于请求代理给定的设置进行加密,不同的请求代理的加密方式不尽相同,使得数据在不同的情况下解密复方式也不同,完全和数据的使用者相关。所以即使系统漏洞造成数据泄露,泄露的数据也是加密后的数据,拿到后也无法解密。从而确保了数据安全。
20.5)本发明通过数据节点的虚拟数据分区功能,使得数据是通过hash(散列)的方式来定位,不限于某一节点,这样当有新数据节点横向加入时,数据存储结构会自动分配不同的hash区段,并且相应hash区段会去平衡以有节点的数据。所以理论上该架构是可以无限扩张的。并且得益于数据请求代理模块,数据请求在到达代理模块时,代理模块可以o(1)时间复杂度的情况下找到数据hash值以及其对应的数据节点,所以不会因为节点的增加而造成数据访问效率降低。
附图说明
21.为了更清楚地说明本发明实施例的技术方案,下面将对实施例的附图作简单地介绍,显而易见地,下面描述中的附图仅仅涉及本发明的一些实施例,而非对本发明的限制。
22.图1是示出依据本发明实施例的分布式数据加密的流程图;
23.图2是示出依据本发明实施例的分布式数据的分布示意图。
具体实施方式
24.为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例的附图,对本发明实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于所描述的本发明的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其它实施例,都属于本发明保护的范围。
25.除非另作定义,此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的
组成部分。同样,“一个”或者“一”等类似词语也不表示数量限制,而是表示存在至少一个。
26.如图1和图2所示,分布式数据加密的方法,包括如下步骤:
27.s1、由客户端发起数据访问请求。
28.s2、系统业务逻辑层模块接收来自客户端的访问请求,并发送给下一步,访问请求为明文请求。
29.s3、数据请求代理模块接收明文请求,数据请求代理模块对明文请求进行数据加密和密钥管理,将明文请求加密成加密数据的数据请求,并根据动态一致性要求查询出所请求数据所在的数据节点。不同于采用常规分布式一致性检测,动态一致性中用户可在查询前选择是否搜索备份数据。优选地,数据请求代理模块还可以包括负载均衡器,用于根据数据节点负载情况和可访问情况对数据请求进行定位具体数据节点位置。
30.s4、依据数据所在的数据节点,对数据节点的虚拟数据进行分区,通过hash的方式来定位所请求的数据存储的分布式数据节点,通过udf对数据进行加密,其中,udf加密包括洋葱模型数据加密。优选地,分布式数据节点上有写数据请求时,可以通过commit log(操作日志)对加密数据进行优化写入,其中,commit log为预写日志,具有失败时重放功能;commit log可暂存高频数据,从而提高读写速度。进一步地,可以对commit log的数据文件进行两次加密,并写到磁盘上,存入分布式数据节点上的数据文件以两级加密形式存储,两次加密包括两级,分别为第一级为数据节点自身的常规加密方式进行数据格式加密,第二级为采用洋葱加密模型处理的机密数据。较佳地,分布式数据节点上有读数据请求时,可通过read cache(读缓存)进行读优化,首先从read cache中进行查询请求的数据,如果查询到数据,则直接返回;如果没有从read cache中查询到请求,则从分布式数据节点上的数据文件中读取,返回请求数据并将该数据同时写入到read cache中,以备下次直接从read cache中快速读取。另外,数据节点的数据处理还可以包括数据索引和数据灾备,其中,数据索引为每一个数据文件对应有一个数据索引,该索引用于定位具体数据在数据文件中的位置,该位置包括目录、路径,方便检索;数据灾备为数据灾难备份模式,数据灾备模式用于防止因单个数据节点出现故障而引起的数据访问失败。
31.本发明通过数据节点的虚拟数据分区功能,使得数据是通过hash的方式来定位,不限于某一节点,这样当有新数据节点横向加入时,数据存储结构会自动分配不同的hash区段,并且相应hash区段会去平衡以有节点的数据。所以理论上该架构是可以无限扩张的。并且得益于数据请求代理模块,数据请求在到达代理模块时,代理模块可以o(1)时间复杂度的情况下找到数据hash值以及其对应的数据节点,所以不会因为节点的增加而造成数据访问效率降低。
32.本发明通过加密udf(user defined function,用户定义函数)的方式,对数据进行不同权限的加密,这一操作发生在数据请求代理和数据节点之上,数据的存储基于请求代理给定的设置进行加密,不同的请求代理的加密方式不尽相同,使得数据在不同的情况下解密复方式也不同,完全和数据的使用者相关。所以即使系统漏洞造成数据泄露,泄露的数据也是加密后的数据,拿到后也无法解密。从而确保了数据安全。
33.本发明不采用传统的master-slave模式(主从式)的存储架构,保证在cluster中的每一个服务节点(分布式数据节点)都是同等的,即每一个服务节点的功能在数据存储架构中都一样,并且存在数据自动灾备,保证任何数据。其中设计的模块有数据节点,数据节
点通过虚拟数据分区的方式,让大数据“平均”的分配在不同的数据节点上,其次通过数据灾备技术让同一份数据存储在多个数据节点上,保证了当其中某一节点的数据发生故障时,数据请求代理模块可以把客户端的数据请求发送到灾备的数据节点之上。这样用户在数据访问过程中将不受影响。
34.s5、从分布式数据节点读取并返回加密数据给数据请求代理模块,由请求代理模块将加密数据解密为明文数据,并经业务逻辑层模块返回客户端。
35.通过本发明的数据加密的方式,让即使有权限的curious database administrator也无法查看并且“读懂”他能看到的信息。
36.如图1所示,分布式数据加密的装置包括:业务逻辑层模块、数据请求代理模块和至少一分布式数据节点。
37.业务逻辑层模块用于接收来自客户端的访问请求,并发送给下一步,访问请求为明文请求。
38.数据请求代理模块具有密钥管理功能,用于接收明文请求,数据请求代理模块对明文请求进行数据加密,将明文请求加密成加密数据的数据请求,并根据动态一致性要求查询出所请求数据所在的数据节点;依据数据所在的数据节点,对数据节点的虚拟数据进行分区,通过hash的方式来定位所请求的数据存储的分布式数据节点;并从分布式数据节点读取和返回加密数据给数据请求代理模块,由请求代理模块将加密数据解密为明文数据,再经业务逻辑层模块返回客户端。
39.分布式数据节点接收到数据请求代理模块hash的数据请求,分布式数据节点用于通过包括洋葱模型数据加密的udf对数据进行加密;分布式数据节点按照请求进行读和/或写后,将所请求的加密数据返回给数据请求代理模块。
40.本发明采用分布式横向扩展的方式,允许架构根据实际数据量来增减数据存储容量,并且通过动态consistency(一致性)调整,根据用户请求选择合适的consistency check(一致性检测)策略并进行数据查询,从而保证数据的可读性。
41.根据本发明的一个人或一些实施例,分布式数据节点还可包括:commit log和read cache。
42.commit log用于在分布式数据节点上有写数据请求时,通过commit log对加密数据进行优化写入,其中,commit log为预写日志,具有失败时重放功能;commit log可暂存高频数据,从而提高读写速度。
43.read cache用于在分布式数据节点上有读数据请求时,通过read cache进行读优化,首先从read cache中进行查询请求的数据,如果查询到数据,则直接返回;如果没有从read cache中查询到请求,则从分布式数据节点上的数据文件中读取,返回请求数据并将该数据同时写入到read cache中,以备下次直接从read cache中快速读取。
44.根据本发明的第三个方面,提供一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的分布式数据加密程序,分布式数据加密程序被处理器执行时实现上述的分布式数据加密方法的步骤。
45.根据本发明的第四个方面,提供一种计算机存储介质,其中,计算机存储介质上存储有分布式数据加密程序,分布式数据加密程序被处理器执行时实现上述的分布式数据加密方法的步骤。
46.根据本发明的又一方面,提供一种分布式数据加密的设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的分布式数据加密程序,分布式数据加密程序被处理器执行时实现上述的分布式数据加密方法的步骤。
47.根据本发明还提供一种计算机存储介质。
48.计算机存储介质上存储有分布式数据加密程序,分布式数据加密程序被处理器执行时实现上述的分布式数据加密方法的步骤。
49.其中,在所述处理器上运行的分布式数据加密程序被执行时所实现的方法可参照本发明分布式数据加密方法各个实施例,此处不再赘述。
50.本发明还提供一种计算机程序产品。
51.本发明计算机程序产品包括分布式数据加密程序,所述分布式数据加密程序被处理器执行时实现如上所述的分布式数据加密方法的步骤。
52.其中,在所述处理器上运行的分布式数据加密程序被执行时所实现的方法可参照本发明分布式数据加密方法各个实施例,此处不再赘述。
53.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
54.以上所述仅是本发明的示范性实施方式,而非用于限制本发明的保护范围,本发明的保护范围由所附的权利要求确定。

相关内容

热门资讯

自荐信要怎么写 自荐信要怎么写  1、语气自然 语言和句子要简单明了。不要听上去象别人的话,特别是用一些你从未用过的...
描写古代女子美貌的句子 导语:窈窕淑女,君子好逑,以下是小编精心为大家搜集整理的描写古代女子美貌的句子,供大家参考。描写古代...
过年回家句子 过年回家句子(精选95句)  在平平淡淡的日常中,大家都收藏过自己喜欢的句子吧,根据用途和语气,句子...
抖音点赞最火最高句子 抖音点赞最火最高句子  在平日的学习、工作和生活里,许多人对一些广为流传的句子都不陌生吧,根据用途和...
世界上最悲伤的句子   1、年少青春在还没有经受起挥霍时就已经不复长存,青梅竹马也只是儿时无知岁月用来消遣光阴的无谓道具...
生活积极的句子 关于生活积极的句子  也许一个人,要走过很多的路,经历过生命中无数突如其来的繁华和苍凉后,才会变的成...
激励上进的正能量句子 激励上进的正能量句子  在我们平凡的日常里,大家总少不了接触一些耳熟能详的句子吧,在不同类型的文章里...
纪念烈士缅怀先烈的句子 2022纪念烈士缅怀先烈的句子(精选65句)  在现实生活或工作学习中,大家都接触过比较经典的句子吧...
回归家乡的句子 回归家乡的句子  句子是语言运用的基本单位,它由词、词组(短语)构成,能表达一个完整的意思,如告诉别...
描写小兔子的段落 描写小兔子的段落大全  1、兔子浑身长满了毛茸茸的白毛,远远看去像一团棉花。它的一双红眼睛被白毛包住...