华为存储CLUB
作者华为存储CLUB·2023-06-01 10:11
CLUB专员·华为存储用户俱乐部

如何将核心系统数据进行分级分类定义,并分类规划存储资源池?——5月20日华为存储MVP赋能活动总结

字数 7964阅读 734评论 0赞 0

企业的核心业务系统其通常具备数据体量大、并发量高、低延迟要求、混合负载等特点。企业在信息系统建设过程中,会对不同的业务系统进行定级:如核心系统、重要系统、较重要系统及一般重要业务系统。针对每种级别的业务系统会有不同的高可用性架构设计以及硬件基础设施级别的区分。例如对于核心或者重要业务系统,一般需要构建两地三中心高可用架构,同时对于底层的存储设备基本也是采用高端全闪存储。对于较重要或者一般重要业务系统,则大多采用本地部署的方案,同时底层基本也是采用中高端存储。除了按照业务系统等级进行存储的分级建设外,为了提升存储设备的效能,同时压降成本,对于业务系统生成的不同热度的数据则会近一步采用存储分层建设,如对在线、近线或离线数据采用不同级别的存储或磁带介质。

另外,企业也会按照业务系统级别构建不同等级的存储资源池,对于业务系统生成的不同热度数据可以近一步进行不同存储级别的细分。然后针对不同的业务数据类型选取对应的存储资源,如区分开结构化数据和非结构化数据。那么企业该如何将核心系统数据进行分级分类,业界实践经验如何?

5月20日,基于twt社区的华为存储用户俱乐部组织了“非结构化数据全生命周期管理”系列赋能活动之 “如何将核心系统数据进行分级分类定义,并分类规划存储资源池?”的MVP赋能活动,邀请MVP及候选人围绕“核心系统数据分级分类定义存储”进行研讨,希望可以让大家更好理解如何进行应对,以及分享核心存储技术栈选型实践经验。

本期交流活动重点围绕 “如何对核心系统数据进行分级管理?数据的分类与分级有何异同?”“如何根据核心系统数据分类分级情况,合理规划存储资源池? 两大议题展开研 讨,特别邀请金融行业专家、华为专家与多位银行业同行共同探讨,本文对活动中大家分享的内容进行了梳理,希望能够给大家带来参考借鉴。共分为 三 个部分: 核心系统数据从哪些维度进行分类分级?如何进行数据备份归档存储资源规划?如何结合存储的精简配置和超分配的功能合理的规划存储资源池? 希望通过交流活动理清思绪,帮助更多专家在核心系统数据进行分级分类 与存储资源池的规划方面 ,提供更加清晰的选择决策逻辑和经验参考、从容应对建设挑战。

MVP和潜在MVP交流达成的共识总结如下:

1、 一个原则 : 针对每种级别的业务系统会有不同的高可用性架构设计以及硬件基础设施级别的区分。

2、 两个方式 : 存储复制来保证数据的强一致性( RPO=0) ,数据库层面的复制保证数据的快速恢复( RTO 最小)。

3、 三种介质:在大容量备份归档场景,可选磁盘(如:对象存储或中低端企业存储)、磁带、蓝光,尤其在离线备份归档场景,综合考虑采购成本和运维成本, 磁带的价格便宜,但寿命短,运维成本高;蓝光生命周期长,但商务较高。

4、 四种功能 :结合 存储的精简配置、超分配、租户、配额等这些功能合理的规划存储资源池以达到较好的性价比。

本次活动邀请某农信资深技术经理昼者担任本次赋能活动的主持人,某 股份制商业银行存储 架构师 李铭 担任用户分享专家,华为集中式存储组合产品管理专家 郭洋 担任本次活动的分享嘉宾,某 股份制商业银行系统架构 师 李翔 担任活动的互动嘉宾 ,共有2 9 位华为存储用户俱乐部M VP 和潜在M VP 用户参与 。

在用户专家分享环节, 李铭老师分享了《 数据分级分类定义与存储资源池规划架构实践》 ,从数据分级存储的必要性、行业趋势、实践架构和架构演进等各多方面,全面介绍了业界领先大行对数据存储技术发展的整体思路和实践。特别是针对银行不同业务场景下,数据存储所面临的差异化挑战和需求,不仅给出了详实方案,还展现了令人信服的实践数据,为我们同业提供了非常有价值的参考

华为专家分享环节, 郭洋 老师分享了《 华为金融核心数据分级分类定义存储解决方案应用实践 》,从行业实践角度,介绍了核心数据的分类分级情况,以及存储资源池的规划原则,特别是针对银行业双态业务的4类经典场景和对应的存储解决方案,如同庖丁解牛一般,酣畅淋漓。

互动交流环节中,参会用户通过文字或语音的方式积极提出了自己在核心存储选型建设中的痛难点问题,与会的专家老师也都相应给出了设身处地的技术解答。精彩问答节选如下:

一、核心系统数据从哪些维度进行分类分级?

1、核心系统数据分级分类是否需要根据中、高端不同级别存储进行关联规划,资源存储池规划如何根据国产化背景进行迭代实施?

某大型银行系统架构师李翔回复:

1) 从哪些维度去做 核心系统数据 分类分级一直是行业内的一个难点,未来肯定是要响应一些监管的要求,另一方面是数据的存储要实现更高的数据价值,我认为这两个方面是针对数据的分类分级的一个维度,要确认这个数据是关键还是非关键的业务。

2) 系统是联机还是非联机的性质属性,数据是结构化的数据还是非结构化的数据。另外数据的性能要求上,这也是一个维度,最后一个是数据的使用上,是否具备多站点去共享的这种属性,综合以上几点对数据进行分类和分级。

华为专家郭洋回复:

1) 从业务的重要程度来划分业务等级,不同等级的的业务,对底层存储的要求不同,主要体现在性能的实时性,性能的稳定性,数据的可靠性,在确保数据不丢失的基本要求下,能否做到故障时业务的零感知,在故障发生时能否做到业务的快速恢复。

2) 从业务对数据的类型来分,有结构化数据和非结构化数据,结构化数据主要是数据库(A +/A 类业务)、虚拟化业务,数据库在可靠性、性能实时性要求更高,主要选择高端全闪存;虚拟化一般时延诉求低于数据库,选择中高端即可。非结构化数据主要是文件共享,比如数据交换平台、票据影像,在数据交换平台这种高性能场景,需要匹配中高端全闪,在票据影像等场景,可使用中端全闪/混闪均可;很多客户在票据影像尝试对象存储,这个地方需要注意,在保险等业务系统中,票据影像也是关键业务,需要满足等保要求,需要有灾备方案,在此点上对象存储本身不支持快照,只有数量极为有限的全量多版本能力,因此无存储层高效备份方案。而业界广泛实践的是基于企业N AS 的一体化备份方案解决海量小文件的高速备份, N 厂商作为该方案的先驱者,每年单方案销售规模接近 X 亿美金。华为企业N AS 有同类方案支持海量小文件的高性能一体化灾备。

3) 在存储的关联规划中,其实非结构化的N AS 有着非常好的数据流动方案,可以实现全闪到混闪,高端到中低端的数据跨阵列分级,达到T CO 最佳,同时也可通过存储阵列实现灾备一体化。

4) 无论是稳态业务,还是敏态业务,上面承载的业务平台发生了变化,但是数据本身的诉求未发生变化,还是在固有的性能,容量范畴内承载相关的业务,只是承载的业务从Oracle变成了My SQL ,从V M ware变成了容器。因此无论是稳态还是敏态业务的建设过程中,都要考虑可靠性、性能、T CO 、平台自身诉求等因素来选择存储

5) 在国产化的前提下,存储是最容易实现国产化的模块,因为存储向上提供的协议是标准的,不涉及兼容性的问题,因此国产化,存储先行。目前华为存储的国产化方案,从存储上支持端到端国产化(芯片、硬件、软件、盘片、网络i SCSI / No F/NFS ) **

2、如何结合业务对数据分类分级,进行数据存储建设规划?

华为专家郭洋回复:

1) 稳态业务下,对于结构化的数据主要是数据库(A +/A 类业务),对可靠性、性能实时性均有较高要求,客户为何选择高端全闪存,主要是因为其具备如下特征:第一个性能是不是均衡的,即单L UN 能不能达到系统性能9 0 %以上;第二个部件故障是否是解耦的,即控制器的故障或重启,前端业务无感知;第二个特征是运维方面的,升级是运维里面最敏感的事情,能否做到升级无需多个业务部门配合,做到升级业务无感知。这几个关键能力时衡量存储是否是高端的核心因素。早年E MC 的 DMX 和H DS 的V SP 都可以达到这个水平,但是现在由于无法承载自研芯片的高额投入,都纷纷失去了前后端共享卡的能力,而华为存储依托芯片优势,是现网唯一可以做到,控制器重启/故障,前端业务无感知的厂商。

2) 稳态业务下,非结构化数据共享场景,例如数据交换平台,需要高O PS ,低时延,主要的数据类型是海量的1 00KB 级别的小文件,更多的是针对文件的元数据操作类的性能(增删改查),能够符合这种业务场景下业务诉求的只有企业N AS 可满足。

3) 在敏态业务,也就是私有云建设下,客户现在可选的存储类型很多,有分布式存储,有本地盘,企业存储能否适用于云的场景呢?是很多客户有疑问的场景。客户在云内选择存储,有几个点可以考虑,首先,规模问题,存储需要大规模扩展场景是否存在,我们走访过多个客户,现在客户云内为了故障域隔离,每个A Z 下的服务器不会超过 200 台,A Z 下的容量都是几百T B 级别,而这个规模下,企业存储无论双控还是四控,都完全满足要求。其次,T CO 问题,是选用多副本还是企业存储E C (R AID )占用空间、能耗、成本最低,客户可以根据自己现网进行一次计算。从多个客户对比情况来看,无论是容量满足度,性能的低时延、N OF 改造替换、占地空间,低能耗优势,现网规模等等,企业存储更具备压倒性优势;最后考虑下功能特性问题,当开源的分布式数据库要上关键业务时,容灾的建设问题,企业存储相比分布式是有完备的方案和客户案例的,目前几个大行都在基于分布式数据库+华为 OceanStor Dorado 存储构筑同城R PO=0 点方案。存储作为可靠性的底座,可以为数据保驾护航。

二、 如何进行数据备份归档用的存储资源规划

1、信创环境下,数据备份归档用的存储资源规划,有没有合适的离线存储方案?

某大型银行系统架构师李翔回复:

1) 备份的方式分成同城备份和异地备份。同城是一方面通过双活做数据的容灾,然后两个数据中心之间互相备份,特别是一些影像类的文件。我们从之前的一些带库,然后到后续的未来发展,到现在的备份一体机。

2) 对于国产化趋势,因为备份不属于一个生产性的业务,所以先从备份上去实现国产化,对于其他生产业务,大家还要综合思考一下,上了国产化会不会产生一些性能,或者之类的次生问题,但是备份如果上国产化,可能这个进度会更快一些。

3) 在信创方面就是综合调研,各个行之间的这种差异和区别,我认为可以从以下几方面考虑,比如说历史数据的调用频率,以及整体的备份数据量,是否是跨省市之间的备份,以及备份的体量,比如说多少个机构去备份,这种方式都需要综合考虑一下。然后再决定,是否信创的相关厂商,能够满足相应的解决方案。

某省农信资深技术经理昼者回复:

1) 信创的备份方案,我们在去年的时候已经开始建设了,我们也是专门建了一套全栈的信创,今年的计划正准备采购进行扩容。备份软件,目前是没有系统目录的,只是国内的厂商还是比较多。

2) 现在的和云相关一些应用系统,基本上这个底座都是从互联网企业这边来,逐步的推导到咱们的传统企业里面来的,目前来看还没有,这种离线的比较成熟的备份方式,基本上都是在云内来解决,但是,这个云内来解决这个问题,是解决不了我们金融行业监管部门的一些离线的和长期永久保存需求的。所以我们目前也在考虑这个扩容方案,实现应用系统和相关一些系统产品进行一个对接。

2、对于历史数据长期备份归档,分布式对象存储、磁带、蓝光各自优缺点是什么?华为在这方面是否都有方案?

华为专家郭洋回复:

1) 分布式对象存储,可以做大容量几十P B 级冷数据备份,客户可以依赖对象存储的增值特性实现附加价值(异步复制等)

2) 磁带的价格便宜,带宽好,可以长期备份保存,但是,每一代磁头都支持两代磁带的读写,一旦更换磁头就需要所有数据读出再重新写一遍,运维压力极大,同时没有国产的信创产品。

3) 蓝光寿命长,它现在的价格成本都会高一些,速度也比磁带慢,但是保存周期长,五十年起步,同时有完整的国产化方案。我们发现现在有一些大行也在转向考虑蓝光存储,因为端到端的,整个的成本下来认为蓝光更为合适 **

所以客户需要根据自身的需求,包括成本、运维等综合考量。

三、如何结合存储的精简配置和超分配的功能合理的规划存储资源池?

1、现在存储一般都支持精简配置和超分配的功能,如何结合这些功能合理的规划存储资源池以达到比较好的性价比?

某股份制银行存储架构师李铭回复:

首先是我们这边主要场景还是用在虚拟化,还有容器平台上面。因为虚拟化这边主要是这些操作系统的数据,平台都是容器平台。他们的数据相似程度比较高,然后做重删压缩的效率也比较高,其他一些核心或者交易类的系统。它数据的重删压缩比例并不是特别高。然后我们用的就比较少,实际使用我们一般不会做超分,除非说是有某些系统它的空间如果使用比较少,申请比较多,我们会从应用侧和数据库侧推动它来缩容了主要是这样。

某大型银行系统架构师李翔回复:

1) 因为采购存储的各种功能也与各行的一些采购情况相关。如果费用充足,包括采购效率特别高!我认为后置备的就可以了。因为精简化的配置,正如刚才李老师所分享的,确实可以依据上层的虚拟机,包括数据的重复度,然后提高使用的效率,我们也是这样做的。

2) 我们默认都开了超分机制,但是,这些根卷是容器有那一些PV,然后虚拟机有用这些外挂卷,我们理论上它的重复度不是很高。要严格控制好超分的比例。如果你要使用超分,就是在精简卷的使用那种重复度比较高的系统上,我认为可以按照一比二的方式去配置。

2、K8S+MySQL结合的同城容灾方案,因为数据库对数据一致性要求很高,所以我想问一下在开发环境里面,发生了故障漂移之后,在另外一个节点起来之后,会不会存在数据一致性的问题。然后,作为NFS通过网络挂给他的?在数据库读写都比较密集的情况下,网络的时延是不是会存在瓶颈?

华为专家郭洋回复:

1) NAS 本身是强一致性的存储,因此对数据库的I O 都是写成功后,才会给数据库返回成功。在容器场景下,因为两个节点共享的是相同数据,不存在读取数据不一致的问题。

2) 在容器场景下的数据库漂移方案,我们和K 8S 的节点检测,数据库的M HA 都是联动的,即当故障发生时,存储收到了故障通知,才会启动漂移切换

3) NFS 对接数据库的性能问题,我们现在有几个解决措施:1)横向维度,操作系统侧支持N FS+ 提供多路下发,解决原生N FS 客户端一个挂载点一个I P 的问题,多路并发单客户端的带宽可以达到5 GB/ s以上,完全满足性能诉求;2)纵向维度,支持N FS over R o CE ,降低内存拷贝次数,时延降低明显,可以达到F C 的9 0 %+的能力;

3、华为存储在资源分配、数据层配置和管理上的最佳规划和配置,来保障业务数据在有限条件下,达到资源合理规划和分配,数据整体IO可以满足业务前端的需求,以及想了解下华为存储技术发展的最新情况

某股份制银行存储架构师李铭回复:

关于存储资源紧张情况怎么分,存储数量比较少,你可以不用以整套存储为单位来分配。你可以按端口组来分,比如这种高频交易,核心的这种,你可以单独分到一个端口组,尽量不要和数据分析类那种流量大的系统分到一起,最好隔离开,防止数据分析类的吞吐大,占用了存储的端口处理能力,造成整个存储的拥塞,影响其他系统。

华为专家郭洋回复:

1) 存储在资源监控上有非常清晰的视图,比如性能,其次在容量上也有完备的监控,容量不足时会及时发送告警,也提供北向接口,集成到客户的管理软件上,或者也可以看我们的D ME ,多设备管理更为便捷

2) 在资源管理上,N AS 存储相比S AN 存储在资源管控上更直接,提供租户功能,每个租户下可以按照配额来控制容量,每个租户也可以单独设置Q OS 策略。客户可以用租户去对接应用,在容器场景下可以对接namespce或者k 8 s集群

4、数据库复制是如Oracle指的是用ADG之类的技术吗?

华为专家郭洋回复:数据库用A DG 技术,同城客户主要采用模式是最大性能模式,即A DG 是异步,使用数据库的好处是恢复快,R TO 小,而R PO = 0 可以通过存储复制实现,存储的作用就是保证R PO=0 。

某省农信资深技术经理 昼者 回复:

1) 因为数据是作为企业最重要的一个资产,所以,一般容灾技术,都是通过多个相关的一些容灾技术打一个组合拳,因为毕竟风险就是不确定性,我们想完全消灭不确定性是不现实的,所以我们只能是越重要的数据就通过越多的容灾技术的组合,来尽可能的降低不确定性,相对来说这是比较合理的容灾方案。

2) 例如,像核心类的数据一般为什么要用存储复制,然后再加这个数据库层面的复制,因为这两种复制,它的目的和实现的逻辑是不一样的,存储复制是一个块一个块的复制,而且它是物理级的复制,它只能复制到当时的一个快照,它是非连续的。所以,如果你有数据库层面上的一些逻辑问题,它是很难追溯到前面来的。一般在实验过程当中,重要类的应用系统和数据,都采用存储复制来保证有一个强一致性的快照。adg技术保证一个数据的一个连续性,复制的一个连续性,因为通过日志这种复制连续性,只要你有日志在,那么理论上是可以回滚到任何一个时间点的。

5、存储同步复制,在数据库读写量不是很大的情况下,需要多大带宽?也需要裸纤吗?

华为专家郭洋回复:

1) 存储同步复制所需带宽是您前端业务带宽的1 .2 ~ 1.3 倍左右,最好是裸纤,非裸纤与运营商提供的能力强相关,一般运营商是自己做波分,然后租给你带宽这种方式,主要是看一看您能租到的那个带宽的链路质量如何?这个和存储复制没有关系。核心看您租用带宽的质量,以及您所在地的运营商提供的带宽质量。

6、华为存储异步复制、存储级的双活架构实现上能介绍一下吗?

华为专家郭洋回复:

1)华为 OceanStor Dorado 存储的异步复制提供秒级R PO ,最短3s,这个是相对于华为上一代融合存储有较大一个改进,其基于时间点缓存技术的华为专利技术, Cache中的数据和与Cache交互的I/O请求都携带时间点信 息,在进行复制时,可以直接从主 LUN Cache中读取相应时间片的数据复制到从LUN,写从LUN时写入其Cache即可返回。而传统异步远程复制,每个周期需要创建、 删除快照,复制时读数据需要从快照读取,写数据需要做快照处理。相对于传统技术,华为 OceanStor Dorado极大的缩短了复制周期,可以达到秒级RPO 。

2 )华为 OceanStor Dorado 存储的双活是 Active-Active 模式 ,同一个双活LUN的所有I/O路径均可同时访 问,业务负载均衡,故障时可无缝切换;首先在阵列均正常时,保证数据一致性,华为双活采用乐观锁技术,下发的I O 请求,本阵列想本端cache和远端阵列同时发送写请求,全部返回成功后,才给主机返回成功;其次双活支持多种容错模式,含阵列,仲裁,复制链路中断等多种场景,最后,当单存储不可用时,一侧记录差异,待阵列恢复后,可增量同步差异。

更多精彩问答回顾,请扫描下方二维码

(链接地址: https://www.talkwithtrend.com/activity/?id=2031

欢迎更多关注存储行业趋势应用的IT技术精英们加入华为存储用户俱乐部,与同行并肩,共同交流探讨。也期待涌现更多的华为存储MVP,在俱乐部的思想碰撞中成长为行业技术各领域的先锋引领者。

了解更多华为存储用户俱乐部活动,请识别以下二维码:

https://huaweiclub.talkwithtrend.com

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

0

添加新评论0 条评论

Ctrl+Enter 发表

作者其他文章

相关文章

相关问题

相关资料

X社区推广