李军华
作者李军华·2020-11-27 12:12
系统工程师·四川银行商业银行

金融行业如何运用第五代存储为云环境下的交易业务提供灵活支持在线交流总结

字数 18195阅读 11920评论 0赞 0

随着以云计算、大数据以及人工智能等为代表的新一代信息技术的运用和普及,金融业数据存储呈现出应用场景多元化、数据爆发式增长等特点。特别是在数字化转型时代下,金融行业中端存储在企业很多重要业务场景得到广泛使用。首先是服务器虚拟化场景或者私有云场景,主要用于部署轻量化、集群化、分布式的业务应用系统;其次是数据类业务系统的应用场景,包括数据仓库类应用等,其数据量较大,存储吞吐带宽高;最后是核心业务的应用场景,以中小企业为代表,一般采用全闪存阵列,存储需要高可靠性、低时延等特性。

但是,人工智能、物联网、5G等新兴技术的快速发展,以及多云环境下对基础架构的需求,为企业级存储重新设定了标准,提出“第五代存储”,将性能和效率提升到⼀个新的水平,并具有企业关键任务应用程序所需的各种高级功能和数据服务。未来企业级智能存储将采用端到端NVMe Flash架构,同时有效利用SCM(Storage Class Memory)优化存储系统的整体性能、降低延迟,存储系统软件堆栈将内嵌人工智能套件(内置机器学习引擎),做到智能运维⾃动化,对外将构建丰富的API生态,无缝连接多云环境。

第五代存储的出现,也给企业IT架构师提出了新的挑战,特别是在进行存储规划、选型的过程中,架构师们需要更多的结合第五代存储考虑存储的定位、场景适应性、性能预估、可靠性、扩展能力、自动化、有效容量等方面的问题。

针对以上这些问题,社区邀请到DellEMC金融行业资深技术专家韩东儒,为大家分享 “PowerStore金融行业云环境下交易业务场景企业级存储解决方案”,该方案主要介绍了PowerStore的一些新功能,主要包括:高性能的端到端NVMe架构、4:1性能无损的有效容量、支持云环境等。欢迎各位金融行业IT架构师、存储负责人报名参与本场活动!您可以下载资料参考学习,还可以在线提出问题、与专家在线交流探讨。

以下是本次同行交流探讨汇总:

1、Powerstore的压缩和重删技术有什么不同之处?开启是否会导致性能降低?

现在全闪阵列很多厂家都在说数据压缩和重删技术,Powerstore的压缩和重删技术有什么不同之处?开启是否会导致性能降低?

richardhandr 系统工程师 , 戴尔科技金融行业解决方案中心

不会有任何影响,采用英特尔 QuickAssist 技术(Lewisburg 芯片)的硬件加速允许 PowerStore 的高级内联压缩保 持“始终开启”,可实现更一致的存储效率,而不会影响性能或其他服务。 内联重复数据消除也 “始终开启”。

由于采用英特尔 QuickAssist 硬件加速技术,重复数据消除和压缩可实现 100% 内联和“始终在线”。PowerStore 系统可确保实现平均 4:1 的数据减少率 ,而不会影响性能。

可确保客户应用程序中的平均数据减少率达到 4:1,各应用程序的比率可能有所不同。有关详细信息,请参阅未来无忧计划条款和条件。

2、除了传统的与VMware和K8S的vvole和API接口之外,Powerstore还会提供什么融合方式吗?

未来我们需要大量部署VMware虚拟化环境和容器环境,除了传统的与VMware和K8S的vvole和API接口之外,Powerstore还会提供什么融合方式吗?

richardhandr 系统工程师 , 戴尔科技金融行业解决方案中心

PowerStore 的微服务和基于容器的软件体系结构可实现功能便携性、标准化和快速上市,并具有出色的部署灵活性。同样,Microsoft 对基于 Linux 的容器化部署模型进行了大量投资。对于 Microsoft SQL Server 2019 等有状态的应用程序,需要一个基于插件程序的解决方案来支持 Kubernetes。Dell EMC 针对 PowerStore 和所有其他受支持平台提供的 CSI(容器存储接口)插件程序信息可在 GitHub.com/DellEMC 上找到

PowerStore 针对数据块、文件和 VVols 采用单一体系结构,可利用前沿技术来实现这些不同的目标,而不会牺牲中端存储的成本效益。Microsoft SQL Server 2019 包含扩展的 PolyBase 功能(称为大数据群集),使公司能够深入了解各种数据源中的数据,非常适合 PowerStore。

对于基本 Kubernetes 或具有管理平台(如 OpenShift)的 Kubernetes,需要存储数据的有状态 应用程序使用持久卷 (PV) 和持久卷声明 (PVC),它们通过存储类(使用存储供应商提供的 Container Storage Interface (CSI) 插件)映射到存储平台的卷和 LUN(我们为 PowerMax、 PowerStore、Unity、Isilon、XtremIO 以及 VxFlex 提供这些插件)。目前,我们的 CSI 插件可 与基本 Kubernetes 配合使用,并且很快将向 OpenShift 认证我们的插件。最近,我们向使用 Google Kubernetes 引擎的 Google Anthos 平台验证了 PowerMax CSI 插件。vSphere with Kubernetes (Project Pacific) 使用云原生存储 (CNS) 接口(即 CSI 接口的 VMware 扩展),该接口提供存储类,可将 PV PVC 映射到 VMware VMFS 数据存储、NFS 数据存储、 vVol 和 vSAN 卷。在这种模式中,客户不必担心各个 CSI 插件来自不同存储供应商,而只需确 保在 VMware vCenter/vSphere 中预配和获取存储。

3、powerstore是全闪架构还是混合存储架构,支持块、文件多数据类型?

powerstore是全闪架构还是混合存储架构,支持块、文件多数据类型?powerstore的产品分类从入门到高端的产品功能和区别是什么?

richardhandr 系统工程师 , 戴尔科技金融行业解决方案中心

PowerStore是全闪架构设计,传承 XtreamIO精髓,能够支持块,文件和vVOL。PowerStore产品从入门到高端的主要区别在于CPU处理能力和缓存大小不同,最大型号单个一体机支持112个Core的CPU,2.56TB缓存,软件功能保持一致,不同型号的一体机可以构成群集,方便资源池化。

4、powerstore与云平台原生是提供api接口去调用和做自动化配置吗?与云平台是通过什么协议进行数据访问?

powerstore与云平台原生是提供api接口去调用和做自动化配置吗?与云平台是通过什么协议进行数据访问?后端去重和压缩比如何去判断存储实际使用空间,如何监控?虚拟化层有精简置备,超分后如何存储端保证容量的可用?

richardhandr 系统工程师 , 戴尔科技金融行业解决方案中心

PowerStore提供RESTful API接口与云原生应用进行对接的。只要支持RESTful API的云平台都可以对PowerStore进行访问。

在GUi界面里就能显示相应的实际压缩消重比。

一般超分容量按照1.3倍来算,在加上4:1的压缩消重率,所以超分可以达到5.2倍以上的空间。

PowerStore is designed with ease-of-use at the forefront. The modern design of the management interfaces is built with best practices in mind. This design makes it easy to provision storage intelligently without having to micromanage every detail. A software feature set that is built with the same mindset allows for automation and simplified upkeep. A strong support ecosystem offers various media for learning and troubleshooting,backed by the quality support model of Dell Technologies. Lastly, users looking to refresh their existing Dell Technologies infrastructure can use the intuitive native-migration capabilities of the PowerStore platform.

5、powerstore设备上直接运行应用具体实现方式是什么?

richardhandr 系统工程师 , 戴尔科技金融行业解决方案中心

先让一体机硬件跑一个Hypervisor的底层,然后在上面跑一个PowerStore OS 的VM,在这个平台上再运行客户需要的VM应用程序。从用户端看,和客户跑传统的三层架构虚拟化差不多。

6、PowerStore可以以整合其他品牌的存储。实现异构整合吗?

richardhandr 系统工程师 , 戴尔科技金融行业解决方案中心

目前需要添加一个Metro Node的分离部件来实现,存储是存储,网关是网关,这样各司其职比较好,而不是大一统,啥都有。

7、EMC第五代存储与分布式存储异同?

EMC的powerstore存储已经将存储架构由传统的集中式转变为分布式架构,请问第五代存储相比与EMC自身的分布式存储产品有哪些异同,未来两款产品如何定位?


李军华 系统工程师 , 攀枝花市商业银行

我看Powerstore这个产品是增加了增加了横向扩展能力,但是并没有像Hadoop、isilon之类的做数据分片和跨节点的存放,严格说应该不是分布式存储。感觉像是Unity的横向扩展+NVMe的升级款


richardhandr 系统工程师 , 戴尔科技金融行业解决方案中心

PowerStore是以数据为中心而设计的企业级存储,更加适用于数据中心的企业级应用如Oracle、SQL、VMware,VDI,大数据平台等。而分布式存储,更加适用于数据处理上,比如流媒体,温冷数据的长期存放,两者有不同的使用场景。

PowerStore 在设计中考虑到了中高端应用场景和经济性,我们的智能横向扩展模式(具有独立规模 的计算或存储、自动化和智能数据放置)“实现真正的联合”。 在 PowerStore 群集中,卷仍然由各设备“拥有”,但群集作为单个实体进行管理,在设备之间 实现无缝迁移和负载平衡。 在设备之间共享卷需要专用的低延迟网络硬件和软件。RDMA 技术非常适合低延 迟跨群集数据提取和分发,但随着时间的推移,实施和维护成本也会更高。 另外,还有一些其他 权衡,不适合中端部署。 例如,跨多个设备的“虚拟卷”方法使添加或移除各个设 备,或在群集中部署异构设备型号变得困难。 PowerStore 可将卷保留在单个设备的范围内,以保障高性能和低延迟,而无需对整个设备进行条 带化,也不会因背板流量而受到处罚。然而,从用户角度看,内置 AI/ML 引擎将所有内容作为一 个存储池进行管理。 戴尔产品组合中的其他产品以不同方式进行纵向扩展和横向扩展。对于需要多控制器规模和全球 数据分发的客户。

8、PowerStore与超融合方案有什么区别?

PowerStore的扩展性、可编程等特性,与超融合的方案有很大的相通之处。想请问具体与超融合方案相比,架构上有什么不同,有什么优缺点,谢谢!


wzpystcdc 研发工程师 , 某公司

二者都是将计算与存储有机地融合于一体,戴尔易安信也已经有了VxRail、VxFlex这样成熟的HCI产品,那么为什么还要在PowerStore产品中加入AppsON呢?

根据戴尔易安信官方的说法,PowerStore X Model的部署目标为“数据密集型虚机”,而VxRail等HCI产品的部署目标为“通用型虚机”。

这样就可以很好地理解AppsON的适用场景了。如果客户的部署目标是构建IaaS、PaaS云环境,或者通用型虚拟化计算平台,那么HCI始终是客户的 最优之选, 可以获得全栈式集成和出色的扩展能力。

可是, HCI的软件定义存储平台毕竟不是专用存储产品,如果上层业务虚机对磁盘I/O性能、存储容量、数据安全等方面有特殊“癖好”的时候,HCI就有些捉襟见肘了。

这个时候PowerStore便是一剂良药! 部署一台X Model,将存储密集型虚机在线迁移到PowerStore,借助PowerStore 出色的性能、始终开启的数据缩减、成熟可靠的存储快照,专治各种不通不畅!

另外,PowerStore的AppsON在边缘计算中也大有用武之地 。 当前物联网/IoT正在积蓄能量,产业井喷就在不久的未来。在数据源最近的地方完成计算与存储,是边缘计算的需求源头。

那么X Model仅2U的娇小身躯中同时集成最大56核CPU、1280GB内存的计算能力以及最大2.84PB有效容量的存储能力,可以在狭小的机柜空间中爆发出惊人的能量!


richardhandr 系统工程师 , 戴尔科技金融行业解决方案中心

PowerStore分为两种模式,PowerStore T就是更智能高效的存储设备,而PowerStore X是给公有云或私有云提供存储密集型应用快速部署和上线提供环境与存储空间,而超融合更多适用于计算密集型,或者称为通用型解决方案。

就拿Dell EMC内部的VxRail来说明,PowerStore 是对 VxRail 的补充 — 每种产品都经过专门设计和优化,以支持不同的环境和不同 的工作负载。 VxRail 基于标准服务器和 VMware 的 vSAN 存储技术。 它非常适合通用的、计算密集型虚拟工 作负载,并提供全堆栈自动化以及简化的生命周期管理。 VxRail 还为主 CPU 的计算能力不足的 密集型 AI/ML 应用程序提供板载 GPU 处理。 VxRail 是市场上先进的通用 HCI 系统,并将继续 作为产品组合中的主推型 HCI 产品。 PowerStore 基于企业存储硬件,是一个全新的企业存储软件堆栈,使用容器和微服务构建。 它 非常适合基础架构应用程序以及数据密集型应用程序。 基础架构应用程序包括但不限于防病毒服 务器、数据保护软件和监控软件…基本上包括运行底层存储基础架构所需的任何应用程序。 数据 密集型应用程序是那些延迟敏感型或需要计算与存储不平衡的应用程序。 (即高容量、高性能和 低延迟存储要求。)由于 PowerStore 基于企业存储硬件,因此它可以同时 提供企业数据块服务 (例如,光纤通道)并在本机运行应用程序。 这可为现有基础架构和运营提供更大程度的整合。

在新的数据时代,大量数据和卓越技术创新相结合,使各种规模的企业都有机会成为颠覆性的强大数字组织。但是,尽管存在这种潜力,许多企业都知道数字转型可能非常复杂且具有挑战性。数据变得比以往任何时候都更加多样化 — 现在,从边缘到云的 任何地方 都在创建、处理和存储数据。大多数组织都发现,任何单一的基础架构都无法满足他们所有的数据需求,因此他们利用不同的体系结构,这就形成了一个个单独管理和使用的 IT 资源孤岛。同时,由于要在业务方面提供更高级别的简易性和敏捷性,IT 面临的压力越来越大。企业级本地部署存储现在必须提供与云相同的运营灵活性,从而使其具备更强的适应性、更高的自动化水平并且更方便与现有管理框架集成。为了满足这些相互冲突的需求,需要一种新的存储体系结构和方法。Dell EMC 推出了 PowerStore,这是专为数据时代而设计的现代化存储一体机。这一颠覆性的新平台可以充分挖掘数据的价值,而不管其结构或位置如何,从而帮助您在不中断当前运营的情况下对 IT 进行调整和转型。

9、中小型城商行体量下,powerstore对标传统纯闪,混闪,以及分布式存储的优劣,以及适用场景?

1、中小型规模城商行,powerstore对标传统纯闪,混闪,以及分布式存储的优劣有哪些。

2、powerstore存储在中小规模城商行中主要适用场景有哪些。


李军华 系统工程师 , 攀枝花市商业银行

这个产品最大的劣势就是贵啊!现在的报价,真心不便宜。

优势厂家宣传的就是NVMe SSD、SCM的支持,控制器可以跑VMware,这一点放在容灾机房直接把验证服务器部署在控制器上,然后定期拉起验证,倒是省了很多设备和空间。

不过我觉得,最大的优势还是这家的路线图相对靠谱, 而且全球最大的存储厂家,应该不会轻易放弃存储市场吧, 起码未来七八年这个产品还在,有些用到几年产品线没了,bug没人修了,那是最悲催的....


richardhandr 系统工程师 , 戴尔科技金融行业解决方案中心

可以用于VDI,测试开发平台,T+0的数据分析平台,Hadoop大数据平台,互联网金融平台都可以使用。

PowerStore作为第五代存储的旗舰产品之一,是以数据为核心的智能存储,将最新的SCM和NVME SSD完美集成的解决方案,性能已经不再是瓶颈。

PowerStore拥有两种模式,用户使用T模式,可以以传统方式进行部署,部署在传统的主机环境中。如果以X模式进行部署的话,可以完美的集成新兴应用平台,自身采用AppsON技术,可以加速应用部署及上线的时间,缩短开发周期。

另外,基于第五代存储最大优势——有效容量,Dell EMC提供4:1的有效容量承诺,如果最终客户使用过程中无法达到4:1压缩消重率,Dell EMC可以根据容量无忧计划直接补足容量达到4:1。并且Dell EMC的容量缩减技术是完全在线,并且无性能损耗的技术。

10、EMC第五代存储对国产云平台的支持如何?

PPT中提到EMC第五代存储产品对上层云平台主要支持Vmware及AWS,请问对国产云平台如阿里、腾讯、华为等支持如何?

richardhandr 系统工程师 , 戴尔科技金融行业解决方案中心

只要云平台支持RESTful api,我们第五代存储提供最完整的RESTful api进行对接,并且可以提供编排资源调配、监控和报告的自动化。

11、AppsOn在PowerStore上如何实现?

AppsOn在PowerStore上如何实现的?是否需要针对PowerStore去开发相关的应用。这种应用由谁去开发、发布及维护?

richardhandr 系统工程师 , 戴尔科技金融行业解决方案中心

在 PowerStore X 型号上,整个容器化 PowerStoreOS在 PowerStore 内置 VMware 虚拟机管理程序上的虚拟机中运行。 客户也可以访问此虚拟机管理程序,以便直接在设备上 部 署自己的应用程序 — 使用与外部主机相同的 VMware 工具和方法。 在 AppsON 上运行的工作负 载不需要外部主机,并且由于存储与主机位于同一位置,因此消除了网络延迟。

支持 AppsON 的 PowerStore 设备也是以往部署在三层体系结构上的基础架构应用程序或 数据密集型工作负载的理想候选对象。一些示例包括但不限于 SQL Server 2019、 Splunk、Hadoop 和 MongoDB。Dell EMC提供相应的接口,由上述应用软件的供应商进行开发对接。

一般而言,AppsON 更适合两种类型的工作负载:基础架构应用程序和数据密集型应用程序。 “基础架构应用程序”涵盖基础架构管理员(例如,存储管理员)运行其数据中心所需的任何内 容,包括防病毒、数据保护、监控软件等。这使基础架构团队能够简化操作并完全掌控其环境。 PowerStore 销售常见问题,“数据密集型”应用程序分为两类:一类是延迟敏感型应用程序,另一类需要存储与计算不平衡 的应用程序。这包括但不限于 Splunk、Spark/Flink 和其他边缘物联网分析应用程序,它们占用 的空间很少,但处理和存储大量数据。 AppsON 通过提供新的灵活性,同时继续利用现有基础架构投资,让 IT 组织进一步受益。它补充 了包括 HCI 在内的现有平台,为需要卓越数据效率和“始终开启”的数据减少的高容量、高性 能、存储密集型工作负载提供了停放区域。

12、PowerStore支持私有云的架构?

若企业想自建私有云,又想充分利用PowerStore的特性,请问推荐的架构和使用方式是什么?谢谢


richardhandr 系统工程师 , 戴尔科技金融行业解决方案中心

PowerStore有两种模式,一种是传统模式T,还有一种是具有领先意义的X模式。

PowerStore T 型号 — 可扩展的存储整合 PowerStore 1000T 到 9000T 型号为组织提供了数据块、文件和 vVol 数据的统一存储平台的所有 优势,同时利用设备群集的智能化纵向扩展和横向扩展能力实现灵活增长。 此外,自动管理整个 群集的资源可实现卓越的存储利用率和简化的管理。 PowerStore 为 VMware Cloud Foundation (VCF) 的应用程序存储提供数据块和文件协议,从而支持当今混合云环境中对便携性的需求。

PowerStore X 型号 — 通过 AppsON 进行基础架构整合 PowerStore 1000X 到 9000X 型号将存储平台带入一个全新方向,结合了企业共享存储的基本优 势和板载虚拟机管理程序的各种功能。通过将 PowerStore 基于容器的软件体系结构与 VMware ESXi 集成,在存储和虚拟化计算环境之间提供了出色的操作和管理集成。 对于数据中心而言, 这样就为应用程序提供了无缝迁移功能,可以根据要求将应用程序部署在外部 VMware 服务器 上,也可以直接通过 AppsON 部署在 PowerStore 上;同时支持其裸机服务器和传统应用程序。 对于各种边缘、ROBO、物联网和战术环境,可选择使用 PowerStore X 来折叠硬件堆栈,同时 保持可扩展存储平台的全部功能,从而为组织提供新的基础架构整合选项。


gk711 云平台架构师 , 国泰君安证券

最终实现个人觉得如果用PowerStore去做云存储,最佳实现方式应该是通过FC方式挂载块存储给宿主机使用。

13、云环境下,中端存储与分布式存储方案的优劣势对比?


jakeyyu 系统架构师 , 三甲医院

选用中端存储也是考虑了性价比和采购成本的问题,但是对于云服务而言,使用集中式存储本身对于云技术而言不是最好的选择,分布式存储的优势是能够集中分散的服务器存储资源,在成本控制上有一定的优势,如果必须选择云服务技术,可以考虑了解一下超融合技术,目前可以做到将分布式服务器的存储池化,所有计算资源也可以池化来提供服务。


gk711 云平台架构师 , 国泰君安证券

云环境下更建议分布式存储方案,中端集中存储需要考虑存储的读写性能,其次还要考虑5年后存储替换带来的虚机迁移等工作量。

14、在非云环境下,PowerStore比较适合金融行业的哪一类应用?是否有案例?

在非云环境下,PowerStore比较适合金融行业的哪一类应用?有没有案例可以介绍?谢谢

richardhandr 系统工程师 , 戴尔科技金融行业解决方案中心

Powerstore作为Dell EMC企业级中高端产品,传统到现代数据库Oracle, SQL,和应用程序VMware、既支持SAN存储,也支持文件存储。

适合客户的核心数据系统,比如券商的核心交易,极速交易等,还有保险的公司核心系统,银行的互联网平台,以及开发测试平台,还有虚拟桌面平台。

支持 AppsON 的 PowerStore 设备也是以往部署在三层体系结构上的基础架构应用程序或 数据密集型工作负载的理想候选对象。一些示例包括但不限于 SQL Server 2019、 Splunk、Hadoop 和 MongoDB。

案例现在涵盖保险、证券、银行、运营商、互联网公司等。具体情况可以咨询本地的Dell EMC销售。

15、PowerStore的技术架构如何保证6个9的可靠性?

PowerStore的技术架构如何保证6个9的可靠性?存储数据的冗余性如何设计?


richardhandr 系统工程师 , 戴尔科技金融行业解决方案中心

双活的数据路径,双端口的NVMe硬盘,动态RAID,这三个是比较主要的因素。其他还包括在线的软硬件升级,在线的容量扩展,在线的数据迁移,全冗余部件,快速的重建时间,以及一些数据保护功能。数据的冗余性主要通过动态RAID来实现,通过基于extend而不是整个硬盘的RAID方式,可以在发生故障时快速的恢复到有保护状态。


李军华 系统工程师 , 攀枝花市商业银行

现在很多厂家都在说几个9的可用性,其实各个厂家应该都有很多可靠性设计的工程师团队来做这个事情,各种部件都做了很多冗余性设计。但是,实际上从我们使用者的角度来说,我们更希望看到实际在网运行设备的可靠性统计数据,也就是正常运行时间/投产时间。其实,我们之前看同行业案例之类的,也就是看这个实际可靠性的口头大数据统计。不知道Powerstore的可靠性统计数据能不能看到呢?

16、新发布的PowerStore存储如何对接容器云持久化存储?

新发布的PowerStore存储如何对接容器云持久化存储?可以支持哪些存储特性?

richardhandr 系统工程师 , 戴尔科技金融行业解决方案中心

有CSI驱动的,支持特性包括:

● Supports CSI 1.1

● Supports Kubernetes version 1.17, 1.18, and 1.19

● Supports Fibre Channel

● Supports iSCSI

● Supports Linux native multipathing

● Supports OpenShift 4.3 and 4.4 with Red Hat Enterprise Linux CoreOS and Red Hat Enterprise Linux 7.8

● Supports CentOS versions 7.6, 7.7, and 7.8 as host operating system

● Supports Red Hat Enterprise Linux 7.6, 7.7, and 7.8 as host operating system

● Supports Ubuntu 18.04 as host operating system

● Automatic Kubernetes version detection

● Dell EMC Storage CSI Operator deployment

● Dynamic and Static PV provisioning

● Helm 3 charts installer

● Persistent volume (PV) capabilities:

○ Create

○ Delete

○ Create from Snapshot

○ Create from Volume

○ Resize

● Supports NFS volumes

● Supports ONLINE and OFFLINE volume expansion

● Supports Raw Block Volumes

● Access Modes:

○ For block volumes mounted with a filesystem:

■SINGLE_NODE_WRITER

■SINGLE_NODE_READER_ONLY

○ For raw block volumes and NFS volumes:

■SINGLE_NODE_WRITER

■MULTI_NODE_MULTI_WRITER

● Volume and host prefixes for easier identification in PowerStore Manager

● Volume mount as ext4 or xfs file system on the worker node

17、nvme和scm加速细节?

有关end to end的nvme加速这块对比传统scsi 协议性能提升幅度是多少?特别是并发压力下的存储时延能降低多少?scm的加入对读写时延改善幅度能有多少?scm主要是针对写io还是读io加速明显?在命中率低的场景中scm还有用吗?

richardhandr 系统工程师 , 戴尔科技金融行业解决方案中心

单独看盘的话,NVMe SSD 比SAS SSD写入带宽提升100%,延迟降低25%。NVMe SCM延迟又比NVMe SSD降低了25%,这样和SAS SSD比,整体延迟降低了50%。SCM对于金融行业高性能OLTP,交易延迟敏感,较高ReadMiss的场景尤其适用。这些场景包括银行的核心系统,保险的新契约系统,证券的核心和两融系统,以及风控的实时欺诈监测系统。

18、有效容量4 :1怎么得出?

请问一下有效容量4:1的缩减比是怎么得出来的。是在那种应用业务场景下,压缩和去重对数据缩减占比各自是多少呀?还是压缩是在线压缩还是后置压缩?

richardhandr 系统工程师 , 戴尔科技金融行业解决方案中心

压缩和去重都是在线的,数据库本身没有开启压缩,不是音频视频文件,除去这些特殊的情况,一般的应用场景下都可以达到,可以从界面里面直观的看到实际的数据缩减比。

19、NVMe Flash的可靠性问题?

NVMe Flash目前在笔记本,台式机中用的较多,性能也很高。但在企业级应用上还不常见,不知道在专业存储上NVMe Flash是否针对数据可靠性做出相应的优化。

李军华 系统工程师 , 攀枝花市商业银行

其实NVMe只是一种接口协议,这种协议去掉了传统SCSI协议的束缚,更加适合多并发和内存数据访问,所以访问效率更高。从颗粒来说,闪存就是两种,一种是基于热磁阻效应的SCM,Intel和镁光联合开发的,一种是晶体管,也就是著名华人科学家费敏发明的晶体管,也就是传统说的SSD,根据不同的晶体管制造和利用方式,又分为了SLC、MLC、TLC。三种最大的差别就是价格,TLC是最便宜的,大量应用。衡量颗粒耐写度的指标是DWPD,五年时间,每天写满磁盘多少次可以把颗粒写废掉。正常的目前大部分存储阵列的DWPD是1,桌面级的有小于1的。保证数据可靠,从闪存盘内部说,1、磁盘内部芯片是有ECC校验的,错误数位会被校正;2、每个闪存盘内都是有冗余颗粒的,企业级的冗余颗粒一般在20%左右,失效的颗粒会被屏蔽,桌面级会低很多;3、为了防止颗粒的损耗不均衡,磁盘内部有写均衡算法,简单说就是不会只在一只羊上薅羊毛。从存储角度,多个SSD之间会有RAID保护,有些是采用多副本或者纠删码之类的,都是防止一个硬盘故障导致数据丢失。然后为了减少写数据对颗粒的损耗,专业的存储控制器都是有写缓存的,很多产品都做了写压缩,减少重复的写

20、存储对外服务还是用传统的san交换机?还是8Gb吗?随着IO性能提高,如何解决链路瓶颈问题?


richardhandr 系统工程师 , 戴尔科技金融行业解决方案中心

是的,主要还是传统的SAN交换机,端口是32Gb,这个比8Gb已经有很大的提升了,如果还有链路的瓶颈,可以通过横向扩展来实现带宽提升。

如端到端 NVMe 和英特尔傲腾存储级内存 (SCM),与前几代戴 尔中端存储相比,为实际工作负载提供的 IOPS 提高 7 倍以上,而延迟减少 3 倍,这为您的客户 提供了他们所需的所有性能和扩展空间,以确保通过多个解决方案生命周期实现长期价值。 PowerStore 通过高性能的多协议网络 IO 选项以及对数据块、文件和 VVol 的单一体系结构支 持,帮助客户简化和整合各种基础架构,从而转变传统和现代工作负载的操作。

凭借我们的“NVMe-oF 就绪”存储体系结构,PowerStore 可帮助您的数据中心为端到端 NVMe 做好准备。 初始 PowerStore 版本通过基础阵列内的 NVMe 驱动器支持,为您带来巨大的即时性能优势。近 期即将发布的版本将提供无中断固件升级,以便在现有 PowerStore 设备以及扩展存储模块中支 持 NVME-oF。 光纤通道和 TCP/IP 网络均受支持。


limit1900 IT顾问 , 某公司

传统集中式存储主要以FC san交换机和以太网交换机对外服务,目前单端口最高速率为 FC 32Gb和以太网25Gb。少数特殊场景如高性能计算,会用inifiniband和RoCE连接主机,二者都已达到100Gbps。

除了提升端口速率,还有几种方式提升IO性能:

1.增加端口数量,也就是增加服务器到存储的路径。

2.采用支持对称双活的存储控制器,服务器上的一个IO可以被两个控制器并发处理,最终落到同一个LUN上,这样也可以起到增加路径的效果。

3.端到端的NVMe设计,释放NVMe SSD盘性能

4.存储控制器和磁盘柜的链接方式,减少串联增加并联。(这要看控制器有没有足够的后端接口了)

另外,分布式存储由于每个节点都可以提供服务链路,而节点数量又可以大量扩展,因此不存在链路瓶颈的问题。应该不在题主问题范围内,就不展开讨论了。

21、是否支持IB交换机,是IB模式还是以外网模式?

richardhandr 系统工程师 , 戴尔科技金融行业解决方案中心

目前这款产品和IB没有交集,未来有开发的计划。

支持10Gb网络,25Gb网络,16Gb和32Gb光纤网络。

22、第五代存储主要应用场景?主要应用于云端环境,还是传统的san+数据库环境?

主要应用于云端环境,还是传统的san+数据库环境。


李军华 系统工程师 , 攀枝花市商业银行

第五代存储主要是智能全闪阵列,我们还是主要用在延迟要求敏感的环境,核心和重要应用系统。这个主要是考虑成本原因。不过未来存储阵列的闪存化是必然的趋势,实际闪存盘的故障率我们看到的比同时期的机械盘要低,特别是在环境相对差的机房,而且现在重删压缩的技术越来越成熟,如果都能够做到性能无损的压缩和重删,那么单位TB的成本也可以降下来。不过,目前各个厂家开启重删压缩后性能效果还是差异比较大,有些厂家宣传支持,但实际投产的时候并不建议打开,所以,招标选设备选型标准的制定还是很有难度的,比较让人头疼。


richardhandr 系统工程师 , 戴尔科技金融行业解决方案中心

IDC报告中的第五代存储是一个标准,未来所有厂商的存储都会达到第五代,而第五代存储的标准是既可以使用于公有云、私有云、混合云,也可以适用于核心SAN环境,测试开发网络环境,也可以提供文件服务功能,而且自身可以提供更多的数据服务功能,敏捷高速、有效容量、无缝接云、数据护航、AI赋能。

而拥有第五代存储特性的数据中心基础架构平台,将是释放数字燃油动力的全新发动机。希望我们的第五代存储平台可以更好地帮到大家打好未来创新平台坚实的基础,使您的企业永立数字化转型的潮头。

23、端到端NVMe架构技术的实现路径是什么?如何做到服务器和存储之间的端到端NVMe?

不仅仅是PowerStore,多款存储产品宣传支持端到端NVMe架构,但端到端NVMe架构技术的实现路径是什么?要做到服务器和存储之间的端到端NVMe,目前在技术上的难点是什么?


李军华 系统工程师 , 攀枝花市商业银行

我们也在跟进和了解NVMe技术的进展,看到大部分32Gb的HBA卡、32Gb的光纤交换机和32Gb的存储阵列都会支持NVMe技术,大部分是通过升级代码实现的。当前的主要问题是在不更新应用的情况下,很难大规模升级底层应用和驱动,特别是小机涉及到OS版本、驱动版本和多路径版本的问题,相对而言在新建系统中相对比较简单。

NVMe的另外一个拦路虎是价格,好钢用在刀刃上,确定好哪个是刀刃很关键。


richardhandr 系统工程师 , 戴尔科技金融行业解决方案中心

实现路径包括:主机配置了支持NVMe的网卡(FC或者IP),支持NVMe技术的交换机(FC或者IP),还有内外部都有NVMe连接的存储系统。目前的难点主要在于生态,除了刚刚说的这些,还有协议标准,操作系统支持等等,是一个大的体系。

24、面对第五代存储的出现,为了更好驾驭新技术,运维工程师需要提前做哪些知识储备和技能提升?

面对第五代存储的出现,为了更好驾驭新技术,运维工程师需要提前做哪些知识储备和技能提升?


李军华 系统工程师 , 攀枝花市商业银行

第五代存储是很好的概念,全闪架构、精简配置和数据压缩重删会极大的提升性能和设备使用效率,但是同时也会来带很多挑战,对于运维来说,我觉得主要是对监控技术和能力带来了很大的挑战。这个主要体现在,性能提升后的性能基线如何确定,主要是长期的运行数据积累和分析来实现,前提也就是要有这个性能监控数据的积累。第二个,性能提升后如何判断性能的堵点。一个系统中有很多的设备和参数,从数据库、到OS、到底层硬件驱动、到交换机、到存储阵列,每个设备都有多个参数的适配,一个看似不经意的参数设置就可能带来性能堵点,要找到性能堵点,就要有全局化的监控手段,能够在一个时间坐标下去查看多个设备的性能和告警日志,经过反复我的观察和调优,才能够实现系统的最优化;第三个,精简配置和数据压缩重删会极大地提升存储的利用率,但是,实际物理空间、分配逻辑空间、实际数据量、数据精简后的实际空间占有量等多个变量也会让监控需要更加敏捷,因为所有的数据精尖技术都是与应用强相关的,不同的应用下来都需要经过一段时间的观察,同一应用的不同类型数据下来,也需要认真的观察,同时设置好告警的红线,如果实际物理空间100T,超分到200T,综合压缩和重删的比例是4:1,那么到低能存多少数据?这个是需要反复研讨,认证设置告警边界的。好在DELLEMC设备都有比较有好的RESTAPI接口,可以通过开源的Zabbix或者其他监控平台去实时监控,我们也是做了一些实践,效果不错。


richardhandr 系统工程师 , 戴尔科技金融行业解决方案中心

第五代存储自身更具备智能,用户不需要太多的操心存储本身的性能调优。未来的运维工程师需要更快更便捷的帮助前端提供资源,同时减少大批量人为操作的一些可能问题,学习一下Absible之类的自动化运维工具,提升简单的编程能力是一个选项。另外Zabbix监控,了解存储的一些REST API都可以考虑。

25、PowerStore在低延时,高扩展和多活的业务特点下,怎么保证整个存储数据读写的一致性?

richardhandr 系统工程师 , 戴尔科技金融行业解决方案中心

任务关键型可用性和容错一体机,可以利用现代、简化的数据集成方法,管理作为宝贵战略资产的数据。在硬件级别,PowerStore 旨在具备高可用性和容错能力。它通过高级 RAID 保护技术监控存储,从而快速重建故障驱动器中的数据,以避免数据丢失。随着数据的不断增长,大数据已成为预测性分析领域的重要组成部分。PowerStore 的始终在线内联数据减少功能可显著减少实际所用的存储,但仍保持预期的应用程序数据可用性和保护。

专为提高性能和简化管理而设计的现代分析解决方案,Dell EMC PowerStore 是一种新型存储一体机,采用英特尔傲腾存储级内存 (SCM) 等现代技术,可满足数据收集的高性能需求,并可在边缘进行处理以实现下一代分析。分析数据不断动态变化,并且组织需要快速跟上节奏,这也需要构建一个易于管理的存储平台。PowerStore提供了一个微服务管理解决方案,它具有交付和集成高级管理功能的独特能力。这种模块性可加快下一代分析的上市步伐,并具有极大的部署灵活性。这种以数据为中心且适应性强的智能基础架构支持各种数据要求,可以整合分析数据,同时可简化 IT 管理和运营。PowerStore 可扩展应用程序和数据且易于管理,极大地补充了分析应用程序的纵向扩展和横向扩展部署模型。

26、PowerStore存储系统软件中内嵌人工智能套件如何发挥?

PowerStore存储系统软件堆栈中内嵌人工智能套件(内置机器学习引擎)如何发挥?是否可以根据历史数据,提前预测业务高峰,并根据现有的健康状况、性能容量情况提出相应的建议,帮助运维团队更好的应对?

richardhandr 系统工程师 , 戴尔科技金融行业解决方案中心

主动式运行状况分析——Dell EMC 的 CloudIQ 包含在 PowerStore 中,可为管理员提供所需的所有英特尔技术,以快速执行操作并更高效地管理其存储环境。通过将机器学习、高级分析和人工智能相结合,基于云的应用可以降低风险,及时发现异常以免发生故障,并通过强大的预测能力帮助 IT 专家规划未来存储需求。CloudIQ 有助于简化存储管理任务,这样您就可以将工作重心重新放到业务目标上。

自动一体机——PowerStore 包含内置的智能功能,可消除大量耗时的任务和决策点。PowerStore 的板载机器学习 (ML) 引擎通过对单个和群集一体机进行微调,实现了初始卷安置、迁移、负载均衡和问题解决等人工密集型流程的自动化,从而优化了性能并降低了成本,即使您的环境发展变幻莫测也能轻松应对。

可编程基础架构——PowerStore 通过与 VMware 以及包含主要管理和编排框架的广泛生态系统集成,简化了应用程序开发并自动执行存储工作流。 您可以直接从常用的应用程序工具集调配 PowerStore 服务。 例如,IT 和 DevOps 用户可以利用 VMware插件程序(vRO 插件程序)、Kubernetes 插件程序 (CSI Driver) 和 Ansible 插件程序 (Ansible Module),从而将部署时间从数天缩短至几秒。

群集管理——嵌入式群集管理器和 AI/ML 引擎,可帮助自动 执行和简化管理。 在群集中,卷仍然由各设备“拥有”,但群集作为单个实体进行管理,在设备 之间实现无缝迁移和负载平衡。PowerStore 可将卷保留在单个设备的范围内,以保障高性能和低延迟,而无需对整个设备进行条 带化,也不会因背板流量而受到处罚。然而,从用户角度看,内置 AI/ML 引擎将所有内容作为一 个存储池进行管理。

27、PowerStore是否支持在线迁移,特别是异构存储的迁移?

PowerStore是否支持存储设备数据的在线迁移,特别是异构存储的迁移?这种迁移,是否对虚拟机无影响,如PC虚拟化集群的老存储需要置换,这种置换是否可以在线,是否会影响虚拟机性能?

richardhandr 系统工程师 , 戴尔科技金融行业解决方案中心

PowerStore目前支持VNX2,Unity,SC系列和PS系列的异构存储在线迁移,对虚拟机无性能影响。虚拟化环境还可以通过vMotion进行在线迁移。

28、第五代存储powerstore主要针对云平台环境么?在传统的架构下,powerstore相比较unity有什么优势和不足?

richardhandr 系统工程师 , 戴尔科技金融行业解决方案中心

第五代存储又叫做未来企业级智能存储:随着⼈⼯智能、物联⽹、5G等新兴技术的快速发展,以及多云环境下对基础架构的需求,为企业级存储重新设定了标准,将性能和效率提升到⼀个新的⽔平,并具有企业关键任务应⽤程序所需的各种⾼级功能和数据服务,包括安全性、可⽤性、可扩展性、易⽤性以及敏捷性等。未来企业级智能存储将采⽤端到端NVMe Flash架构,同时有效利⽤SCM(Storage Class Memory)优化存储系统的整体性能、降低延迟,存储系统软件堆栈将内嵌⼈⼯智能套件(内置机器学习引擎),做到智能运维⾃动化,对外将构建丰富的API⽣态,⽆缝连接多云环境。第五代存储是数字经济时代的必然产物,是⾯向多云架构、承载⼈⼯智能、物联⽹和5G等新兴技术的未来企业级智能存储。

从IDC的这段描述看,第五代存储Powerstore并非只针对云平台,也适合企业关键业务。和Unity相比较,PowerStore设计之初就是全闪架构,性能出色,并且面向了未来,而Unity更多是混闪配置。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

0

添加新评论0 条评论

Ctrl+Enter 发表

本文隶属于专栏

活动总结
活动总结是社区交流活动内容的总结及延伸,为大家提供了社区专家们丰富且高水平的理论知识、实践经验以及常见问题的最佳解决方法,非常值得大家收藏学习。

作者其他文章

相关文章

相关问题

相关资料

X社区推广