Javon
作者Javon·2021-11-22 14:54
项目经理·极道科技(北京)有限公司

揭秘“高性能、高可靠”的ALAMO,非一般的分布式存储系统

字数 2233阅读 608评论 0赞 0

随着云计算、大数据等新技术不断发展,数据量呈指数级增长,越来越多的企业都重新调整了自身定位和价值核心,将数据视为最宝贵的资产。作为数据载体的存储系统,再一次被推上了风口浪尖。相比于传统存储方式,分布式存储兼具 稳定性、高性能、易拓展 等特点,渐渐成为海量数据场景下的绝佳存储方案。

极道深耕数据系统领域多年,打破层层技术壁垒,在2015年推出了首款分布式文件系统ALAMO。ALAMO历经了 6年 的实际生产环境考验, 零数据 丢失故障,在同类产品中鹤立鸡群。在正式进入国内基因公司龙头企业之前,ALAMO已经进行了 30000+ 个小时的客户实际生产环境测试(业界同类产品几乎很难做到),于2018年正式进入国内外顶级基因公司和机构的一级生产系统,承载核心生物数据,短短3年时间ALAMO的部署量已经累计超过 150PB ,足迹遍布亚洲和美洲。

作为国内顶尖数据系统研发团队打造的高端存储--ALAMO分布式文件系统,同时兼具“ 高并发、高性能、易拓展 ”的特性,这是如何做到的呢?

01高性能

“不要迷信测试软件跑出来的评分,要用自己的真实生产数据实测一下,其差距可能会让你惊惧不已。”---来自一个资深业内行家的提示。

极道采用多种方式按照应用对数据的存取模式,有效的对存储性能进行优化,包括磁盘上数据的布局,元数据的布局,内外网隔离,元数据和数据通路的分离,IO调度策略,QoS策略等。ALAMO创新的实现了灵活的架构,既可以支持对称架构(无分离的元数据服务角色),也可以支持非对称架构(有可扩展的元数据服务角色),在集群规模小的时候采用全对称架构,大规模集群可以采用非对称结构。这种创新的方式,使得系统的扩展性在无损性能的前提下大幅提升。

除此之外,对于小文件的优化也是ALAMO的重要特点之一,ALAMO动态识别小文件,并将其存放于高速SSD介质【非缓存】中,从而大幅提升海量小文件下的性能表现。

02高并发

ALAMO作为面向高性能计算场景的高端存储系统,其高并发能力区别于一般意义上的分布式存储。不同于实验室数据,ALAMO集群在客户生产环境下,支持日活 1200+ 台客户端的重压力访问,并发能力得到客户的充分认可。标准配置下的每一个ALAMO控制器能够承受百台以上客户端的并发访问压力。

03透明横向扩展

支持在线透明的通过增加存储单元,横向扩展存储的容量和性能。在非对称结构模式下,元数据服务单元和数据服务单元都可以透明横向扩展,整体系统无单点瓶颈。单一系统的整体性能会随着存储单元的增加而不断线性提升。

04数据高安全、服务高可用

ALAMO集群对数据采用冗余编码保护,多磁盘故障下数据不丢失;核心元数据采用3副本,确保绝对可靠;所有数据块均有校验码,自定义周期性扫描和校验数据,确保及时发现故障,防止数据的静默失效;ALAMO所有硬件及物理链路全冗余设计,故障自动发现,自动修复,确保数据服务高可用。

05快照和配额

ALAMO集群支持秒级文件系统快照和克隆,且快照个数无上限。支持基于策略的排程快照,最大限度的保护数据安全性。智能的配额管理,允许管理员根据策略定义低水位线和高水位线,有效管理数据空间的使用率。

06智能数据分层

多粒度的数据分层策略,既可以自动透明的在不同介质之间交换数据以提高读和同步写性能,也可以按照预定义的策略将温冷数据下沉到低成本的存储系统中,按需调回,实现高性能文件存储和对象存储的整合。

07特色功能--高优先级客户端

针对大规模计算集群,往往有登陆节点/管理节点和计算节点的角色差异,登陆节点/管理节点上对数据的交互性操作较多,因此对数据交互操作的响应延迟有较高的要求,因此极道针对这种特定的应用场景做了优化设计,高优先级客户端的请求无论从IO调度以及处理优先级上都会高于一般的计算节点,即便在大量计算节点并发访问存储系统,存储后端异常繁忙的情况下,也不会影响来自登陆节点/管理节点的IO响应速度,保证了用户的交互性体验。对于繁忙的存储系统来说,一个不起眼的交互操作,例如一次【ls】或者【du】,在生产环境中可能都因系统繁忙卡很久才能返回。极道ALAMO支持为所有的客户端进行优先级设置,被设置为高优先级的客户端,优先响应,使用体验极佳。

08特色功能--数据管理功能

数据管理辅助功能,使得存储系统对用户来讲,不再是一个难于洞察和掌控的空间,无论是系统运维人员还是业务人员都可以获得对存储系统上混乱非结构化数据的有效管理。

系统管理员往往面临很多听起来很简单但是很难做到的小问题。比如对于一个超大超深的目录,管理员的du可能会卡住“永远”也回不来。

ALAMO提供的内嵌空间管理应用,可以帮助管理员无需等待,轻松的知道任何一个目录的(递归子目录)的大小,文件个数,瞬间返回统计结果。配合极道的数据管理系统,系统管理员可以马上知道整体存储空间中的文件按照大小、类型,访问频次和修改时间等各种维度的分布状况。

09总结

除了上述特点以外,最让客户放心的是极道对ALAMO系统的完全可控。不同于很多开源系统的商业化包装,ALAMO从设计到实现,每一行核心代码都倾注了极道工程师的心血,Know What,Know How,Know Why一直是极道对研发团队的要求。

极道科技作为国内为数不多的技术型创新团队,始终以客户需求为导向,以品质和服务为根本,以真诚和实力面对客户,无时无刻不在关注着客户的需求和反馈意见,为客户提供全生命周期的技术支持,指导和建议。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

0

添加新评论0 条评论

Ctrl+Enter 发表
X社区推广