全闪存进入PB级时代!

原创内容,转载请注明:  [http://www.ssdfans.com]  谢谢!

作者 琥珀

 

闪存阵列可以部署在数据中心很多位置,为数据库、虚拟服务器应用程序提供快速的块存储服务。虽然目前的圈闪存阵列对于这样的应用来说是有用的和可负担的,但是它们缺乏可扩展性,不能承担存储环境中的大型文件和对象存储。

 

针对数据中心核心的PB级存储需求,Pure Storage已经开始采用一种称为FlashBlade的新的闪存阵列。FlashBlades有足够的空间,并将进一步扩展,以应用在大型超级计算机和云计算机房中需要高性能闪存的大容量存储任务。

 

许多人还在争论机械磁盘和闪存未来怎么分层存储,但是,分层存储的方案一直在快速变化,为什么?因为闪存的价格一直在下降,同时在磨损均衡,压缩,重复数据删除和其他技术添加到闪存之后,闪存存储价格相比机械硬盘已经达到了平衡。我们认为,企业将愿意为越来越多的关键任务数据配备相对昂贵的闪存阵列,同样愿意将相对较冷的归档数据转储到像亚马逊Web服务,Microsoft Azure和Google云平台这样的云存储供应商,这些供应商正在尝试解决如何使磁盘驱动器在支持来自数据处理中心的海量数据上更好的工作。

 

对于公共云来说,现在的任务是怎样用最低的成本保存海量数据,所以谷歌已经在打算重新改造磁盘驱动器。但是,Pure Storage(如果想要更准确的话,应该称之为Pure Non-Volatile Storage,)正在努力做没有任何机械硬盘的存储系统。因此,其工程师们一直在努力使用Xeon,ARM和FPGA设计自己的闪存卡,以创建一个全闪存阵列,它可以扩展到企业所需的庞大的非结构化文件和对象存储级别,这种阵列可以放置在正在销售的块存储FlashArra产品线上。

 

Pure Storage描绘了数据的历史,每个计算时代都需要自己的技术来满足当时的规模需求。 而且,在任何情况下,随着数据中心新技术的出现,它被迅速采用并将数据中心的极限推向了临界点。

 


 

Pure Storage的FlashBlade历史

 

早在20世纪90年代,当EMC将革命性的Symmetrix RAID磁盘阵列从大型机带到了Unix,Windows,然后是Linux系统。当商业互联网刚刚开始,NetApp是NAS的创新者时,磁盘文件管理器就不得不扩展到数百万个文件和数百兆字节。十年后,因为应用需要可以扩展到数十亿个文件和几PB的容量的经济实惠的存储,NAS开始主宰企业数据中心和不少HPC,再一次,NetApp获得了主导地位,但其他厂商也获得了一些份额。在当前时代,闪存已经变得可行,并且与磁盘相比具有成本竞争力,同时客户也不愿意接受用差的性能来换取便宜的容量。他们希望能够扩展到PB级字节的容量和数百亿个文件和对象,托管数万个容器、虚拟机或客户端程序。

 

不仅仅使用FlashArray,Pure Storage在2015年六月推出的阵列扩展,使用混合DRAM,NV-RAM和闪存模块来创建一系列可在11U中扩展到400 TB可用容量的机器,并提供300K IOPS性能,且平均延迟低于1毫秒。他们做了很多不同的闪存卡,还有很多计算资源去加速关键应用,也有自己的互联管理软件。

 

但是同样重要的规模,FlashBlade系统的设计可以在100 TB以下的可用容量内开始小型化,然后按数量级增加。许多高端系统无法缩小规模即使它们将扩大规模做的很好。公司想投资一件事需要三四年才能将其构建出来。存储可能更长,它比服务器持续时间更长,但可能不如网络交换机那么长。同样重要的是, FlashBlades的价格也下降了,而且由于公司向基础配置添加了存储模块,它的价格在每个可用GB低于1美元的情况下保持相对一致。

 

FlashBlade存储模块本质上是分层DRAM,NV-RAM和闪存阵列,具有不同的计算单元,可以对数据进行各种处理,并使闪存和网络链接起来。

 


 

就像EMC推出的DSSD D5全闪存阵列那样,架构的关键之一就是他们不使用SSD闪存,而是使用自带的闪存卡。虽然EMC专注于具有DSSD阵列的低延迟、高吞吐量作业,但FlashBlades旨在提供具有良好性能的高容量可扩展性无任何问题的闪存阵列。

 

公司产品营销总监Sandeep Singh解释说:”在我们谈论闪存的密度的时候,我们发现,相比传统的NAND Block级别管理,通过映射到更小的离散NAND Page,我们可以获得更高的效率和更多的并发通信,并且能够得到更加智能和优化的系统级闪存转换层。”

 

FlashBlade模块有两个不同的容量,一个具有8 TB的可用空间,另一个具有52 TB的空间。 在这两种类型上,不同的计算单元做不同的事情,并且该计算的性能可以扩展到跨越较大的存储空间。

 

在8 TB模块上,计算单元包括Intel的六核Xeon D CPU,以及Altera FPGA和双核ARM处理器。52 TB模块具有8核Xeon D处理器,3个Altera FPGA和6核ARM处理器。8 TB模块具有64 GB的DDR4主内存与Xeon D处理器相连,52 TB模块有128 GB内存。对于每8 TB闪存容量,Pure Storage将4 GB的NV-RAM作为高速写缓冲区缓存,超级电容在电源故障的情况下进行备份。

 

当数据进入NV-RAM或者从内存到闪存时,FPGA将进行数据移动调度以及数据加密和纠错。ARM内核对闪存上的流量进行总体调度,并管理NV-RAM。Xeon D处理器用于运行弹性互联网络管理软件,维护整个系统的的元数据,并使这些模块和阵列看起来像一个逻辑存储单元。该元数据被分割并分布在多个模块和阵列中。

 

为了将这一切联系在一起,闪存和处理单元使用专有互连通信。该专有协议针对并发通信进行了优化,并使用PCI-Express进行传输,它看起来有点像CAPI接口(IBM Power8芯片的一部分)。单个闪存模块通过内部运行10 Gb /秒以太网的中间板彼此链接,该中间层也已经针对并发通信进行了优化,并没有使用RDMA over Converged Ethernet(RoCE)协议。修改后的以太网提供了在100纳秒延迟以下的单元之间的数据传输——这几乎与100Gb / sec InfiniBand上的端口跳转一样低。阵列内的交换机共有64个端口,其中8个端口暴露在服务器外部和其他阵列进行聚类。

 


 

FlashBlade灵活性

 

假设数据压缩约为2:1,具有15个8TB单元的单个4U 机柜有268 TB的可用容量。FlashBlade使用与块式FlashArrays中相同的压缩和重复数据删除算法。使用52 TB闪存模块,Pure Storage可将1.6 PB的压缩和可用数据提供到4U机柜中。根据早期测试,该系统可以提供15 GB /秒的带宽,每个机柜每秒处理100万次NFS操作。

 

要扩展FlashBlade系统,公司可以使用40 Gb /秒的以太网将两个机柜连接在一起。将来,Pure Storage将推出一种新的架构模块,最多可将十个机柜连接到单个存储域,达到16 PB的上限容量限制。

 


FlashBlade价格

 

鉴于FlashBlade的费用低于1美元/GB,那么加载单个4U系统的成本应低于160万美元。这与其他磁盘等存储方式相比如何?具有15K RPM SAS驱动器的磁盘阵列将运行在每1.5美元/GB到2美元/GB之间,但对性能做优化之后,成本涨到3美元/GB到4美元/GB,再加上一些管理软件,价格直接涨到是4美元/GB到5美元/GB。存档阵列可能低至1美元/GB,但它们没有性能,NetApp和EMC的块存储的高性能阵列的每GB范围为1.50美元到2美元。

 

成本不是衡量存储的唯一指标,性能也很重要。有一个芯片制造商把EDA软件从NetApp和Isilon阵列转移到FlashBlades,从而减少了约20%的开发时间,这相当于从五年芯片开发、验证和测试产品周期中节省了一年。

 

 

引用:

 

https://www.nextplatform.com/2016/03/14/pure-storage-brings-petabyte-scale-flash/

分类目录 国外动态, 行业动态.
扫一扫二维码或者微信搜索公众号ssdfans关注(添加朋友->点最下面的公众号->搜索ssdfans),可以经常看到SSD技术和产业的文章(SSD Fans只推送干货)。
ssdfans微信群介绍
技术讨论群 覆盖2000多位中国和世界华人圈SSD以及存储技术精英
固件、软件、测试群 固件、软件和测试技术讨论
异构计算群 讨论人工智能和GPU、FPGA、CPU异构计算
ASIC-FPGA群 芯片和FPGA硬件技术讨论群
闪存器件群 NAND、3D XPoint等固态存储介质技术讨论
企业级 企业级SSD、企业级存储
销售群 全国SSD供应商都在这里,砍砍价,会比某东便宜20%
工作求职群 存储行业换工作,发招聘,要关注各大公司招聘信息,赶快来
高管群 各大SSD相关存储公司高管和创始人、投资人

想加入这些群,请微信扫描下面二维码,或搜索nanoarchplus,加阿呆为微信好友,介绍你的昵称-单位-职务,注明群名,拉你进群。SSD业界需要什么帮助,也可以找阿呆聊。