泛读存储:软硬兼施的Ali SSD

原创内容,转载请注明:  [https://www.ssdfans.com]  谢谢!

参考:Co-Design software and hardware for SSD storage in Alibaba Data Center – From Alibaba

目前数据中心遇到的主要挑战:

  • 多用户,快速变换的workload
  • QoS (响应时间)
  • 不断降低TCO(总体拥有成本)的诉求
  • IO Determinism
  • 软硬件的协同优化

 

在FMS2019上,Ali分享了他们的一些优化方案

 

SMART Data Placement

策略:通过侦测写入的Pattern,将数据分为热数据和冷数据,然后将数据分门别类放好(阿里提供数据放置的接口)

收益:降低WA,减少GC,提高QoS

不同类型的服务,存储,数据库和计算产生的数据,被归类到不同的写入流中,写到不同的地方。

 

Multi-Stream

在顺序写,随机写1,随机写2和读取4个线程同时工作的情况下,多流(Multi-stream)方案与传统方案相比:

  • 总体带宽更高;
  • 平均WA更小;
  • 平均时延更低;

网络带宽与SSD带宽不均衡导致的问题

网络带宽的迭代非常迅速,现在已经有了100G的网卡和网络交换机,为了填饱这么高的带宽,后端用于存储的SSD紧赶慢赶,容量不断飙升。以100G网络为例,通常会为其配备24块4T的SSD,总共96TB的空间。

那么问题来了,公有云卖钱的时候,是看IOPS/GB:站在用户的角度,不会管云服务提供商一共配置了多少SSD的容量,而是只关注自己购买的那一部分容量能够提供的性能。SSD容量越来越大,反而导致IOPS/GB 的降低。与以往相比,云服务商的成本其实是提高了。

 

混合存储

混合存储,古已有之,Ali的做法是:

将存储分为Fast Pool和Slow Pool两块,快的部分用SCM,Intel Optane,慢的部分用QLC和HDD,TLC两边都用;

前端写入到Fast Pool的3份数据,经过后台优化–增加纠删码码并压缩,真正写入后台的数据量只有0.5。这样操作,整体DWPD以及IOPS要求降低为原来的1/6, 同时避免了增加纠删码导致的时延增加。

注:水平有限,不理解为什么前端写入的数据是3份?知道的朋友请留言指点。

 

未来计划:

  • 为存储引擎定制化FTL
  • QLC在open Channel的部署
  • Open Channel中的计算能力的提高
分类目录 SSD, 技术文章.
扫一扫二维码或者微信搜索公众号ssdfans关注(添加朋友->点最下面的公众号->搜索ssdfans),可以经常看到SSD技术和产业的文章(SSD Fans只推送干货)。
ssdfans微信群介绍
技术讨论群 覆盖2000多位中国和世界华人圈SSD以及存储技术精英
固件、软件、测试群 固件、软件和测试技术讨论
异构计算群 讨论人工智能和GPU、FPGA、CPU异构计算
ASIC-FPGA群 芯片和FPGA硬件技术讨论群
闪存器件群 NAND、3D XPoint等固态存储介质技术讨论
企业级 企业级SSD、企业级存储
销售群 全国SSD供应商都在这里,砍砍价,会比某东便宜20%
工作求职群 存储行业换工作,发招聘,要关注各大公司招聘信息,赶快来
高管群 各大SSD相关存储公司高管和创始人、投资人

想加入这些群,请微信扫描下面二维码,或搜索nanoarchplus,加阿呆为微信好友,介绍你的昵称-单位-职务,注明群名,拉你进群。SSD业界需要什么帮助,也可以找阿呆聊。