蛋蛋读NVMe之六

原创内容,转载请注明:  [http://www.ssdfans.com]  谢谢!

前几天某个晚上,山哥给我发微信说:NVMe Namespace不打算写篇文章吗?

我笑说,没有人关注,懒得写了。

其实这只是一方面,主要的是(jiang)没有(lang)找到话题(cai)写下去(jin)。山哥这么一说,倒是提醒了我,可以写写Namespace,毕竟这个东西我们在SATA上是看不到的。

那么什么是Namespace (以下简称NS,不打算翻译成中文)?

上图中红圈圈起来的是一个NVMe子系统,通常来说就是SSD。一个NVMe SSD主要由SSD Controller,闪存空间和PCIe接口组成。如果把闪存空间划分成若干个独立的逻辑空间,每个空间逻辑块地址(LBA)范围是0到N-1 (N是逻辑空间大小),这样划分出来的每一个逻辑空间我们就叫做NS。对SATA SSD来说,一个闪存空间只对应着一个逻辑空间,与之不同的是,NVMe SSD可以是一个闪存空间对应多个逻辑空间。

每个NS都有一个名称与ID,如同每个人都有名字和身份证号码,ID是独一无二的,系统就是通过 NS的ID来区分不同的NS。

如上图例子,整个闪存空间划分成2个NS,名字分别是NS A和NS B,对应的NS ID分别是1和2。如果NS A大小是M (以逻辑块大小为单位),NS B大小是N,则他们的逻辑地址空间分别是0到M-1和0到N-1。Host读写SSD,都是要在命令中指定读写的是哪个NS中的逻辑块。原因很简单,如果不指定NS,对同一个LBA来说,假设就是LBA 0,SSD根本就不知道去读或者写哪里,因为有两个逻辑空间,每个逻辑空间都有LBA 0。如同我只说德州,如果不告诉你是哪个国家的,你怎知道我说的是美国德州还是山东德州。

一个NVMe命令一共64字节,其中第4到第7个Byte指定了要访问的NS。

对每个NS来说,都有一个4KB大小的数据结构来描述它。

该数据结构描述了该NS的大小,整个空间已经写了多少,每个LBA的大小,以及端到端数据保护相关设置,该NS是否属于某个Controller还是几个Controller可以共享,等等。

NS由Host创建和管理,每个创建好的NS,从Host操作系统角度看来,就是一个独立的磁盘,用户可在每个NS做分区等操作。

上例中,整个闪存空间划分成两个NS,NS A和NS B,操作系统看到两个完全独立的磁盘。我的天呀,太神奇了,我买一个SSD,居然得到两个磁盘,赚大发了。

每个NS是独立的,逻辑块大小可以不同,端到端数据保护配置也可以不同:你可以让一个NS使用保镖,另一个NS不使用保镖,再一个NS半程使用保镖(见《蛋蛋读NVMe之五》)。这样我就在想,是不是可以把我的SSD划分成两个NS: 一个NS使用数据端到端保护,上面存放操作系统、软件和其他重要数据,另外一个NS不使用端到端数据保护,上面只存放小电影之类的数据。

其实,NS更多的是应用在企业级,可以根据客户不同需求创建不同特征的NS,也就是在一个SSD上创建出若干个不同功能特征的磁盘(NS)供不同客户使用。

NS的另外一个重要使用场合是:SR-IOV。

什么是SR-IOV? 英文全称为 Single Root- I/O Virtualization,SR-IOV技术允许在虚拟机之间高效共享PCIe设备,并且它是在硬件中实现的,可以获得能够与本机性能媲美的I/O 性能。单个I/O 资源(单个SSD)可由许多虚拟机共享。共享的设备将提供专用的资源,并且还使用共享的通用资源。这样,每个虚拟机都可访问唯一的资源。

如上图所示,该SSD作为PCIe的一个Endpoint,实现了一个物理功能 (Physical Function ,PF),有4个虚拟功能(Virtual Function,VF)关联该PF。每个VF,都有自己独享的NS,还有公共的NS (NS E)。此功能使得虚拟功能可以共享物理设备,并在没有 CPU 和虚拟机管理程序软件开销的情况下执行 I/O。关于SR-IOV更多知识,请自行百度或者谷歌。这里我们只需知道NVMe中的NS有用武之地就可以。

对一个NVMe子系统来说,除了包含若干个NS,还可以由若干个 SSD Controller。注意,这里不是说一个SSD Controller有多个CPU,而是说一个SSD有几个实现了NVMe功能的Controller。

如上图例子,一个NVMe子系统包含了两个Controller,分别实现不同功能(也可以是相同功能)。整个闪存空间分成3个NS,其中NS A由Controller 0(左边)独享,NS C由Controller 1(右边)独享,而NS B是两者共享。独享的意思是说只有与之关联的Controller才能访问该NS,别的Controller是不能对之访问的,上图中Controller 0是不能对NS C进行读写操作的,同样,Controller 1也不能访问 NS A;共享的意思是说,该NS(这里是NS B)是可以被两个Controller共同 访问的。对共享NS,由于几个Controller都可以对它进行访问,所以要求每个Controller对该NS的访问都是原子操作,从而避免同步问题。

事实上,一个NVMe子系统,除了可以有若干个NS,除了可以有若干个Controller,还可以有若干个PCIe接口。

与前面的架构不一样,上图的架构是每一个Controller有自己的PCIe接口,而不是两者共享一个。Dual Port,哈哈,在SATA SSD上没有见过吧。这两个接口,往上有可能连着同一个主机,也可能连着不同的主机。现在能提供 Dual PCIe Port的SSD 接口只有SFF-8639 (关于这个接口,可参看站内文章《SFF-8639接口来袭》),也叫U.2,它支持标准的NVMe协议和Dual-Port,号称SSD接口明日之星。

下图是两个PCIe接口连着一个主机的情况:

为什么要这么玩?

我认为,一方面,Host访问SSD,可以双管齐下,性能可能更好点。不过对访问NS B来说,同一时刻只能被一个Controller访问,双管齐下又如何。考虑到还可以同时操作NS A 和 NS C,性能或多或少的有所提升。

我觉得,更重要的是,这种双接口冗余设计,可以提升系统可靠性。假设 PCIe A接口出现问题,这个时候Host可以通过 PCIe B无缝衔接,继续对NS B进行访问。当然了,NS A是无法访问了。

如果Host突然死机怎么办?据小道消息,阿法狗输给李世石那盘,就是阿法狗死机了,然后重启再战,结果超时认输。哈哈,开个玩笑。在一些很苛刻的场景下,是不允许Host宕机的。但是,是电脑总有死机的时候,怎么办?最直接有效的办法还是采用冗余容错策略:SSD有两个Controller,有两个PCIe接口,那么我主机也弄个双主机:一个主机挂了,另一个主机接管任务,继续执行,你就慢慢重启吧。

我们来看一个Dual Port的真实产品。

2015年,OCZ发布了业界第一个具有Dual Port的PCIe NVMe的SSD: Z-Drive 6000系列。

 

物理上,这些SSD都有两个PCIe Port,但可以通过不同的固件,实现Single Port 和Dual Port功能。

如果只用一个Port,那么它就是一个4通道的PCIe接口,向上连接一个主机:

如果使能Dual Port,那么可以配置成2个2通道的PCIe接口,即每个Port有两个通道。

具体来看,整个系统就是这个样子:

每个Port可以连接两个独立的Host,Host有两个独立的数据通道(Data Path)对闪存空间进行访问,如果其中一个数据通道发生故障,OCZ的Host热交换(Hot-swap )技术能让另外一个Host无缝低延时的接管任务。有些应用,比如银行金融系统、在线交易处理(OnLine Transaction Processing,OLTP)、在线分析处理(OnLine Analytical Processing,OLAP)、高性能计算(High Performance Computing ,HPC),大数据等,对系统可靠性和实时性要求非常高,这个时候,带有Dual Port的SSD就能派上用场了。

带有Dual Port的这种SSD,主要是面向企业用户,特别是上面提到的那些应用行业。对我们普通用户来说,我感觉使用Dual Port就没有这个必要了。

多NS,多Controller,多PCIe接口,给NVMe SSD开发者,以及存储架构师很大的发挥空间。给不同的NS配置不同的数据保护机制,或者虚拟化,或者使用冗余容错提高系统可靠性,抑或别的设计,NVMe提供了这些基础设施,怎么玩就看你的想象力了。

文章最后,我要特别感谢南山:首先,南山建议我写个NS相关的话题,才有了此文的开始;其次,本文定稿前,南山帮把关,提出了很多建议,和提供相关资料。如果没有南山的支持,本文就可能只是泛泛而谈,大家就看不到这么精彩的文章了

分类目录 SSD, 技术文章.
扫一扫二维码或者微信搜索公众号ssdfans关注(添加朋友->点最下面的公众号->搜索ssdfans),可以经常看到SSD技术和产业的文章(SSD Fans只推送干货)。
ssdfans微信群介绍
技术讨论群 覆盖2000多位中国和世界华人圈SSD以及存储技术精英
固件、软件、测试群 固件、软件和测试技术讨论
异构计算群 讨论人工智能和GPU、FPGA、CPU异构计算
ASIC-FPGA群 芯片和FPGA硬件技术讨论群
闪存器件群 NAND、3D XPoint等固态存储介质技术讨论
企业级 企业级SSD、企业级存储
销售群 全国SSD供应商都在这里,砍砍价,会比某东便宜20%
工作求职群 存储行业换工作,发招聘,要关注各大公司招聘信息,赶快来
高管群 各大SSD相关存储公司高管和创始人、投资人

想加入这些群,请微信扫描下面二维码,或搜索nanoarchplus,加阿呆为微信好友,介绍你的昵称-单位-职务,注明群名,拉你进群。SSD业界需要什么帮助,也可以找阿呆聊。