在这个信息化时代，企业中每天都会产生大量的数据，这些数据不仅面临着存储问题，还有数据处理的问题。存储体系结构在很大程度上解决了容量问题，而闪存的引入也在过去十年中给存储带来了速度的提升，显著提高了事务性工作负载(如数据库、文件、块和对象存储)的性能。
然而，随着数据的不断增长，而且工作负载开始和先进的分析和人工智能等技术相结合，存储面临着新的压力。将数据从存储空间转移到处理空间面临着极大的时间和空间成本，同时，许多类型的计算受到I / O问题的限制,因此在尽可能接近数据存储的地方进行数据处理具有极大的意义。
这种技术被称为“原位处理”或“计算存储”，是一个新兴领域，主要由少数初创公司开创。它们已经采用了几种不同的方法来进行计算存储，从将处理能力集成到单个驱动器到位于存储总线上但本身不包含任何存储的加速器。大多数围绕NVM-Express SSD进行。
虽然这仍是一个技术发展领域，但存储网络行业协会(SNIA)在2018年介入并成立了计算存储技术工作组(TWG)，以定义接口标准并促进不同供应商之间的计算存储互操作性。
正如SNIA所说，如果没有一个更大的市场，那些进行一次性概念验证部署的初创公司都不太可能获得投资者的关注。
后来，SNIA TWG提出了一组定义，涵盖了所有计算存储架构的组成部分以及它们之间的关系，以及架构模型的规范草案以及这些架构和服务的编程模型。
SNIA的定义包括计算存储处理器(CSP)、计算存储服务(CSS)、计算存储驱动器(CSD)和计算存储阵列(CSA)，计算存储阵列被定义为计算存储设备的集合，以及控制软件和可选存储设备。
SNIA还对固定计算存储服务（FCSS）进行了区分，后者旨在实现定义明确的功能或相关功能集，例如压缩，擦除编码或加密。以及可编程计算存储服务（PCSS），可由最终用户动态重新编程。
TWG的目标是修改体系结构规范，直到对其进行完善以使其成为1.0版本（当前版本为0.3）为止，此时该小组旨在将其传递给将对其进行管理的现有标准机构。当前的期望是它将成为NVM-Express主体或PCI-SIG，因为PCI-Express和NVM-Express现在具有作为存储接口的中心作用。
“我们知道，在如何发现、如何管理和如何配置等问题上，我们必须关注NVM-Express或PCI-SIG等。告诉人们如何去做才是正确的,但我们需要一个协议,而不是一切重新开始。” SNIA计算存储TWG联合主席及NGD Systems市场营销副总裁Scott Shadley说。
Shadley期望对计算存储设备的支持将成为NVM-Express规范的核心部分，因此它们可以公开给主机系统，从而使计算存储服务驱动程序能够配置所发现的计算存储服务，并为应用程序使用它做好准备。他说:“所以你只要插上电源，它就能工作了。”
将内核嵌入SSD
NGD的技术是介绍计算存储的一个很好的起点。它是该领域中开发将处理能力集成到SSD存储设备中的几个CSD供应商之一。随着其平台的第三次迭代，该公司已经开发了一个定制的ASIC，结合了SSD控制器功能和四核ARM Cortex-A53 CPU块，使其成为一个可编程计算存储服务(PCSS)产品。SNIA图中右侧的方框图描述了这种体系结构。
NGD的设计之美在于，其产品既可以用作计算设备，也可以直接当做SSD。实际上，Shadley声称，某些NGD客户之所以能取得成功，首先是基于存储容量（它提供高达32 TB的SSD），其次才是计算存储能力。
将计算嵌入到SSD控制器中意味着它可以直接访问驱动器内部的NAND闪存芯片。将SSD控制器连接到NAND闪存的通用闪存接口（CFI）通道每个具有1.6 GB /秒的带宽（对于16位通道），并且典型的SSD控制器具有八个通道，总带宽为12.8 GB /秒。相比之下，具有U.2主机连接器的企业级SSD具有4条PCI-Express 3.0通道，从而增加了高达3.94 GB /秒的带宽。
与此同时，SSD控制器还配有足够的DRAM(如果需要，最多可以安装16gb)，以便ARM核心运行Ubuntu Linux版本，这大大简化了应用程序的开发和部署。还支持Microsoft的Azure IoT Edge服务，NGD也一直在与VMware讨论在ARM内核上运行ESXi虚拟机管理程序，从而使虚拟机完全独立于主机处理器运行在其SSD中。
Shadley说，在边缘场景市场，NGD已经发现了一个机会，并正在进行概念试验验证。他举了一个便利店连锁店的例子，该连锁店希望在商店中部署一个目标检测和面部识别平台，以帮助打击犯罪。
“他们把所有东西都放在实验室里进行测试，然后去了一家商店，发现便利店并没有足够的电源功率和空间。他们没有可以放置一半的计算机和存储设备的空间；但他们为边缘服务器或网关类型的平台留出了空间。” Shadley解释说。
NGD Systems在1月份宣布已获得C轮2000万美元的投资，资金主要来自MIG Capital和Western Digital Capital等。 Shadley认为，这项投资表明NGD“已经达到了我们产品的生产解决方案的水平”，使其技术成为该市场中最成熟的技术之一。
其他供应商的CSD很大程度上基于FPGA，而不是集成CPU内核，因此，灵活性可能不如运行应用程序，通常通过对FPGA进行编程和重新编程来配置它们，以加速特定功能。在使用FPGA的地方，大多会选择Xilinx的FPGA。
ScaleFlux就是一个例子，该公司以PCI-Express附加卡和U.2规格提供高达8 TB容量的CSD 2000系列SSD硬件。Xilinx FPGA通常用于加速功能，例如在线数据压缩和解压缩，擦除编码和数据库分析功能。ScaleFlux声称，它尽可能使用现有的API，从而保证计算存储功能对于正在加速的主机系统上的应用程序是透明的。它可以加速的应用程序包括Aerospike，MySQL和PostGreSQL。
ScaleFlux硬件实际上是一个开放通道的SSD。 FPGA没有实现标准驱动器中SSD控制器中的闪存转换层（FTL）。相反，FTL功能是在主机系统上运行的软件中实现的。
Scaleflux声称，其硬件通过动态压缩数据并将节省的空间留给文件系统，从而将每GB可用闪存的成本降低了一半。
该公司早在2018年就获得了2500万美元的B轮融资，由顺威资本（Shunwei Capital）和几家一级战略企业投资者领投。
Netint是另一家拥有ASIC的公司，该ASIC将SSD控制器与计算能力结合在一起。在这种情况下，该公司主要专注于多媒体生产，其Codensity G4 SSD控制器SoC使用H.265编码/解码引擎提供视频压缩。该SoC用于Codensity D400系列固态硬盘，容量高达16 TB，并支持附加卡或U.2格式的NVM-Express over PCI-Express 4.0。Netint由几位存储SoC资深人士创建，并获得了风险投资，但是尚无法获得所涉及投资的确切数字。
三星在其CSD中使用了Xilinx FPGA，即SmartSSD。该设计是一个PCI-Express附加卡，容量高达8TB，由三星自己的V-NAND闪存组成。在这里，闪存通常由Xilinx FPGA前端的Samsung SSD控制器管理。
与ScaleFlux一样，三星将加速存储功能（例如压缩，解压缩，擦除编码）视为机遇，并为应用程序框架提供特定功能，例如视频编码，数据库加速，搜索和机器学习。使用SmartSSDs一个合作伙伴是Nimbix，这使得他们可以作为其Nimbix云的一部分。在这里，它用于加速Apache Spark，使用Bigstream的软件时，运行查询的速度最高可提高六倍。
通过NVM-EXPRESS进行点对点通信
其他计算存储产品被归类为计算存储处理器(CSP)，而不是CSD。典型的例子是来自Eideticom和Pliops等供应商的产品，它们提供了从主机处理器卸载的计算能力，但不像CSD那样包含永久性的数据存储。
Eideticom的 NoLoad CSP设备采用U.2尺寸，看起来像驱动器机箱，PCI-Express附加卡或源自Intel Ruler格式的更新的Enterprise and Datacenter SSD尺寸（EDSFF）。它们包含基于FPGA的处理器和DRAM，但是它们使用NVM-Express或NVM-Express-oF网络连接来获取和处理存储在SSD上其他位置的数据。上面的SNIA图的右上第二个图描述了该体系结构。
这种安排意味着NoLoad设备受到PCI-Express Gen4接口带宽的限制，无法从存储中访问数据，但Eideticom声称，通过添加额外的NoLoad设备或ssd，它允许处理和存储彼此独立地伸缩。数据传输是点对点的，因此主机处理器上的负载很少或没有负载。对NVM-Express-oF的支持也意味着NoLoad设备可以安装在外部机箱中，比如一个存储机柜(Eideticom已经使用Broadcom、Mellanox和Q-Logic RDMA NICs验证了NoLoad)。
Eideticom的NoLoad设备的应用程序再次涵盖了存储和计算应用程序，该公司表示，它支持用于压缩、加密、擦除编码、重复数据删除、数据分析、人工智能和ML工作负载的计算加速器。
Eideticom去年宣布，它已经与洛斯阿拉莫斯国家实验室合作开发了一个存储系统，该系统使用基于Lustre/ zfs的并行文件系统，NoLoad支持压缩、删除、校验和和删除等功能。
Eideticom在2019年从Inovia Capital和Molex Ventures获得种子和战略融资，但具体数字尚未披露。
来自Pliops的另一个解决方案听起来很相似。Pliops存储处理器（PSP）是一种软件加速器，它使用安装在PCI-Express附加卡上的Xilinx FPGA来加速存储功能。但是，Pliops专注于存储密集型应用程序（例如数据库），并且正在开发PSP实例，以其自己的存储引擎（使用FPGA实现）来替代支持特定数据库系统（例如MySQL的InnoDB）的存储引擎。
在使用dbbench基准测试中，Pliops声称已经证明了与RocksDB存储引擎相比性能都提高了13倍，两者均使用单个1TB NVM-Express SSD。迄今为止，Pliops已获得4000万美元的融资，其中包括由软银亚洲投资公司牵头的3000万美元B轮融资，以及上一轮融资的投资者，如英特尔投资，西部数据资本和赛灵思。
不过，有一家公司的做法略有不同，那就是Nyriad。这家新西兰公司是Square Kilometer Array射电天文台的商业衍生产品，用于开发用于存储和处理其产生的数据的技术。它包括超过160 TB /秒的实时天文数据，每天有超过50 PB的数据存储在其位于澳大利亚珀斯的区域超级计算中心。
该平台名为Nsulate，使用GPU处理擦除编码方案所需的存储处理，为超大规模、大数据和高性能计算安装提供快速可靠的存储。据称，即使存储组件的性能大大下降，它也能提供高性能，并能与数百个设备实现高度并行的阵列。Nsulate作为Linux块设备公开给应用程序层，使其与Linux文件系统和应用程序兼容。该公司表示，GPU可同时用于其他工作负载，例如机器学习。该平台目前由Boston Limited和EchoStreams等合作伙伴提供，作为预建系统的一部分，后者作为1U服务器的一部分提供，该服务器可容纳多达0.5PB的存储，能够进行高达5,000兆字节的数据加密/解密速度。
Nyriad已经从IDATEN Ventures等投资者那里获得了超过3000万美元的资金，目前其网站上称，该公司正准备在2020年初投入市场。
计算存储仍然是一个发展中的领域，它只是众多旨在提高关键领域性能的新兴技术之一。因此，计算存储并不是所有应用程序的万能药，也不太可能取代PCI-Express总线上的GPU和FPGA加速器。
然而，如果它能在特定的场景中被证明是有用的，那么它很可能受到关注。这包括人工智能和分布式机器学习培训等工作负载，使用Hadoop处理数据或施加功率和空间限制的边缘部署等工作负载。
我们已经看到的是，解决方案正在作为统一技术融合在NVM-Express协议上，鉴于过去几年在高性能存储中的优势，这不足为奇。如果SNIA TWG采取了这种方式，这将为主机系统提供发现和配置其拥有的任何计算存储资源的标准方法。
目前，该领域的大多数供应商都专注于提供特定功能，通常会加速诸如压缩或擦除编码之类的存储层功能，使它们更多地成为固定计算存储服务（FCSS），如果客户需要，可能还可以添加额外的功能。
NGD Systems似乎是个例外，该公司已将通用计算功能嵌入到其每个SSD中，当与合适的软件结合使用时，可以有效地将每个驱动器有效地转变为四核服务器。这意味着一个主机服务器甚至一个外部NVM-Express存储阵列都可以成为用于分布式处理的计算集群。
NGD的Shadley是这样解释的:“如果你需要处理大量的存储数据，我们的口号是——我们存储了大量的数据，然后将这些数据的价值返回给你。”
原文链接：https://www.nextplatform.com/2020/02/25/computational-storage-winds-its-way-towards-the-mainstream/
