电子帐册:

高性能数据存储从NVMe转向SCM

kentoh——Fotolia

NVMe和SCM:对未来存储的影响

探索NVMe技术供应商为组织在其计算环境中过渡到存储类内存准备的各种方法。

在人工智能、机器学习和分析等高性能应用以及对存储介质的高速、低延迟访问需求的推动下,NVMe已经在企业占据了一席之地。现在,存储类内存正在进入市场,提供低延迟存储介质。

本文将介绍NVMe是如何为企业做好准备的转换到存储类内存(SCM)。随着NVMe和SCM驱动成为主流,焦点将从瓶颈存储媒体转移到CPU、互连、存储软件堆栈、驱动程序和协议等领域。让我们来探索NVMe和SCM是如何激发以更低成本创建更快存储的新方法的。

快速回顾一下

存储一直是关于性能、容量和成本之间的权衡。最高的性能,如动态RAM (DRAM)提供的,具有相对较低的容量和非常高的每tb的成本。

另一个极端是磁带。磁带提供非常低的随机性能,良好的顺序性能和高容量,以非常低的成本。介于这些性能、容量和成本之间的是闪存ssd和hdd。

ssd具有良好的读写性能这大大低于DRAM,而且在高容量方面表现良好——3.5英寸驱动器的容量可达100 TB,但与hdd或磁带相比价格相对较高。闪存的价格、性能、容量和耐用性取决于每个单元的NAND闪存位元。

与DRAM或ssd相比,hdd的随机读写能力相对较差,容量大,顺序性能好,持久性能一般,每tb成本较低。

存储媒体相比

但是,如果普通闪存ssd需要比通常更高的性能,而且成本比DRAM低,那该怎么办呢?电子商务、在线交易处理、数据仓库、人工智能分析、机器学习和深度机器学习等工作负载总是需要更高的性能、更低的延迟和更多的IOPS或吞吐量。然而,很难证明DRAM的成本和有限的容量是合理的。为了填补这一产品缺口,厂商创造了NVMe闪存ssd和NVMe SCM,并以Optane ssd由英特尔

NVMe flash ssd

NVMe flash SSD是为降低flash SSD延迟而设计的。延迟是事务和消息传递中最重要的因素,因为它是访问或写入第一个字节所花费的时间。它还包括访问最后一个字节或对尾延迟进行同步所花费的时间。尾延迟对于应用程序来说是非常重要的使用高性能计算中流行的消息传递接口协议。

NVMe是一种开源标准规范,用于解决非易失性介质,如NAND flash和3D XPoint (Optane背后的技术),通过PCIe总线。NVMe消除了SAS或SATA控制器中的重大延迟瓶颈。所有控制器都增加了延迟,因为它们位于PCIe控制器和驱动器之间。消除该控制器可以显著降低端到端延迟。NVMe闪存驱动器通常将SSD延迟减少三分之二或更多,约为30微秒或0.03毫秒。这是一个重要的减少延迟

NVMe还可以提高吞吐量和IOPS。作为PCIe创4——它的带宽是PCIe Gen 3的两倍——需要获得全面的性能优势。目前大多数存储系统都是PCIe Gen 3。

NVMe驱动直接运行在PCIe总线上。但是每个插槽可用的PCIe插槽数量有限,这取决于CPU。这就导致了每个存储控制器的NVMe驱动器.这就是为什么很多NVMe闪存系统只有24个或更少的NVMe驱动器的主要原因。

初创企业供应商Pavilion Data Systems通过实现更多控制器的架构绕过了这一限制——4RU中多达20个控制器和72个NVMe闪存驱动器。可替代的另一家初创公司,通过其数据处理单元特定应用集成电路,克服了PCIe插槽限制的内部基础设施交换机。大多数主流存储厂商,如Dell EMC、Hewlett Packard Enterprise、Hitachi Vantara和NetApp,都使用扩展集群技术在存储系统中获得更多的控制器和驱动器。这种方法还会消耗更多的机架空间。

只要控制器和机架空间之间的权衡是可接受的存储控制节点之间的互连不会增加太多的延迟,NVMe显著降低了延迟并提高了性能。SCM更进一步。

内存存储类

英特尔的Optane SCM是基于3D XPoint的。它比flash更快,延迟更低,吞吐量更高,IOPS更高,耐久性更强。SCM驱动器是基于nvme的。然而,不应该将SCM与英特尔的Optane Persistent Memory (PMEM) dimm相混淆,该内存插槽位于服务器或控制器的DDR4 (Double Data Rate 4)内存插槽中。

英特尔Optane模式
英特尔Optane模块可以在内存模式或应用程序直接模式下运行,这在性能和特性上牺牲了应用程序的兼容性。

PMEM可以通过两种方式访问.第一种是使用非持久内存模式,这使得PMEM看起来更慢、更便宜。第二种方法是使用持久内存App Direct Mode,这需要修改应用程序和文件系统,使PMEM看起来像存储。这不是大多数It组织可以利用的东西,但也有例外。像Formulus Black和MemVerge这样的供应商可以屏蔽应用程序和文件系统的需求。Oracle在Exadata系统中对Oracle数据库使用了App Direct模式。SAP S/4HANA数据库也采用了App Direct Mode。App Direct Mode有四种变体:原始设备访问、内存访问、文件系统和支持nvm的文件系统。

对于大多数存储实现和存储系统,SCM是首选的Optane实现。它很简单,不需要修改存储堆栈。它只是一个更快、更低延迟的驱动器。SCM通常比NVMe flash ssd快三到五倍;然而,它也要贵三到五倍。PMEM内存更快,每tb的成本更高。

对NVMe和SCM存储的影响

存储供应商已经开始适应NVMe和SCM。目前,很少有主要存储系统供应商不提供NVMe闪存SSD存储选项。

什么发生的是返回分层或缓存存储.现在的存储系统已经不是几年前的闪存ssd和hdd了。这些系统使用flash ssd作为主读写层或读写缓存,然后随着时间的推移将数据转移到成本更低、性能更低的hdd上。

Vast Data和StorONE开创了混合固态系统的新变种。它们使用NVMe flash ssd或最近的SCM作为主要的读写层,使用成本更低、容量更大的SAS/SATA四层单元(QLC)或每个单元4位的flash ssd作为二级层,用于处理冷数据和冷数据。与其他闪存驱动器相比,QLC闪存驱动器以更低的成本提供了更大的容量。该技术利用了较低的性能和耐久性,以较低的成本获得了更多的容量。Nimbus Data发布了一款3.5英寸64 TB QLC闪存驱动器,非常适合这些混合系统。

而SCM比flash ssd具有更快的性能和更高的续航时间,而QLC的性能和续航时间都低于单级、多级和三级单元的flash ssd。使用NVMe闪存或SCM驱动器作为主写层或缓存可以实现更好的系统性能,同时增加成本低得多的QLC闪存ssd的持久性。

这些NVMe或SCM和QLC混合系统的组合是100%固态的,与以前的混合系统甚至现在的全闪存系统相比,性能更好。更重要的是,它们的成本低于目前的全闪存系统。作为下一个主流通用系统,经济和成本/性能指标是有意义的。

但那些专注于极限性能的全nvme闪存或SCM系统也在市场上占有一席之地。它们不仅使用NVMe闪存和SCM驱动器,还利用了NVMe- of互连协议,最大限度地减少了与存储系统之间的延迟。

下一个步骤

监视NVMe ssd的运行状况

深入挖掘固态存储

搜索灾难复苏
搜索数据备份
搜索聚合基础设施
关闭
Baidu