NVMe性能挑战暴露了CPU瓶颈

CPU瓶颈

摩尔定律已经放缓，事实证明，每18到24个月晶体管数量翻一番是有极限的。最新的Intel x86处理器有多达48个PCIe通道，支持多达24个NVMe flash ssd。最新的AMD x86插件兼容处理器有多达128个PCIe通道，支持多达32个NVMe flash ssd。

如果需要更多的NVMe闪存SSD，则支持硬件将变得越来越复杂。它通常意味着更多的CPU，无论是内部的还是外部的。存储可以是DAS，也可以跨的NVMe共享。无论哪种方式，都需要更多的CPU、驱动器、驱动器抽屉、交换机、适配器、收发器和电缆。

业界普遍的共识是扩展容量和性能使用NVMe驱动器和的NVMe只需要更多硬件。有一些聪明的系统可以使用多个CPU、大量NVMe驱动器、互连NVMe和占用空间小的高性能存储。Apeiron、E8存储、Pavilion数据系统和Vexata是提供这些服务的供应商之一。

SCM技术只会加剧CPU瓶颈问题，因为它们提高的性能会给CPU带来更大的负载压力。

但问题是。这些系统的边际收益明显递减。硬件的增长速度远远快于性能的提高。无论添加多少cpu或NVMe flash ssd，都会出现这种情况。最终，更多的硬件意味着整体性能的负面回报。

NVMe性能挑战的根本原因不是硬件。它的存储软件不是为CPU效率而设计的。当CPU性能每18到24个月就翻一番时，为什么还要操心效率呢?重复数据删除、压缩、快照、克隆、复制、分级、错误检测和纠正等功能不断被添加到存储软件中。其中许多功能都是CPU密集型的。当存储软件处于消耗CPU资源，它们不能用于高性能驱动器的存储I/O。

应对NVMe性能挑战的解决方案

有些人相信存储类内存(SCM)、内存下一代非易失性存储器，将解决此NVMe性能难题。不会的。SCM技术只会加剧这种情况，因为它们提高的性能会给CPU带来更大的负载压力。

虽然这已经成为扩展存储性能的一个困难问题，但有几种方法可以处理它，包括以下:

• 投入更多的cpu(服务器或存储控制器)并在其上进行互连。这是最常见的方法，但它的成本很高，边际回报递减。
• 在NVMe闪存SSD前面使用动态RAM（DRAM）缓存。DRAM的速度比最快的NVMe闪存SSD快1000倍，延迟更低。但是，它对每台服务器或存储控制器的容量有严重限制，通常为3 TB或更少。DRAM也很昂贵且不稳定，需要电源备份来保护缓存的数据。随着SCM技术开始取代DRAM，DRAM缓存的成本将降低，硬件也将变得不那么复杂。缓存的最大问题是向外扩展。需要缓存一致性来防止应用程序错误，但缓存一致性算法很复杂。复杂性随着服务器节点或存储控制器的数量呈几何级数增加。
• 计算存储从布里伍德，NGD系统，PliopsScaleFlux等。计算存储将一个或多个处理器和RAM放在NVMe闪存驱动器上。这些驱动器可以在更靠近数据的地方运行可执行文件，从而减少数据移动和延迟。它们支持主CPU和闪存驱动器上的CPU之间的协同处理，并消除PCIe通道限制。这些驱动器的成本高于标准驱动器，且大多由初创公司提供，但这种情况将有所改变。
• 使存储软件高效。过去三十年来，存储软件并不需要高效。有大量的服务器和控制器资源可以在不影响读/写性能的情况下处理软件。硬盘驱动器是性能瓶颈。闪存驱动器和现在的NVMe暴露了CPU瓶颈。修复存储软件需要完全重写它以提高效率，使用更少的服务器或存储控制器资源。换句话说，用更少的服务器或控制器硬件资源获得更多的存储功能。斯道龙是第一个采用这种方法的公司。
• 绕过惯性导航与制导目标存储CPU。远程直接驱动器访问(RDDA)技术建立在远程直接内存访问技术之上，可以直接访问NVMe驱动器控制器，而绕过存储服务器的CPU。这种技术需要Mellanox Technologies或Broadcom的特定网卡，但是，它有可能消除性能可伸缩性问题。Excelero是第一个使用它的公司。

这些解决NVMe性能挑战的方法中，有些是经济有效的，有些则不是。其他的则更容易实现。所有的方法都有利弊和风险，没有一种方法是万能的。这是一个很难解决的问题，但它是可以解决的。