peshkova——Fotolia
在2021年追踪这4种新兴存储技术
为了在2021年提高数据存储系统的效率和性能,管理员们应该牢记这四种新兴技术。
在整个2020年期间,数据存储生态系统发生了重大变化。2021年,这一趋势将继续下去。
2020年,存储管理员看到了存储类内存(SCM)、3D四层单元(QLC)驱动器、云存储、Kubernetes持久存储和机器学习。
今年,有好几家新兴存储技术它们将会成熟,并进入企业:
- PCIe第4代和第5代
- Compute Express Link (CXL) 2.0
- Switchless互连
- 数据处理单元(DPUs)
虽然其中一些技术可能看起来并不尖端,但它们将在2021年对存储性能产生深远的影响。在存储系统中出现之前,大多数可能会出现在Dell Technologies、HPE、Cisco和Supermicro等供应商的服务器上。软件定义存储(SDS)可能是第一个利用它们的存储类型。
PCIe第4代和第5代
作为PCIe第4代提供的带宽是第3代的两倍,第5代提供的带宽是第4代的两倍。这对于消除主要的外部和内部互连带宽问题至关重要。第3代PCIe插槽提供大约32 GBps的总吞吐量,或接近256 GBps(见下图)。对于多个200gbps网络接口卡(nic)或适配器来说,这还不够,更不用说400gbps的互连了;这将成为性能瓶颈。
好消息是第4代提供了大约64 GBps的总吞吐量,或大约512 GBps,这对于多个200gbps端口来说绰绰有余。第5代将这一数字翻倍,达到近128 GBps,或约1024 GBps,解决了多个400 GBps互连的问题。
英特尔表示,其处理器将在2021年同时支持第4代和第5代。AMD支持第4代,但对第5代只字未提。由于大多数存储控制器是基于英特尔和AMD的,预计存储系统将在2021年开始包括PCIe Gen 4和Gen 5。到2022年,第5代支持将成为标准。
CXL 2.0
PCIe Gen 5支持是很重要的,因为最新版本的CXL 2.0开放标准接口.CXL是PCIe上的一种cpu到设备的互连协议,以高性能的工作负载为目标。它特别利用了PCIe Gen 5规范,并支持使用PCIe物理层的替代协议。
一旦基于cxl的加速器插入PCIe x16 (16 lane)插槽,它与主机处理器端口协商的PCIe 5.0传输速率为32g /s (GT/s)。当双方都支持CXL 2.0时,他们将使用CXL事务协议,这更有效,延迟更低。如果其中一个或两个不支持CXL 2.0,它们将作为标准PCIe设备运行。传输速度高达64 GBps双向16车道链路。
这些细节对存储系统和SDS的性能有着巨大的潜在影响。CXL通过CXL的三个事务协议显著地和实质性地提高了PCIe性能。io, CXL。缓存,CXL.memory。CXL。io与PCI Express 5.0几乎没有区别。CXL。io用于设备发现、配置、注册访问、中断、虚拟化和批量直接内存访问(DMA)。这是主协议。CXL。缓存和CXL。memory are optional. CXL.cache empowers accelerators to cache system memory to enableCXL一致性.CXL。内存为主机处理器提供直接访问附加加速器的内存。CPU、GPU或TPU可以将加速器附加的内存视为一个额外的地址空间。这消除了许多低效和延迟。
虽然主要针对异构计算,但NVMe ssd、NVMe SCM、扩展存储系统和SDS也有一些有趣的存储应用。CPU内存空间和附加设备中的内存之间的一致性通过直接读写其他设备的内存系统消除了来回的DMA操作。
包括英特尔、AMD和英伟达在内的主要厂商都支持CXL 2.0,这表明市场对这一新兴存储技术的接受程度。预计第一个CXL 2.0系统和驱动器将在2021年下半年出现。
Switchless互连
无开关互连解决了一个主要的存储问题。随着扩展需求的升级,交换机的效率会降低,延迟会增加,成本也会增加。
无开关互连做自己的路由。它限制了跳数和延迟,降低了对电源、冷却、机架空间、电缆和收发器的要求。它可以使用蜻蜓配置而不是胖树.这简化了高性能计算环境所需的大型配置。提供无开关互连的供应商已经花了数年的时间来开发它。虽然该厂商仍处于隐形状态,但预计到2021年下半年,该技术将用于存储系统和SDS。
DPUs
dpu是另一种新兴的存储技术2021年追踪。目前市场上有两家公司:一家来自英伟达/Mellanox,另一家来自Fungible。
的英伟达/ Mellanox DPU专注于网络卸载。它卸载了大多数最常见的高性能网络协议,如RDMA, NVMe/JBOF,存储空间直接(S2D with RDMA), Lustre RDMA, NFS RDMA, NVMe- of (RDMA over Converged Ethernet, InfiniBand, TCP/IP), Open vSwitch Kernel Datapath卸载,网络包整形,Nvidia GPUDirect和用户数据报协议卸载。
英伟达/Mellanox的DPU旨在加速发起者和目标之间的通信。英伟达/Mellanox Connect-X网卡/适配器因其高性能而在市场上脱颖而出,特别是在存储方面。2021年,这种情况很可能会持续下去。不过,可替代是一个强劲的竞争对手。
有两种不同的可替代DPU. 一个是在服务器中运行的启动器。另一个是一个存储目标,其带宽高达800 Gbps带宽的四倍。可替换的DPU设计用于从x86处理器卸载所有基础设施服务。它可在PCIe Gen 3和Gen 4上工作。它内置了加密/解密、压缩/解压缩和可编程性。它支持NVMe oF、TCP上的NVMe以及唯一可替代的TrueFabric。TrueFabric进一步减少了延迟,并保证无论启动器、交换机和目标的数量有多大,跳数都不会超过三跳。TrueFabric需要可替换的引发剂和可替换的存储目标;尽管后者与Nvidia/Mellanox启动器兼容。
预计2021年下半年,市场上将出现基于可替代DPU的其他存储系统。