阿格桑德鲁-托利亚

计算存储设备可以解决的三个关键问题

这项新兴技术使存储数据更接近计算进程,解决了延迟和性能问题。发现计算存储的三个潜在优势。

计算存储是一种简单且潜在的深层次存储发展。计算存储设备背后的基本概念是,它们使数据处理更接近于存储的数据,并在此过程中解决了三个关键问题。

这种新兴技术的一个优点是它能够减少几种存储场景中的延迟。该技术还可以帮助解决cpu密集型进程带来的性能问题,并提高应用程序的性能。

计算存储的工作原理

在许多情况下,计算存储设备看起来就像其他SSD。但是,它们可能比常规SSD具有更多的NAND闪存来存储数据。使用多核处理器也是这些设备所独有的。这些处理器用于在数据进入存储设备时对其进行索引,搜索特定条目的内容,以及提供对复杂AI程序的支持等功能。

用一个计算存储体系结构,数据在存储设备级别进行处理,减少了必须在存储和计算平面之间移动的数据量。最小化数据移动使实时数据分析更加高效,减少I/O瓶颈,提高性能。

计算存储的拯救

计算存储设备可以解决的三个关键问题如下:

  1. 光速延迟。光速不仅仅是一个极限;这是法律。延迟的增加与距离直接相关,与带宽无关,是累积的,对响应时间有过大的影响。在我们在遥远的将来开发虫洞子空间技术之前,降低光速延迟的唯一方法是缩短计算机和正在处理的数据之间的物理距离。在当今以云为中心的计算中,当数据和该数据的应用程序处理相隔相当长的距离时,这已成为一个主要问题。

    物联网应用计算机和数据之间的距离是一个问题,因为设备通常非常分散。其他示例包括医疗远程监控和管理设备;配备交通摄像头、摄影雷达摄像头和道路传感器的智能城市;以及电视和电影行业,在这些行业中,PB级的数据在现场捕获,然后运离现场进行处理。

    距离问题是一个计算存储可能解决的问题。它能使计算、内存和数据密集型处理更接近存储的数据。在某些情况下,它们会转移到连接到异地NVMe SSD驱动器的x86或ARM处理器上。在其他情况下,它们直接移动到NVMe SSD控制器上的嵌入式ARM处理器。然后,应用程序或应用程序子集可以直接处理或部分处理存储中的数据。结果被传输到中心云或核心进行进一步处理。与原始数据集相比,发送的处理数据量是名义上的。

  2. CPU性能瓶颈。计算存储可能解决的第二个问题是存储系统难题。闪存、NVMe和存储级内存SSD已变得越来越普遍。它们的IOPS、吞吐量和容量,加上价格的快速下降,确实是令人瞩目的。但是,总体存储系统性能的增长速度比驱动器总数的增长速度慢几个数量级。这是因为CPU性能瓶颈这可以归因于摩尔定律在cpu上的减速越来越快,以及cpu密集型存储进程(如擦除编码、重复数据删除、压缩、快照和加密/解密)的迅速扩散。这些进程消耗了大量的CPU和内存资源。

    计算存储也有可能解决这个问题。通过将这些CPU密集型进程从主存储服务器或控制器卸载到计算存储,可以释放主CPU以获得更多的I/O和吞吐量性能。

  3. 应用程序性能问题。正如存储进程会占用CPU资源一样,某些应用程序进程也会占用CPU资源。对于许多类型的数据库进程、人工智能、机器学习和深度机器学习来说尤其如此。将这些过程中的一些转移或卸载到计算存储中可以对应用程序性能
计算存储解决问题的潜力已经引起了大型供应商、小型初创企业和标准组织的注意。

对于数据库,它释放了数据库服务器CPU和内存,以在更短的时间内提供更多的事务、分析和吞吐量。对于人工智能而言,它减少了需要分析的大量数据。在这两种情况下,它都加快了获取有用的可操作信息的时间。

谁支持计算存储

计算存储解决问题的潜力引起了大型供应商、小型初创公司和标准机构的注意。有些是开发计算存储设备或系统。还有一些公司正在与开发人员合作,或者渴望将这些设备和系统集成到自己的产品中。考虑使用或开发计算存储的供应商包括阿里巴巴、美国电话电报公司、ARM、AWS、Azure、戴尔、Facebook、谷歌、惠普企业、英特尔、联想、美光科技、微软、NetApp、甲骨文、广达、三星、SK海力士、超微、西部数据和Xilinx。他们中的许多人都将计算存储视为雾计算、核心计算或云计算的前沿。

计算存储也是几家初创公司的动力,如Burlywood、Eidicom、NGD Systems、Nyriad、ScaleFlux和其他仍处于隐形模式的公司。标准机构存储网络行业协会已成立工作组建立计算存储设备之间的互操作标准。OpenFog联盟也在研究计算存储标准。

NGD系统新港U.2 SSD
NGD系统的计算存储SSD

但是证据在哪里呢?有几个。NGD声称,他们正在与两家未透露姓名的知名服务器供应商、三家白盒供应商和各种hyperscaler合作。ScaleFlux已经证明了一些数据库的显著性能改进,包括Aerospike、Apache HBase、Hadoop和MySQL。它还演示了使用OpenZFS Gzip降低CPU利用率和提高压缩性能。Eideticom已经演示了IBM和Rackspace提供的高性能计算存储ssd。和Pliops已经显示出更好的性能适用于MySQL、Percona、MariaDB、RocksDB、InnoDB等。

在大型产品和云服务供应商类别中,Oracle多年来一直在为其数据库系统Oracle使用计算存储Exadata数据库的机器。Oracle自动将SQL、JSON、XML、加密/解密、恢复管理器备份过滤和快速数据文件创建从数据库服务器卸载到存储服务器。这使得Exadata能够提供一流的数据库事务IOPS和分析吞吐量性能。Oracle的云数据库服务也有同样的性能。

成本因素

像大多数有希望的技术一样,也有缺点。在这种情况下,这是成本。根据CPU、动态RAM和NAND的不同,将增加多少计算存储,但会更多。然而,这一成本可能会被性能提高和前面讨论的其他成本所抵消计算存储的优势

最后一点注意:计算存储设备并不是本文中提到的问题的唯一解决方案。例如,一些供应商,如StorOne,已经书面存储软件提高几个数量级的效率,从而使用更少的CPU和内存资源。Excelero等其他公司则创造了巧妙的扩展技术,提供了与计算存储相同的优势。但那是另一个故事了。

下一个步骤

存储处理器加速数据库操作

在主端存储设备上深入挖掘

搜索灾难恢复
搜索数据备份
搜索汇聚基础设施
Baidu