庞大的数据存储软件包Nvidia GPU的人工智能处理

庞大的数据存储参考架构结合了供应商的通用存储全闪存系统和Nvidia DGX超级计算机。通过RDMA的NFS多路径增强了AI数据训练。

通过

发表:2021年1月25日

巨量数据的宇宙增加了一些引力，以帮助存储处理为人工智能处理。

这家初创公司与英伟达为其全闪存通用存储平台推出人工智能参考架构。这一改进旨在帮助开发团队提高人工智能推理能力。

尽管标榜为参考架构，但巨量数据存储系统是作为一个独立产品销售的。不过，新包装确实给了巨量数据访问英伟达经销商和英伟达的GPU DirectStorage的先行者地位，该GPU DirectStorage还在测试阶段。

海量数据存储是多拍字节的存储，适合随机存取。通用存储的目标是运行私有扩展云的超大规模企业和大型企业。基于容器的系统将巨量数据的文件服务器与它的光速支持nvme的商品flash节点。网络拓扑在聚合以太网上的RDMA上运行NFS存储协议，以并行化所有网卡。

海量数据服务所有数据从闪存。低成本的QLC固态硬盘提供大容量存储。英特尔Optane存储类存储卡加速数据存取。每个巨量数据服务器都可以访问闪存池中的数据。

海量数据存储控制器是一个Docker容器。文件和对象协议被访问为microservices．供应商声称其架构确保了快速存储的高可用性。

在性能方面，Vast Data的系统能够满足高达140 Gb/s和超过150万IOPS的人工智能工作负载。巨量数据负责产品的副总裁杰夫·登沃斯(Jeff Denworth)说，包括英伟达基于dgx的计算在内，将推高这些性能数据。

IT研究公司IDC估计，非结构化数据将刺激对人工智能存储技术的需求。IDC表示，到2024年，文件和物体将产生最多的新数据。

IDC负责存储研究的副总裁埃里克·伯格纳(Eric Burgener)在上周举行的“巨量数据-英伟达”(Vast data - nvidia)网络研讨会上表示:“必须实时处理数据的事实，正在推动底层存储基础设施需求发生重大变化。”

Burgener表示，约70%的组织计划在未来两年内升级服务器、存储或数据保护基础设施数字转换的努力。

几年前，与使用硬盘驱动器相比，围绕批量层设计的产品会被认为过于昂贵。然而，改进的持久性和较低的NAND价格给了Vast Data和其他供应商一个创新存储和网络拓扑的机会。自2016年以来，投资者已经向巨量数据投资了1.8亿美元，其中包括去年夏天的一轮1亿美元融资。

大多数主要存储厂商都提供包含Nvidia gpu的阵列版本。戴尔EMC在其Isilon扩展NAS阵容中增加了一款全闪存机型，而闪存专家Pure Storage早些时候与英伟达展开了合作纯AIRI，在Pure的基于nvme的FlashBlade NAS中注入DGX计算。

Nvidia DGX是NetApp和联想共同开发的参考架构的一部分。该产品集成了NetApp的OnTap存储操作系统和联想的ThinkSystem服务器。

巨量数据表示，它的光速外壳将支持英伟达GDS．英伟达还没有指定全面可用的日期。五家相互经销商将为巨量数据-英伟达的参考设计定价:剑桥计算机，Mark III系统，Trace3, Uclick和Xenon。

除了与存储领域的合作，英伟达去年还采取了其他与存储相关的行动，收购了对象存储初创公司SwiftStack以及存储网络公司Mellanox Technologies。