Panasas存储加速了HPC工作负载的并行化

Panasas存储软件专注于提高容量和效率的新方法。动态数据加速在PanFS中穿梭数据到磁盘或闪存基于文件大小。

通过

发表:2020年8月06

Panasas升级了其NAS平台，以简化与人工智能和高性能计算相关的数据管理。

更新包括添加的动态数据加速(DDA)， Panasas ActiveStor存储节点的操作系统。增强的PanFS提供了针对混合文件工作负载进行优化的单层磁盘和闪存。

Panasas存储硬件两年前从PanFS中分离出来，当时该供应商引入了ActiveStor Ultra节点，作为产品品牌重塑的一部分。然而，PanFS软件不能作为软件专用许可证使用。Panasas仅在支持标准Linux硬件驱动程序的基于商品的ActiveStor硬件节点上销售PanFS。

并行文件系统通常依赖存储分层来在设备之间移动数据。分层算法决定是否数据应该放在闪存或磁盘上，这取决于它被访问的频率。Panasas表示，DDA加速不使用分层，尽管架构在操作上是相似的。

DDA本质上是将大文件分配到磁盘，将小文件分配到ssd。nvdimm处理意图日志，NVMe驱动优化元数据性能。Panasas存储软件可以根据工作负载的变化动态调整，最大限度地提高容量和性能。在对象存储后端之上的可移植操作系统接口(POSIX)标准用于扩展，使用擦除编码作为数据保护的一部分。

“在最新的PanFS中，Panasas基本上是说所有数据都是热的，他们根据文件的大小来划分层。与一些额外的优化,如改变块的长度更适合文件大小,他们声称双方性能提高,没有降职冷状态的数据,”首席执行官斯奈尔说,艾迪生Intersect360研究IT分析公司专门从事高性能计算(HPC)数据的趋势。

Snell说:“从另一个角度来看:这种架构优化了小文件的IOPS和大文件的带宽，作为一种提高整体可伸缩性的方法。”

Panasas软件架构师柯蒂斯·安德森(Curtis Anderson)说HPC用户努力平衡加速的性能和固定的存储预算。他说，新的Panasas存储技术旨在消除手动调优和控制存储成本．

“高性能计算面临的挑战是，购买全闪存太贵，而混合系统可能给你的容量，但不是你需要的性能。我们为NFS提供了优化的软件和硬件，无需存档就能实现性能，”Anderson说。

Panasas表示，每个ActiveStor Ultra节点包含16gb的NVDIMM容量、2tb的NVMe SSD存储、8tb的传统SSD容量和6个16tb的hdd容量，以及32gb的DRAM和双25g以太网连接。

高性能计算存储通常被预留给研究实验室等，但主流企业正在探索高性能计算人工智能、大数据、数据科学和机器学习,斯奈尔说。

斯内尔对COVID-19持不利态度影响HPC存储预计2020年销量将下降，2021年才会“赶上”。Snell说，通过将PanFS从硬件中分离出来，Panasas的存储可以帮助组织提高数据管理的可扩展性，而无需昂贵的大修。