双蜂叶蜂
构建一个云就绪的全局分布式文件系统
想要在数据中心、分支办公室和公共云基础设施之间扩展传统网络文件共享的组织有很多选择。
全球分布式文件系统自20世纪80年代初卡内基梅隆大学开发Andrew文件系统以来一直可用。它成为开发者为网络工作站和服务器新时代构建的首批平台之一。开发人员在接下来的几年中完善并生产了这个概念。最新的进展集中于弥合数据中心和分支办公室中的私有系统与云环境中组织的IaaS资源之间的差距。
云的核心特性之一是分布式对象存储服务它可以跨区域复制,管理员可以通过带有存储网关的标准文件共享协议进行访问。现在,企业将从相同的地理冗余中获益,以跨云和内部部署环境。
了解分布式系统的基本知识是很重要的文件或对象存储. Andrew文件系统、Ceph和原始Google文件系统等系统是一种软件定义的存储形式,通过不同的数据和控制平面将存储的数据与元数据分离。复制控制服务器通常管理元数据,通常采用冗余的多主机配置。数据通常会分割成更小的片段或块,并分布在多个存储节点上,通常位于不同的数据中心。
数据分块适用于对象存储,但不适用于传统的文件系统——无论是否联网。可以通过网关使用网络文件协议(如NFS和SMB)访问分布式对象存储。然而,对于本机文件存储,更常见的是使用Andrew文件系统技术创建地理冗余,该技术复制共享,并使用全局唯一的虚拟名称空间将其呈现。
例如,Microsoft分布式文件系统将逻辑名称空间和物理名称空间分开。A.全局名字空间服务器管理逻辑名称空间,它保存元数据和指向各种次根服务器的指针,并带有指向物理网络文件共享的指针。
全球分布式文件系统的几乎所有产品实现都使用类似的技术。逻辑控制平面管理虚拟命名空间,该命名空间指向分布在多个位置的存储节点上的NAS共享或对象存储桶和池。将全局分布式文件系统扩展到云端相对简单。云服务使用标准协议(如NFS和SMB)或已发布的API(如Amazon S3和Google云存储)公开文件和对象存储。
调查以全局分布式文件系统为特征的产品
下面是一些流行的具有分布式文件存储和云连接的企业产品的摘要。请注意,这是代表性产品的样本,而不是详尽的买方指南。
云超文件是一个扩展控制器它为Cloudian对象存储提供了具有唯一命名空间的标准NAS文件访问。它可以访问AWS、Azure和谷歌云上的数据并复制到这些数据。它支持多个地理分布的控制器。它还包括数据投影功能,如对象和文件版本控制、异步复制和一次写入、多次读取驱动器。
戴尔EMC PowerScale是硬件的表现它的OneFS横向扩展NAS软件提供了群集文件系统、卷管理、数据保护服务和全局命名空间。PowerScale节点是标准的单插槽或双插槽1U服务器,具有两组双网络端口——一个用于前端客户端,一个用于集群内通信——加上四个或八个驱动器和高达384 GB的RAM。OneFS群集可以扩展到252个节点。OneFS包括一个负载平衡器,它在集群中分布流量。它还具有智能故障切换功能,可以无中断地将对故障节点的运行中读写重定向到群集中的另一个活动节点。
IBM频谱标度是一种并行文件系统,可将SSD、HDD、磁带和对象存储统一到单个全局命名空间下,并通过NAS(NFS、SMB)、对象(S3、OpenStack Swift)和大数据(Hadoop分布式文件系统)协议或API公开数据。它包括一个自动分层功能,可用于IBM Cloud、AWS S3或OpenStack Swift对象存储。作为一个独特的软件层,Spectrum Scale与各种服务器和操作系统协同工作,其中包括运行在AIX上的IBM Power系统。频谱规模捆绑包与IBM的弹性存储系统,可作为2U机箱或机架规模的集成系统提供。
NetApp OnTap是一个全面的数据管理平台,使用SAN、NAS和对象协议与闪存、磁盘和云存储协同工作。它有助于通过单个管理界面在本地集群和云服务之间移动数据。它可以根据数据使用情况和使用年限自动分层到云存储。它包括一整套企业存储功能,如数据压缩、重复数据消除、服务质量、快照、复制、镜像和加密。OnTap提供文件卷的全局名称空间,可以跨越内部部署阵列,如NetApp All Flash FAS和云卷云服务,AWS、Google cloud和Azure上的一组托管服务。
鳞片环是按比例缩小的吗在x86 Linux系统上运行的文件和对象软件。它提供了高可用性控制平面、自愈基础设施和PB级容量。其全局分布式文件系统提供全局命名空间和多站点异步复制。它支持NFS和SMB协议以及S3API。其Zenko multi-cloud controller跨AWS S3、Azure Blob存储、Google云存储、Wasabi、Ceph和传统NAS环境提供单一名称空间。
云NAS网关
管理员构建多云文件系统的另一种技术需要在本地NAS阵列和云本机对象存储之间使用云NAS网关。它们通常实现为内部部署的硬件或软件设备,充当NAS和云环境之间的代理缓存。
受欢迎的产品包括:
- Azure FXT边缘文件管理器--以前的Avere--用于Azure Blob存储。与其他多云文件服务一样,FXT提供单个全局命名空间。
- 克特拉提供边缘文件管理器和客户端代理,以连接本地NAS和AWS、Azure、IBM和Dell EMC云环境。它提供了一个全局名称空间跨越站点和云.
- 纳苏尼统一是多云文件系统和网关设备的混合体。它提供了一个软件控制平面,用于连接传统NAS文件服务器和云环境,但将所有数据存储在云对象存储上,使用边缘缓存设备作为中介。它支持S3、Azure Blob存储、Dell EMC弹性云存储、Google云存储、Hitachi对象存储、IBM云对象存储和Western Digital HGST。
- 潘祖拉自由酒店使用全局文件系统创建可扩展到多个数据中心、分支办公室和云环境的NAS群集。它包括数据服务,如在线全局重复数据消除、压缩、加密和镜像。它可以在多个云上自动复制数据,以提高可用性和耐用性。Panzura缓存设备可以作为云实例在弹性计算云、Azure、Google云和IBM云或本地VMware ESXi主机上运行。它还销售三款本地缓存容量为7至28 TB的硬件设备,可同时容纳5000名用户。Panzura专有的分布式文件锁定技术保证了跨地域和多用户的数据写入顺序一致性。它在多用户事务中维护数据和元数据状态。