- 与您的网络分享此项目:
- 下载
存储
animind——Fotolia
对象级存储即将取代企业中的NAS
许多供应商提供具有文件接口的高度可伸缩的基于对象存储的产品,使该技术比以往任何时候都更容易作为NAS的替代。
在过去的25年里,NAS文件服务器(或文件服务器)一直是存储非结构化数据的传统方式,或者……
继续阅读本文
享受这篇文章以及我们所有的内容,包括电子指南,新闻,提示和更多。
不属于经典数据库格式的数据。将其称为非结构化数据并不意味着该数据本身没有结构,而是意味着该文件本质上是一个二进制对象。考虑到这一点,我们看到对象存储作为传统文件服务器的替代方案正在兴起,许多供应商提供了对相同数据的对象级存储和基于文件的接口。
在本文中,我们将讨论将对象级存储和文件作为一种方法混合使用的优缺点非结构化数据存储并检查IT部门在查看这样做的产品时有哪些选择。
快速NAS引物
NAS涵盖了来自IT领域不同方面的两种技术。NFS,由Sun Microsystems开发的,已成为非windows系统通过网络访问文件内容的标准协议。SMB的前身是CIFS,是微软平台的文件协议。自引入以来,它们都得到了迅速的发展,性能和可伸缩性都得到了增强,允许更多的功能,而不仅仅是简单的文件共享。
传统的NAS设计使用RAID作为在硬件故障时进行恢复的保护机制,供应商将大多数NAS产品建立在双控制器架构上——有些具有扩展功能。文件系统构建在物理存储介质之上,这些文件系统使用NFS或SMB向网络公开。
NAS和对象相似性
基于文件的NAS和对象存储都工作在相同类型的数据上——文件层次结构内部或外部的非结构化文件。两者都提供了扩展架构功能,使它们能够存储数以百万计甚至数十亿计的对象。
使用文件系统作为数据存储的方法提出了一些可用性问题:
- 可扩展性问题.在单节点(或故障转移双节点)NAS上,文件系统存在于操作系统的一个实例上。这使得处理“不可变”操作(如文件创建、锁定和更新)相对容易。扩展文件系统然而,Out是一个真正的挑战,在处理多个节点时变得复杂。
- 数据完整性.文件系统将数据存储在跨逻辑或物理磁盘卷保存元数据和文件内容的结构中。如果文件服务器掉电,系统必须执行文件系统检查或FSCK,以验证掉电时数据的状态。根据文件系统的实现方式,这种延迟可能非常严重;一些系统,比如NetApp的Data ONTAP,使用非易失性RAM来批量提交数据,从而减少了FSCK负担。
- RAID保护. 自1987年David Patterson、Garth Gibson和Randy Katz在一篇论文中提出RAID以来,RAID已成为存储设备的首选保护方法。这对我们有好处,但是开始触及可伸缩性的极限因为硬盘容量的增长超出了写这篇论文时的想象。如今,RAID的重建时间可能长达数天,而且随着容量超过12 tb的驱动器的使用增加,情况将继续恶化。
RAID还有其他限制,因为它只适用于存储在单个设备中的数据。为了保护数据免受比设备故障更具侵入性的问题的影响,必须对其进行复制,在地理位置分散的位置创建完整的重复拷贝。
理解对象存储
基于对象的存储是一种相对较新的存储二进制数据或对象的方式。这项技术可以追溯到上世纪90年代中期,一家名为FilePool的公司引入了内容寻址存储的概念。EMC(现在的Dell EMC)收购了FilePool,成为Centera的产品线。从那时起,许多供应商都带着提供存储大量非结构化内容的能力的想法进入市场。
通用文件系统的解决方案
作为一种物理存储体系结构,对象存储消除了许多与在NAS产品使用的文件系统上存储非结构化数据相关的性能和完整性问题。这是因为对象存储不使用文件系统概念,而是将数据存储在单一的平面命名空间或层次结构中。
对象级存储与NAS不同在几个关键领域:
- 通过基于web的协议(HTTP或HTTPS)访问,通常是无状态的。每个与对象平台的交互都使用简单的结构,如存储-创建、更新和删除。
- 没有文件结构。对象级存储提供了“桶”或逻辑存储容器,以扁平的、非分层的方式保存数据。
- 不理解内容的格式和结构。数据与元数据一起存储,元数据保存描述内容的属性。这可以是系统元数据(例如,存储的日期-时间)或用户定义的元数据,为外部应用程序检索和搜索内容提供某种方式。
- 通常不变的更新。新对象的存储是一个全有或全无的过程,更新作为删除和创建过程处理,而不是就地更新。
- 在设计初始对象存储时考虑到高可伸缩性。许多IT公司可能认为,如果不需要存储大量二进制数据,对象存储的使用是不合理的。这是改变。
- 数据保护由RAID的替代技术.这包括保留一个对象的多个副本或使用擦除编码。
- 内容锁定的不同方法。NAS通过内容锁定保持数据完整性。可以以独占或写访问方式打开单个文件,以确保在任何时候仅从单个源写入数据。对象存储本身不提供锁定,但确保对象被视为不可变的,即使这意味着为了保持一致性而覆盖它们。
查看这两种存储系统的属性,我们可以看到这两种存储数据的方法之间也有许多相似之处。两者都处理非结构化数据,并使用元数据跟踪存储的特定对象的信息。不难看出你是如何做到的调整对象存储以提供NAS协议.
聚合存储
为什么要合并NAS和对象?除了运行单一存储平台可以显著节省物理存储之外,还有其他好处:
- 对象存储使用诸如擦除编码扩展数据保护,以及在地理位置分散的位置上进行数据访问。这意味着它们不需要保留数据的完整副本的传统复制技术。存储硬件方面的节省是显而易见的,但是还有其他好处,比如能够有效地将数据访问扩展到多个位置,而不是大多数复制的点对点特性。注意:地理分布文件锁定——交付高效、基于对象的分布式方法的关键因素——并不是一个简单的练习。
- 数据可以在多个系统上使用多个协议同时访问。这提供了从NFS或SMB等传统协议中获取内容的能力,同时使用更有效的基于对象的访问来为其他目的分析内容。与NAS相比,对象协议的无状态特性减少了访问内容的开销——例如,文件锁定或跟踪、分配锁和跟踪打开的文件句柄(参见“减少开销”)。
- 对象存储介质是一种非常可扩展的存储介质而且便宜。它非常适合用作存档,同时仍提供传统的文件访问。您还可以将数据移动到云对象级存储,包括长期冷保存,同时保留使用适当元数据搜索内容的能力。这种方法使得开发混合使用物理资源和基于云的资源的混合平台变得很容易。
减少开销
聚合对象nas系统的多协议特性意味着,如果用户希望访问数据以满足普通需求(如只读分析或分析),他们不需要全局文件系统的好处和复杂性,否则可能会减慢数据访问和新数据写入。因此,开发人员可以使用NAS协议进行编写——获得锁定和完整性好处——然后在另一个位置进行读取,而这一切都不会影响性能。
对象上的NAS:供应商综述
谁提供对象上的NAS ?我们看到出现了两种不同类型的产品:基于对象的NAS,以改善NAS体验而不公开对象存储,以及提供NAS-对象混合的供应商,其中数据可以通过任一协议访问。
对象部署模型上的NAS示例包括数据,这是一家初创公司,提供基于云的全球NAS产品,使用Amazon Web Services简单存储服务进行后端存储。另一家采用类似方法的公司是Exablox(现在的一部分StorageCraft).其扩展的OneBlox系统使用分布式对象存储环来保存文件内容,同时提供一些有趣的特性,如智能文件版本控制和快照。OneBlox将对象分成支持重复数据删除的块,但用户无法访问这些块。
对于商业对象存储软件,有一系列的专有的供应商产品可用。下面是一些例子:
- Scality的RING提供SMB 2.0和NFSv3支持,包括与Microsoft的Active Directory集成。协议支持是通过“连接器”实现的,连接器是环平台上运行的本机服务。
- Caringo的Filefly使用文件服务扩展公司的Swarm对象存储,以支持NAS协议。它还提供SwarmNFS,这是一个轻量级接口,提供对存储在Swarm对象存储中的数据的NFSv4访问。
- DataDirect网络允许您通过一个称为NoFS的特性在WOS对象存储中使用文件内容。该公司声称,与传统文件系统相比,使用NoFS可节省约15%至20%的存储空间,并显著减少I/O流量。
- 日立数据系统通过HCP Anywhere提供对其日立内容平台对象存储的NAS访问。一个自定义的HCP Anywhere应用程序可以从移动设备访问内容。
- Cloudian通过HyperStore Connect for Files将文件访问传递到HyperStore对象平台。该产品提供了提供标准NAS功能的无状态访问点,包括全局名称空间和文件锁定。
除了提供本机NAS支持的对象存储供应商外,还可以通过文件网关连接到对象存储,例如Avere的FXT.然而,这些产品不提供通过这两种协议访问数据,并且可能以专有格式将数据存储在后端对象存储中,因此不可能在对象级别访问数据。
最后,我们应该提到开源选项。塞普使用对象存储作为支持对象、文件和块存储格式的扩展平台的基础,尽管它(尚未)通过多个协议直接公开相同的数据。还有OpenIO,它支持一系列存储协议,可以部署在商品硬件上。这包括基于arm硬件,使用该公司所称的“纳米节点”将单个硬盘驱动器转变为存储服务器。
数据分析领域的朋友
对象和文件是分析的绝佳组合。使用传统的NAS协议存储数据,并使用对象或HTTP进行后端分析,从而减少开销和影响。对象协议不需要文件锁定和其他数据完整性特性,只要数据是不可变的读写。这减少了文件系统的开销并提高了性能。
毫无疑问对象和文件存储之间的界限正在模糊,并且对于许多用例来说,将两者合并是有意义的。对象级存储提供了一种比传统NAS存储更实用的存储方法,具有更高的效率和地理灵活性。我们可以期望将对象和文件访问视为所有协议的标准本机协议非结构化存储设备在不远的将来。
下一个步骤
对象存储公司你会想知道的
对象存储服务提供商当前位置六巨头
了解背后的问题对象存储的受欢迎程度
相关资源
- 对象存储:非常适合大型、非结构化数据集-ComputerWeekly.com
- Object Storage Architecture: reducing Complexity, Capacity, and Archival…强身健体
- 跨供应商为客户规范化数据存储性能报告。。。馆
- 大数据需求下的对象存储系统,归档-克里夫萨夫