对象存储架构如何帮助降低存储复杂性

对象存储101

对象存储体系结构解决了越来越多的非结构化数据并帮助公司降低存储系统的复杂性。

您可能习惯于通过NFS、光纤通道、iSCSI或其他存储协议访问由文件或块组成的存储SMB．然而，在对象存储领域，底层数据的结构意味着您不再需要使用这些协议。虽然在某些情况下仍然可以，但在这里，您不再需要创建复杂的目录层次结构来对对象进行分类。相反，对象存储允许您这样做直接访问对象．

对象可以像单个文件、图像或视频一样简单，也可以由多个元素组成，但它们仍然作为单个对象被访问。每个对象还具有相关联的元数据和唯一的对象标识符，允许在以后检索它。这个可定制的元数据描述每个关联对象的各种属性。

元数据元素总是包含公共对象特征，但也可以扩展为包含特定于应用程序的特征。让我们使用一个照片库的例子。在基于文件的世界中，您将拥有文件名、创建日期、修改日期、文件大小和文件所有者，可能还有一些特定于操作系统的标识符。

现在，考虑Shutterstock这样的公司。它的对象存储系统可以扩展以包含额外的元数据元素，如图像类型(插图或照片)、图像像素宽度、图像像素高度、图像中呈现的原色等等。通过将所有这些信息附加到对象上，该公司可以快速、轻松地为用户检索照片，而无需使用庞大的SQL数据库来跟踪所有信息。

另一个例子是，在医疗领域，元数据可以包括患者的姓名、过程数据和医生的姓名，并附加到一个对象(如x射线图像)上。除了简单地描述一个对象之外，元数据还可以用于安全性和可用性目的，方法是描述允许谁访问一个对象，一个对象应该有多少冗余，等等。

一个对象，一个文件，一个块

乍一看，对象存储体系结构可能看起来类似于块存储，而块存储在最基本的方面也没有层次结构。但是，数据块的检索需要文件系统中更高级别的应用程序来对块存储施加层次结构。另一个块和对象之间的区别基于块的存储不携带元数据。

对于基于文件的存储，文件系统提供了层次结构甚至有限的元数据，因此它比原始块存储更适合于内容组织。然而，在这种情况下，实际情况是，单个文件被分解成很小的碎片，然后散落在随机的存储位置。文件系统知道从哪里获取所有片段，当用户请求一个文件时，文件系统会立即行动，检索所有内容。

对象存储系统将文件作为单个实体存储，在应用程序使用对象ID调用存储之后进行检索。每个对象都有一个唯一的对象ID，因此不需要维护更高层次的结构来保持组织。根据所有元数据进行搜索的能力使检索条目更加容易。

对象世界中的可用性和数据保护

保持存储可用并保护数据是IT部门最重要的职责之一。

为此，存储专家部署RAID阵列和备份系统。RAID有助于防止硬件故障，而备份和恢复系统会在RAID不足或RAID无法防止灾难时加入。

对象存储架构通常包括一到两种不同的数据保护方法，以防止硬件故障和灾难。虽然不一定适用于每个组织，但对象存储可以潜在地消除对第三方备份和恢复软件的需求。这一壮举可以通过几种不同的方式实现。

擦除编码。这比传统的RAID实现稍微复杂一些，但其目的是隐藏复杂性，并向管理员提供一个整体上更简单的环境。

擦除编码的工作原理是在数据块中添加若干奇偶校验段，然后将这些奇偶校验段分布到不同的位置。例如，假设一个存储系统使用10+6擦除编码方法。奇偶校验块分布在16个驱动器上，但您只需要其中10个磁盘就可以继续检索数据。这意味着任何六个驱动器都有可能出现故障。只要还有10个，系统就会继续运行。

如果出现驱动器故障，在更换故障驱动器时，将从仍在生产中的10个驱动器重建丢失的数据块。这将导致比RAID更快的恢复速度，特别是在大型驱动器上。

由于快速重建，当涉及到容量开销时，擦除编码是有效的。而且它可以用于传统的文件和块存储，但这些实现很少，因为擦除编码是一个复杂的，计算紧张的过程。

复制。有时除了擦除编码外，复制还涉及在其他存储集群位置，甚至在其他地理位置对数据进行冗余复制。但是复制增加了容量开销。

通过使用两个复制因子，您可以节省两次数据，并将容量占用增加一倍。复制因子3将使容量占用增加三倍，以此类推。通常，本地可用性和保护可以单独通过擦除编码来处理，灾难恢复利用复制。

协议和文件访问。对象存储系统可以通过HTTP和REST API调用进行本地访问。这使得即使通过公司防火墙也可以访问存储。然而，它并没有使对象存储在更主流的用例中变得那么有用，例如企业文件共享．

用户已经习惯了通过NFS和SMB访问他们的文件。许多对象存储系统的对象存储前端都提供NFS或SMB服务，以便用户和应用程序可以使用这些行业标准协议访问文件。这只是一种兼容性机制。在幕后，对象存储系统才是幕后主宰者。

谁在使用对象存储技术?

最大的对象存储消费者包括媒体和娱乐公司、石油和天然气公司以及医疗保健组织。这些公司对快速增长的数据存储有强烈的需求，可以有效地存储数十亿数据元素，这些数据元素将成为对象。

技术公司，特别是云服务提供商，以及其他软件和服务提供商也在使用对象存储。

对象存储架构的优缺点

对象存储体系结构提供了许多好处。

简单。对象存储几乎总是管理大量非结构化数据的合适工具。由于强大的元数据功能和扁平的结构，对象存储不需要像文件系统这样的抽象层。

成本。由于扩展传统存储和预测数据增长可能是困难的，许多公司过度购买存储，以便他们不需要经常管理它，并防止陷入短缺。

由于对象存储具有高度的可伸缩性，因此可以帮助组织实现存储成本的操作。换句话说，他们可以根据需要轻松地增加存储空间，而不是预先批量购买。

这种可伸缩性还意味着传统存储刷新的想法消失了。您只需添加一个新节点，并将一个旧节点从服务中移除，而不是计划每隔一年花一个周末迁移到新的存储。

组织。管理的简单性是一回事，数据访问和检索的简单性是另一回事。由于对象存储中固有的底层简单性，用户可以很容易地找到内容。

但是对象存储也有一些限制，可能并不适合所有人。例如，如果您拥有快速变化的数据，例如具有高事务计数的重要数据库工作负载，那么对象存储可能不适合您。

此外，一些对象存储供应商不支持或建议在他们的产品上运行虚拟机，因为底层数据变化太快应用程序性能可能会受到影响．

最后，尽管一些对象存储系统声称它们不需要使用传统工具进行备份，但许多企业风险管理人员并不同意这种说法。但部分传统备份工具不支持对对象存储进行保护。对象存储采用者需要找到替代方法，使对象存储系统的保护与公司策略保持一致。

购买对象存储软件

您可以通过几种不同的方式购买对象存储。在这个时代软件定义数据中心在美国，如果您愿意添加自己的硬件，许多资源只能作为软件获得。

尽管如此，许多公司还是更喜欢购买可部署的产品，并选择购买打包在设备上的软件。一般来说，这些设备都是x86服务器，调优后可以运行特定的软件。

对象存储的另一个选择是允许供应商在托管设施中为您管理对象存储。不要忘记云:对象存储在云存储供应商中无处不在。对象存储公司普遍支持在公共云中的部署要启用提供数据无缝转换从本地环境。

对象存储平台市场

在这里，我们将检查来自主要对象存储供应商的产品。我们将重点关注Caringo Inc.、DataDirect Networks Inc.、Dell EMC、Hitachi Data Systems Corp.、IBM、NetApp和其他公司的产品Scality公司．这些供应商和产品是TechTarget在对最大的市场股东以及哪些产品最适合当前的购买标准进行广泛研究后选择的。下面是每个供应商提供的产品的简要概述。

Caringo是该系列中独立的对象存储公司之一。它提供了群对象存储平台，以及FileFly，它帮助组织将现有的Microsoft Windows和NetApp文件共享迁移到Caringo群集群．

另一家独立公司日立(Hitachi)提供了其日立内容平台(Hitachi Content Platform, HCP)，这是该公司的对象存储工作的基础，是一个功能齐全的对象存储。HCP还可以通过HCP Anywhere进行扩展，为企业注入本地同步和共享(类似dropbox)功能。

并不是所有的公司都只专注于对象存储。例如，DataDirect Networks销售各种基于文件和块的存储产品，以及WOS专门构建的对象存储产品。像Caringo一样，DDN是一家独立的、以存储为中心的公司，已经开发了自己的存储产品系列。

另一个白手起家的产品是Scality的环对象存储软件，它可以运行在通用的x86硬件上，这使得那些想要使用自己的硬件来达到精确的规格，或者可能是为了降低成本的组织可以选择它。

Dell EMC是最近经历重大变化的公司的一个典型例子。通过收购EMC，该公司现在提供多种对象存储产品，包括Isilon和Elastic Cloud storage。

如前所述，并不是所有的供应商都开发了自己的产品。IBM就是这样一家公司。2015年，IBM收购了Cleversafe，最近将该产品重新命名为IBM云对象存储．

同样，通过2010年收购Bycast, NetApp现在出售其StorageGRID Webscale产品，该产品可以在本地和跨地区扩展。