贮存

管理和保护所有企业数据

Drhitch - Fotolia.

评估 衡量您正在考虑的技术,产品和项目的优缺点。

分解网络,计算和存储分配恶意

探索正在应用分解概念和原则的方式来创建和分配计算和存储资源池以满足需求的应用程序。

用于支持老化IT体系结构的时间与当今快节奏的业务环境....的需求是正交的

诚然,一些更新的技术,如融合和超融合基础设施、公共和私有云,以及基于Hadoop和spark的扩展产品和服务,正在缓解这种情况。然而,这还不够。我们希望花更多的时间开发新的应用程序,而很少或根本没有时间管理IT基础设施。

输入解集.将聚合分离为其组件并不是一个新概念,但这种方法具有更大的重要性。对IT来说,分解意味着将计算机分解为其核心元素——计算、内存、I/O、存储、缓存、网络结构等等——以实现更划算、更灵活的基础设施和更有效的存储分配。

但是,在通过超融合等概念聚集IT资源十年之后,为什么现在要这么做呢?扩展资源单独通常比将它们组合起来更划算。

分解的想法是创造个人资源池使用许多计算机,然后分配适当的资源组合——内存、CPU、缓存、网络结构以及存储分配——按需为各个应用程序服务。做得对,崩溃使几乎瞬间站立和打破基础设施,资源利用率飙升过去80%,管理成本随着储存分配的自动化而降低。

让我们来探讨五种产品,以说明如何使用分解技术以及其带来的好处。其中三个通常与存储相关:Nutanix、Pivot3和Datrium。剩下的两家公司——DriveScale和惠普企业协同(Hewlett Packard Enterprise's Synergy)——在更广泛的领域应用了分解。

Hyper-convergence和崩溃

反对超收敛的一个关键因素是,需要以节点的形式购买经过度量的、预定义的计算和存储分配剂量,即使您所需要的只是其中之一。像Nutanix这样的先驱者推出的产品没有其他选择。但为了满足需求,Nutanix, Pivot3等现在销售存储和计算量大的模型,这些模型可以缓解这个问题,但不能消除这个问题。

解集的好处:

  • 提高资源利用率——只购买你需要的资源,减少资本支出;
  • 能够以接近实时的速度创建基础设施;
  • 允许以接近实时的速度分解和重用资源;
  • 将重点放在应用程序开发和交付上,而不是基础设施管理;
  • 使数据更快,更频繁地提供,促进商业方面的决策;和
  • 降低基础设施管理成本,降低运营成本。

Nutanix提供其所有型号,最小磁盘购买零 - 无磁盘。此外,为了满足一系列应用程序的需求,您可以构建具有各种节点的群集,这是超融合的关键方面。这样,购买节点适用于将使用它的应用程序,但整个群集被管理为一个实体。

理想情况下,分解要求分离计算和存储,这样您就可以100%购买其中一个,而不购买另一个。但在一个Nutanix环境,这只适用于100%的计算,而不是100%的存储。Nutanix通过对存储量大的节点使用最小的计算来解决这个问题。它不是纯粹的分解,但它完成了任务。

Pivot3采取不同的方法。与Nutanix一样,它有一个只计算的节点,没有存储,还有一个存储节点的计算能力很小。存储节点可以以经典的超融合方式使用,其中重点是运行虚拟机,并且假设存在一个管理程序。但是,也可以在不需要hypervisor的情况下使用该节点——实质上是裸金属支持。客户可以像过去一样在物理基础设施中运行尚未虚拟化的应用程序,同时仍然可以利用在单一控制台管理的超融合集群中创建的存储池。

与它的收购Nexgen Storage作为一家服务质量优良的外部存储阵列供应商,Pivot3已将一个外部的“分解”NexGen存储阵列集成为超融合池的一部分。Pivot3还允许物理和虚拟应用程序在集群上运行时使用集群中的存储资源,这些集群作为iSCSI目标显示。超融合集群内外的所有应用都可以使用NexGen基于策略的服务质量能力。

Nutanix和Pivot3都不支持纯粹的分解。但他们正努力将其优势传递给客户。

解集和Datrium

Datrium是一款仅用于存储的产品,它通过分离许多通常与存储阵列相关联的功能,扩展了disaggregation的含义。简单地说,Datrium在服务器中以一种扩展方式实现了快照、压缩、重复数据删除、复制、加密等软件,但在存储阵列中保留了某些功能,如镜像的非易失性RAM和简化的双控制器。这使得存储盒比JBOD更好,但比传统数组更简单。Datrium称之为DVX数据节点

大型数据集群的问题

因为大小大数据集群对于Hadoop、Spark等,它们从分解中获得的好处比超聚合集群更多。原因如下:

  • 缺乏灵活性。PC服务器具有固定的计算和存储分配比例。Hadoop和Spark被设计成在整个集群中具有相同计算存储比率的集群上最有效地工作。不幸的是,应用程序的特征会随着时间而变化,即使在第一天选择的比率是正确的,但在第60天可能就不正确了。无论计算或存储是否有压力,都必须以相同的比例购买额外的服务器。
  • 升级既麻烦又昂贵。让我们假设计算已成为一个问题,而英特尔有一个新的更高的处理器。即使没有容量问题,也需要使用新的CPU和磁盘驱动器升级整个群集,以升级处理器。当然,你可以在新服务器中安装旧驱动器 - 如果您甚至可以在没有存储的情况下购买它们 - 但这对大型集群耗时。反向也是如此。如果存储空间是问题,并且可用的驱动器可用,则必须将整个群集替换为新服务器。
  • 应用程序竖井。由于不同的应用程序需要不同的计算存储比率,客户通常会为每个应用程序构建单独的集群。这在一段时间内工作得很好,但当资源变得不平衡时,它们就不能从邻近的集群中转移过来进行再平衡了。
  • 驱动器块气流。将计算和存储放在同一个盒子里的服务器只能在机箱里容纳有限数量的驱动器,因为磁盘驱动器阻碍了流向最需要它的地方的气流:CPU。如果将计算和磁盘驱动器分开,每个机架单元的密度可以高得多。

Datrium使用软件定义的原则在充分利用扩展功能的服务器中实现这些功能;例如,可以通过增加服务器来提高重复数据删除或加密性能。与此同时,Datrium使用了一种更智能但更简化的存储盒,并声称与其他供应商(如Hedvig和SwiftStack)的超融合和其他100%软件定义产品相比,它获得了显著的性能优势。与传统的双控制器存储阵列不同,Datrium的数据节点不创建竖井,并提供相互独立的扩展性能和容量。服务器还可以运行物理、虚拟和容器应用程序。

Datrium称之为“开放融合”,不是纯粹的分解,而是如何实现这一概念的另一个例子。

HPE协同解集

惠普企业协同(Hewlett Packard Enterprise's Synergy)是业界第一个采用惠普所谓架构的平台可组合式基础设施.这是最纯粹的分类形式可用。从个人资源池开始计算,存储和网络结构,并根据需要将它们组合在每个应用程序的软件控制下。使用单一的、高级的统一API将所有三层作为一个管理层来组成、分解、管理、更新和扩展基础设施,Synergy同样适用于虚拟化、混合云和DevOps操作模型。

如果操作正确,分解可以在几乎瞬间启动并分解基础设施,

与传统的超融合不同,Synergy覆盖了所有类型的物理和虚拟应用——传统的、移动的和云本地的。虽然超收敛在一个向外扩展的模型中把计算和存储分配结合在一起,但在很大程度上,它没有考虑到结构。可组合的基础设施,从头开始设计,以处理所有上述,包括织物,是以最原始的形式分解

协同作用由三个基本要素组成

流体资源池。计算、存储和结构资源的流体池将根据需要为每个应用程序及其特定的服务级别需求创建。您可以根据应用程序的需要,将物理、虚拟和容器工作负载的计算容量和内部存储容量配置为直接附加的文件、对象或块存储。鉴于3PAR存储在HPE的产品组合中占有重要地位,它可以配置为外部直接连接存储,并成为流体池的一部分。Fabric可以处理多种协议,其带宽是非破坏性的可伸缩和可调节的。在不影响操作的情况下,随时增加计算、存储和fabric资源。这些资源自动成为流体资源池的一部分,并可立即用于应用程序。扩展不会增加管理负担。

软件定义智能。HPE与硬件建立了协同作用内置软件定义的情报.配置、缩放、解除配置等等都是使用模板完成的,基础设施以接近实时的速度组合和重组。可以把Synergy看作是基础设施和代码,在这些基础设施中,所有曾经需要数小时甚至数天才能实现的普通功能现在几乎可以立即实现。计算、存储和fabric与适当的固件、BIOS、驱动程序和操作系统映像一起提供,不需要操作员干预。Synergy为这些目的使用模板,因此不需要了解底层硬件和软件的内部知识。这使得基础设施易于使用,不仅对于IT人员,而且对于DevOps和测试开发人员也是如此。开发、测试和生产环境之间的差异消失了,并且都使用相同的接口。

统一的API。传统的基础设施中,每个设备都有自己独特的底层API,您必须将其配置到设备中,而Synergy则不同一个高级API跨越计算、存储和结构。当然,融合基础设施的供应商——戴尔EMC、IBM-Cisco、NetApp-Cisco和其他公司——都在努力简化计算、存储和结构之间的供应和管理。但它们是通过掩蔽层做到这一点的,因为在掩蔽层下,元素仍然是不同的、独立的。

Synergy的Unified API有两个区别:它比典型的命令行界面级命令高得多,它旨在跨越计算,存储和结构。它还提供单个接口,以发现,搜索,清单,配置,提供,更新和诊断基础架构。它是一个用于将协同率集成到其他管理平台的单一车辆,包括Microsoft System Center,Red Hat和VMware vCenter以及其他Devops平台,如厨师,Docker,OpenStack,Puppet和Python。

HPE Synergy,产品

HPE Synergy的第一个化身是型号12000框架在10U格式。您可以配置多个帧在一个环和管理多个环,所有从一个控制台。框架中有五个重要元素——作曲家;图像拖缆;以及可组合存储、可组合计算和可组合Fabric模块——它们一起发挥作用,创建一个完全分解的平台。

作曲家。Composer负责发现,搜索,搜索,在计算,存储和结构上搜索,更新和诊断基础架构。这是一个物理设备基于HPE OneView和统一的API。Composer使用由它或自动配置,更新和跨计算资源的配置,更新和解放进程的业务用户开发的服务器配置文件模板。可以从单个模板创建许多计算模块配置文件

图像彩色纸带。作为一个适合于Frame的物理设备,Image Streamer充当各种应用程序的可引导的黄金图像存储库,可在数分钟内在计算模块上加载。它可以用来代替通过物理供应和安装操作系统、管理程序、I/O驱动程序、应用程序堆栈等构建服务器,将数小时甚至数天的错误处理减少到自动化的、无错误的处理,只需几分钟。

可组合存储、计算和Fabric:单个模块提供与所有其他系统元素紧密集成的各种存储、计算和fabric资源。你只添加那些供应不足的资源。该体系结构可扩展到所有三个元素,您可以构建作为一个整体管理的大规模基础设施。甚至fabric(过去最静态的元素)也被转换成代码,用于编程式的供应和解除供应。

DriveScale解集的方法

DriveScale已将计算和存储分解应用于Cassandra、Hadoop、Kafka、MongoDB和Spark等新一代大数据分析驱动应用。这些应用程序喜欢扩展架构,通常使用普通服务器和小节点构建,由计算和直接连接的内部存储组成。需要数百个,通常是数千个节点解决大数据问题,每个人使用该节点本地的相关数据处理谜题的各个部分,然后合并结果以提供答案。通过保持数据的本地计算,延迟和东西向的流量最小化。

在过去的五年里,这种方法已经席卷了大数据世界。但随着集群规模的扩大,有时甚至达到数千或数万个节点,一些问题也浮出水面。包括缺乏灵活性,繁琐和昂贵的升级,应用程序竖井的出现将不得不保持同样比例的计算为一个给定的应用程序存储分配和限制数量的驱动底盘可以坚持维护所需的水平的气流cpu保持凉爽。

DriveScale与协同

这两个DriveScale和惠普企业利用分解作为底层技术来提高基础设施利用率和灵活性,在降低成本的同时简化管理。然而,他们的做法完全不同。HPE Synergy基于硬件和软件的结合,覆盖了基础设施的所有三层——计算、存储和结构。它被设计用于处理所有应用程序和处理所有类型的数据——块、文件和对象。它的设计保持了计算和存储之间的低延迟,这对于面向事务的应用程序来说是必须的。因为惠普开发了硬件和软件,所以Synergy是一个战略性的收购。

另一方面,DriveScale通过处理运行NoSQL数据库的大规模集群,直接针对大数据问题。它的SAS到以太网适配器引入了200毫秒的延迟。当在大数据应用程序中使用64 MB的块大小时,这是可以忽略的,但在使用8 KB块大小的事务性应用程序中,这是灾难性的。因此,它针对的是这些大数据应用,并没有解决跨数据中心的所有基础设施问题。DriveScale专注于大规模的可伸缩性,使用普通的计算和存储,将结构问题留给专门从事这方面工作的供应商。

DriveScale分解从存储到非中断计算允许创建和更改应用程序在任何时间点需要的任何计算和存储比率。它要求从一个或多个供应商单独购买JBOD计算和存储。(服务器供应商有只支持计算的商用服务器,由于气流改善,它们的密度通常比标准商用服务器大得多。)通过这种方式,您可以在与磁盘驱动器不同的时间表上替换计算——对于计算,通常每2到3年替换一次,对于驱动器,则每5年替换一次。由于有一个单独的计算和存储分配池可用,您可以在不同的应用程序之间随意分配资源,从而使资源利用率比以前高得多。

DriveScale使用SAS-to-Ethernet适配器将磁盘驱动器连接到一个标准的机架顶部以太网交换机,该交换机反过来连接集群中的所有计算元素。供应商的知识产权在编制软件中,该软件以编程方式向正确的集群提供、管理和取消资源。它的GUI基于RESTful API,可以向上与客户喜欢的管理工具集成,包括Chef、Puppet等。

分解值得一看

在最纯粹的意义上,分解意味着突破进入它的成分件,然后创建每个资源的独立池,这些资源可以在编程控制下组合,以向应用程序交付正确的资源组合。一些存储和超聚合供应商已经应用了分解原则来提高其产品的成本效益。但DriveScale和HPE Synergy以新颖、范式转换的方式使用它们。

HPE Synergy是最纯粹和范围最广的分解例子,例证了如何使用这个概念来解决各种各样的问题。HPE将可组合架构视为超越超收敛的下一个发展阶段。其他供应商,如DriveScale,使用分解原则来解决特定的问题。

而公共云供应商使用的架构的详细信息,例如亚马逊网络服务和谷歌云平台在美国,分解可能是基本原则。虽然现在对资源进行分解还为时尚早,但创建单独的资源池、在正确的时间和正确的组合中组合它们,然后使它们对应用程序可用,这是一个非常强大的想法,不容忽视。现在是将“分解”这个术语添加到您的词汇表中的时候了。

第七条第1条

下一个步骤

将计算和存储分解为超收敛的下一步

分类是如何帮助的解决大数据基础设施低效问题

了解更多有关分解数据存储资源的好处

深入挖掘数据存储策略

获得更多的存储空间

查阅我们所有的过期杂志 查看全部
搜索灾难复苏
搜索数据备份
搜索聚合基础设施
关闭
Baidu