云对象存储
云对象存储是一种将非结构化数据存储在云. 对象存储被认为非常适合云计算,因为它具有弹性、灵活性,并且可以更轻松地扩展到数PB以支持无限的数据增长。该体系结构将数据存储和管理为物体与块存储相比,块存储将数据处理为块,以及将数据存储在分层文件中的逻辑卷和文件存储。
对象存储软件设计包括每个对象的全局唯一标识符以及丰富的、可定制的元数据。元数据是分开的,以支持其他功能,如用于索引的应用程序和用户特定的数据、可以由应用程序直接编程的接口、全局名称空间和更灵活的数据管理策略。
对象标识符是绑定到对象的地址,它使对象能够在分布式系统中被找到。对象可以分布在位于世界不同地区的多个数据中心。基于对象存储的数据可以在用户不知道数据具体物理位置的情况下找到。
对象存储和元数据可以通过应用程序接口(api)、HTTP和HTTPS直接访问。这与块存储卷不同,块存储卷只有在附加到操作系统时才能被访问。
云对象存储供应商包括Amazon Simple storage Service、Caringo Swarm、Cloudian HyperStore、Dell EMC Elastic Cloud storage、Hewlett Packard Enterprise Scalable object storage(基于scalality Ring软件定义存储平台)、Hitachi Vantara Hitachi Content platform、IBM Cloud Object Storage和OpenStack Swift开源对象存储系统。
对象存储与文件存储和块存储
传统的块和文件存储并不总是存储医疗成像等应用程序的大型非结构化数据集的最佳选择。块和文件存储都很难扩展到数据中心之外,成本也很高,而且在扩展到海量数据时,它们的回报率会下降。
文件存储,通常部署为网络附加存储(NAS)系统,使用文件系统来放置和共享数据。它是为跨局域网工作而构建的(局域网),但在广域网(湾).大多数文件系统不是为处理数十亿个文件而设计的。块存储,通常部署为存储区域网络(圣)系统,在长距离运行时存在性能问题,使其不适合云计算。块存储也有具有自己地址的数据块,但是没有元数据为每个块提供上下文。
云对象存储的优缺点
对象存储的主要优势在于,由于它是高度分布式的,因此即使发生了几次故障,数据也能更灵活地应对灾难或硬件故障节点失败。它也比传统存储便宜很多,因为对象存储存储在商品硬件或虚拟机(虚拟机)可以无限扩展。对象存储在平面地址空间中,这消除了复杂性和可伸缩性的挑战。数据保护内置在架构中,可以采用复制技术或擦除编码的形式。
对象存储最适合静态数据和云存储。对象存储的典型用例是云备份和归档,因为该技术最适合经常读取而不是写入的数据。对象存储已经成熟到可以在exabyte级别扩展,表示数万亿个对象。使用商用硬件或虚拟机意味着可以轻松添加节点,并更有效地利用磁盘空间。
Dragon Slayer Consulting的Marc Staimer详细介绍了对象云存储的最佳使用案例。
对象存储系统,通过使用对象id (对象标识符)或标识符,可以访问任何数据段,而无需知道它位于哪个物理存储设备、文件系统或目录上。这种抽象允许对象存储设备与在分布式节点体系结构中配置的存储硬件一起工作,因此处理能力可以与数据存储容量一起扩展。I/O请求不必经过中央控制器,从而为由对象管理、物理存储在任何位置并通过WAN或internet访问的大量数据提供了真正的全局存储系统。
对象存储最不理想的使用情形是具有高事务速率的应用程序和环境。对象存储系统对于事务数据库等实时系统来说不够一致。对象存储不保证读取请求将返回数据的最新版本。此外,该技术并不总是适用于具有高性能要求的应用。
云对象存储网关
采用云对象存储的最早挑战之一是为了理解旧协议而编写的遗留应用程序。一个云对象存储网关构建用于提供基本协议转换和更透明的通信。网关使云存储看起来像是NAS文件管理器、块存储阵列、备份目标或应用程序的扩展。大多数云提供商依赖于互联网协议,如HTTP上的RESTful API,而不是SAN或NAS协议。
许多云对象存储网关提供重复数据消除、压缩、快照技术、自动化分层存储和加密。云对象存储网关是位于客户场所的基于硬件或软件的设备,作为本地应用程序和远程基于云的存储之间的转换桥梁。