评估 权衡你正在考虑的技术、产品和项目的利弊。

IDC针对持久性内存的真实应用程序和解决方案

由于缺乏标准、合适的接口和系统软件,使用持久内存的进展相当缓慢。下面我们来看看真实世界中的持久记忆。

00:20阿施施Nadkarni:大家好,欢迎来到关于在企业中采用存储类内存的专题讨论。我相信你们都很好。我叫阿希什·纳德卡尼,是IDC基础设施部门的副总裁。我领导了一个分析团队,他们在全球范围内提供关于计算、存储、云计算和边缘基础设施研究的定性和定量研究。

今天我们有四位行业小组成员,我将让他们介绍自己,他们的角色以及flash在他们组织中的变化。先生们,谢谢你们今天的时间和见解。现在让我们开始一个简短的介绍环节,我将从埃里克开始,你想开始吗埃里克,介绍一下你自己?

01:00埃里克·卡普曼:谢谢你!我叫埃里克,我已经在金融服务行业工作了26年,在那里我基本上领导了各大银行,各大资产管理机构和对冲基金的各种技术工作,主要是重新设计技术以支持业务目标,我支持过专门的交易技术,或者财富管理技术,资产管理技术,风险管理技术。这就是我所扮演的角色。显然,记忆和数据是这些机构最重要的资产我必须广泛地处理它们。非常感谢。

01:49安:太棒了。谢谢你,埃里克。托尼?

01:51何东尼:你好,我叫托尼,我在纽约市中心的一家金融服务公司工作。我在那家公司已经工作了13年多,我的职责是帮助我们的前台部门改造遗留应用程序,并将其重新平台化,以使用最新技术(如flash),在这种情况下,获得内存以大幅提高其性能,而不必实际更改代码。因为任何时候我们做代码更改,我们都必须经过大量的重新测试,所以使用硬件来提高性能是获得优势的最可靠的方法。

02时39分真的,谢谢你,托尼。恩斯特?

高盛02:42恩斯特:大家好,我的名字是Ernst Goldman,我在全球金融服务机构工作,家喻户晓,在这个行业已经20多年了。目前,我负责数据工程和数据平台组织。在我的监督下,我有一个大规模的计算和存储平台与公司的资本市场业务线一致。当然,我们正在努力解决的问题是,不断增加的原始数据,不断增加的监管要求,以及需要一种一致的运营模式,以大规模地向商业基础设施提供服务和产能……目标是构建超大规模的、可接受的TCO,这在很大程度上驱动了我们的大多数架构决策及其实现。

03:38安:谢谢你,恩斯特。然后是我的IDC同事,Eric Burgener。

03:43埃里克·伯根:是的,大家好。我是Eric Burgener,我是基础架构系统组的研究副总裁,我主要研究企业中的固态存储技术。我在高科技行业工作了32年,最近7年,我在IDC工作。

03:58安:谢谢你,埃里克。因此,人们对存储类内存非常感兴趣,所以我认为这个面板将为所有收听的人提供非常丰富的信息。在我将麦克风交给我的小组成员并向他们提问之前,请快速了解这将如何工作。因此,我将从一个问题开始,然后我将在房间里四处走动,让我们的每位客人回答问题,提供他们的观点,最后,Eric将插话,提供他对该行业的知识,以及他所看到的。设置每个问题都是为了突出使用存储类内存的好处和问题。

因此,我们真正想在这个小组中提出的是IT从业者如何从中受益?他们面临的挑战是什么?他们如何扩大自己的足迹?让我从第一个问题开始。第一个问题是,您使用的是哪种类型的持久内存或存储类内存产品?所以,我们假设这将是基于3D xpoint的设备,它们不一定是。但是我们想听到的包括设备类型,PCIe卡和服务器,进入存储系统的设备,什么样的存储系统,以及它们如何被用于系统存储缓存,如果你不想,你不必提及任何供应商。让我们从恩斯特开始。采用的是什么,你是如何使用它的?

05:32如:是的,当然是为了…为了提高机构的性能,NAND型存储器的采用已经进行了多年。我们确实有PCI Express卡和BMP协议,四通道连接,但我认为我要做的区别是我们的目标是扩展,所以扩展和扩展的争论在几年前就已经解决了。所以,在一定范围内,我们的座右铭是构建可伸缩的架构,而大多数组件,构建模块组件,都是为这个目标服务的。所以在采用阶段的前一年,我们从IBM采购了IO Scale 2,我们转向超微粒但我们正在构建的端口有Cisco或Arista交换机,这取决于它是on-prem还是云。至于内存驱动器,我们主要从英特尔公司采购。

07:02安:托尼,你呢?

07:04 TH:是 啊我们主要是一家英特尔商店。我们的数据中心一直在使用第二代Intel可扩展处理器,唯一与CPU兼容的PM类型是英特尔自己的Optane内存.我们用它来…基本上,它有两个用例。我们从第一个用例开始,它将用于我们的Java应用程序。基本上,我们将堆大小直接指定为PM的100%。这立即提高了我们的应用程序性能,但后来我们遇到了另一个瓶颈,因为我们的Java应用程序不能自己工作。他们需要写入我们的结构化数据库,在这里是Oracle。随着时间的推移,我们发现了Oracle层的瓶颈。然后我们也为Oracle重新配置了服务器。现在,我们从头到尾都在使用… The whole application is using persistent memory.

对于存储,我们从NAS开始。这是我们的传统平台,但最终,NAS无法跟上……它有以太网的限制,千兆以太网卡。因此,我们最终将其升级为更昂贵的光纤网络SAN存储。只有在升级之后,我们才能看到显著的性能提升。因此,总的来说,这个过程是非常昂贵的,但我想性能的提高证明了总体TCO是合理的。

09:09安:伟大的谢谢你,托尼。

分TH:谢谢你!

一个:09:11埃里克,你呢?

09:13埃克:是的,这都是由业务需求驱动的。使用该类型存储或内存的业务应用程序的类型。因此,由于我负责管理大量的交易应用程序和交易环境,显然,我们在内存计算方面有相当多的使用,我们实际上构建了服务器集群,并以聚合格式利用它们的内存组件。但我们也坚持了下来,很明显,为了满足监管和其他需求,我们将拥有闪存阵列、SSD驱动器和SAN,以及Arch存储和大量光纤连接存储。

因此,这完全取决于业务使用、特定应用程序所需的延迟类型和性能,以及所使用的数据类型。举个例子,我知道托尼提到过这个。我们正在利用大量的小数据元素,比如市场数据处理和类似性质的东西,这是非常结构化的。因此,我们需要更小的块来处理这个。同样,这也会促使我们考虑使用哪种类型的存储,哪种存储最适合处理这种类型的数据元素。

42一:太好了。我想在这儿陪你一会儿。你们中的一些人谈到了工作量。那么,回到工作负载上来,您最初是在现有工作负载上部署持久内存或存储类内存,还是在新工作负载上部署它们?如果它们是现有的工作负载,你如何能够优化它们,或者为了真正利用你正在使用的新技术,你必须做出哪些改变?

11:13埃克:这主要是由新的工作量驱动的。所以,基本上,我们从现有的工作负载开始,我们看到了性能、灾难恢复、备份、同步等方面的一些挑战,以及与此相关的许多其他问题。当我们开始重写许多应用程序时,我们还必须改变支持这些应用程序的数据和存储模式。因此,我想说,它最初是作为一种新的方式开始的,既可以容纳新的应用程序,也可以用现有的数据工作负载支持现有的应用程序。

12时01分:太好了,谢谢你。恩斯特,你呢?它是现存的还是新的?

12:06例如:是 啊说它是新的,在技术上可能并不完全准确。这些工作负载的性质可能超出存储类的历史记录。然而,业务任务是在我们所处的数据领域真正加快步伐,这是一种超低延迟的交易和价格套利,是一种真正需要完全不同的性能级别的造市活动,而传统存储甚至优化的SAN都无法真正支持和维持这种性能级别。这样,你可以说应用程序现代化类。如果我们说出现了一个全新的工作量,我会说更多的是。来自大数据和AI/ML计划。这些都是为了构建实时流媒体事件和平台。这是唯一的新工作量。所以,在某种程度上,这是一种混合。它是对传统业务应用程序的现代化,这些应用程序对于采用传统存储层中不可能存在的新工作负载类别始终至关重要。

13:47安:太好了。埃里克·伯根纳,我看到你在点头。所以,我只是想看看…你已经听到托尼和埃里克谈论他们的部署了。你看到了什么?你有什么看法?

14:01海尔哥哥:嗯,很常见的是,我们看到人们首先开始试验具有某种Optane存储能力的PCIe卡。然后随着这些应用的发展,他们真的希望能够在网络上共享高性能存储以获得更好的容量利用率,这是无法增长的,诸如此类。所以,每个小组成员都没有真正评论,“我们开始的方式,然后我们去了更多的网络选择。”但当然,当您转向网络选项时,NVMe over fabric变得更加重要,因为这是您交付延迟的方式,您可以在optane优化的存储系统上创建延迟,一直到应用服务器端。这是另一个问题。我也认为非常有趣的是,每个小组成员都评论说,实际上,是工作负载能力或需求驱动了这种需求,这很明显是我们看到的。他们提到的一些工作量是我经常听到的。因此,在内存数据库和其他类型的事务性数据库中,如果性能提高,收入就会增加,这是很常见的。

海尔哥哥:15此外,还有分析工作量。因此,我们在企业中注意到的一件事是,特别是在组织经历数字化转型的时候,我们看到这些类型的大数据分析工作更倾向于实时化。这是另一个常见的领域,你会看到基于optane的存储设备被引入,以实现更高程度的并发性和更好的吞吐量,使你更接近实时方向。所以,我认为我们从小组成员那里听到的肯定是我们所看到的。

我们还发现他们没有提到的一件事是,你问的是绿地和棕地的部署。我们看到的一个领域企业存储系统中的Optane存储,因此san连接的设备可以实现更高的基础设施密度,这样人们就可以整合工作负载,而不必担心邻居的噪音问题。因此,这是一个没有评论的领域,我实际上很感兴趣的是,如果你们三个中的任何一个也在这种整合方式中使用Optane的性能,或者它仅仅是为了驱动特定工作负载的较低延迟。

16:22安:是 啊这是一个很好的问题,我想补充一下,为了时间的利益,也许可以把两个问题结合起来。那么,您问的第一个问题是什么,Eric,第二个问题是,您希望通过部署持久性内存或存储类内存实现哪些好处?该产品是否满足您的期望?也许我们从托尼开始。那么,Tony,你为什么不告诉我们性能方面是如何解决的,以及产品是如何给你带来好处和期望的。

16:56 TH:所以,在我们开始迁移之前,迁移意味着采用持久内存,我们实际上做了一个非常彻底的KPI度量。所以基本上,我们收集…我们对我们的作业应用程序和Oracle性能进行了广泛的分析,以衡量读/写速度,并计算出代码的哪些部分只执行负载操作,哪些部分执行大量存储操作。所以,我们需要把这两者分开,以便以后当我们试图…在我们安装了持久内存之后,我们可以研究如何进行优化。负载应该放到持久内存中,存储应该放到普通内存中。所以,这是其他因素。我们做了很多功课,因为为了展示性能,大幅度的性能改进,我们需要做前后对比。

17:56安:没错,没错。是的,这是一个很好的观点。埃里克呢,埃里克·卡普曼?你认为在绩效,收益和期望方面如何?

18:09 EK:是的,是的,就像我说的,在我们的事业中,在我的事业中,这是…它是注重实效的项目。所以,我们所有的费用,所有的费用都要记入业务单位和他们的业务合同中。所以,每个人都有非常严格的sla,我们必须清楚地说明为什么我们要实现某种技术。所以很明显,我们做了很多测试,很多…Eric提到过,你是否考虑延迟和性能的优势,但这两者是结合在一起的。所以我们从应用或数据处理的开始到最后。然后我们把它分成各个部分,然后我们试着分析这个部分。它是最佳优化吗?瓶颈在哪里? Is on the latency, is it on the performance, or on the transactional side, application side, the data side, database? So, we go step by step in that detailed analysis to really find the most optimal plan.

19:23安:太好了,谢谢你。恩斯特?

例如:19:25是 啊我想校准。当我们谈论性能时,它不是很简单。因此,这可能是一个假设,我们得到了显著的性能改进,采用这种体系结构的性能改进的可能性。然而,实现这一改进的途径并不简单。同样,其他小组成员也提到,应用程序细节和配置文件确实起着重要作用,读写类型是什么。例如,对于许多具有顺序写入的大数据工作负载,这种特定的存储类型没有性能优势。这就是为什么我们有一个港口,我们有衔接。你称之为密度。我们称之为融合体系结构在这里,我们通常将不同的存储类聚合在这些端口中,因为理解不同的类,不同的层可能更适合应用程序中的每个特定功能或特定的工作负载资产。

20:51如:因此,性能的提高可以通过保持竞争优势来实现,在市场上微秒很重要,进行低延迟交易,高频交易。还有一个是Eric提到的,在我们的业务中,时间就是金钱,所以当我们在AI/ML段上运行训练测试时,就像结果的返回可以压缩在几周,几天内,所以改善一方面,某些类型的应用程序能够真正成为有效的市场参与者并保持竞争优势。另一方面,是在我们的数据科学和人工智能/ML程序的效率回报方面的操作改进,可以真正衡量在时间轴上压缩的结果。所以我想说,这就是采用这个范围的影响。

球队的一个:太好了,谢谢你。我们快没时间了。我想问你们一个关于未来的大问题,你们的计划是什么,或者你们的组织在持久性和存储类内存方面的计划是什么?你认为你会投资更多还是更少,为什么,为什么不?如果你能给我们一个快速的答复关于你们组织的计划,也许我们可以从埃里克·卡普曼开始。

22:36埃克:是的,它肯定是朝着我们公司的方向发展的,因为它似乎足够快,可以满足我们大部分的业务需求。对于不同的特定应用程序,仍然会有不同类型的存储和内存使用。但我认为,一般来说,我们可以说,这可能是一个方向,因为它已被证明是企业级的,这意味着,在这里,它与分布式数据中心的工作方式与我们现有的一样。我们重视很多企业功能,我认为这将是一个方向,尽管对其他类型的特定存储用途仍有各种需求。

23:30安:太好了,谢谢你,埃里克。托尼?

23:33 TH:对于I/O密集型应用,我们肯定会坚持使用持久内存,但对于CPU密集型应用,我们正在重新考虑是否坚持使用Intel,因为AMD在过去12个月内每CPU发布的内核数量要多得多,我们正在考虑将一些CPU密集型工作负载迁移到AMD EPYC平台,以利用这些更多的内核。所以对我们来说,这有点像我们必须做出决定,这不是一刀切的解决方案。同样,它归结为应用程序分析和用例。

24时20分:谢谢你,托尼。恩斯特?

24:23如:所以操作模型是建立和保持与体系结构和规模,所以一种约束的事实是所有的扩展和向外扩展,一个规模限制的事实是,它基本上不容易使如果你想做剧烈的变化。所以任何改变都是温和的,所以我认为我们会坚持下去,它将线性增长,它不会获得更多的份额,我想说,我们将保持20%的SSD在我们的足迹,但它肯定会线性增长。

25:13安:谢谢你!埃里克,听了这个,你怎么想?存储类或持久内存在哪里?你说了算。

二五21海尔哥哥:事实上,我想强调两件事,我认为我们从小组成员那里听到的,第一,他们显然是在他们的关键任务的工作中使用这项技术,所以似乎没有担心技术是否准备好了黄金时间。

我从每个小组成员那里听到的另一个意见是,尽管方式不同,但有一个TCO的理由可以证明这一点,即使媒体类型和基于它的设备很昂贵,如果你把它放在一个可以带来底线业务收益、更高佣金收入、更大数量等的工作负载中,有一个TCO论点是可以提出的。所以,我觉得这很有趣。

当然,展望未来,随着生产这类产品的公司实现批量生产,这类产品的价格将会下降,我认为这将允许在更广泛的工作负载中使用这类存储介质。当我们从MLC到TLC再到QLC时,我们当然已经看到了常规NAND闪存的这种情况,即使现在,我们也开始看到一些技术被部署到对延迟不敏感的辅助存储工作负载上。虽然我不认为这种情况会很快发生在基于3D XPoint的媒体上,但随着时间的推移,随着每GB美元的下降,我们将看到这种技术用于更广泛的工作负载。

26:44安:太好了,谢谢你,埃里克,这真的很有见地。说到这里,我们没时间了,但我要感谢你们所有人,恩斯特、托尼、埃里克和埃里克,感谢你们抽出时间,非常感谢你们的见解。我认为这是一个。这是一个非常活跃的空间,我们IDC肯定会很好地跟踪它,但再次感谢您的时间和见解。祝你有美好的一天。

二七11 EK:谢谢你!

27:12 TH:谢谢你!

27:13如:谢谢。

27:13海尔哥哥:谢谢你!

深入挖掘闪存

搜索灾难复苏
搜索数据备份
搜索汇聚基础设施
接近
Baidu