关于企业存储,你需要知道的十件事
今天,供应商和最终用户都需要了解闪存的哪些方面?深入了解行业专家在过去一年中对该技术的关注,以及您现在应该了解的有关flash的十大关键事项。
00:04琼:好吧。大家好,欢迎来到我们一年一度的闪存峰会十佳事物小组。这通常是一个有趣的会议,我们都在讨论我们认为今年真正热门和真正值得注意的事情。好吧,闪存已经从仅仅几年前的一项令人兴奋的新技术迅速转变为真正的在线数据中心和云提供商基础设施的标准组成部分。在本次会议中,我们将分析我们的小组在今年注意到的关于flash的10件事。
那么,对于flash,供应商和用户都需要知道些什么呢?是3D技术的出现,高速NVMe的迅速崛起,持久内存的前景,flash和可扩展系统的作用,云,超大网站,flash存储网络的新方法,如NVMe over fabric,软件利用flash内存的方法,或者是覆盖从高速缓存到长期归档的所有内容的大型分层存储系统?
01:13简:所以,我们的顶级行业专家将为前10名名单提供他们自己的候选人,下面就是他们。你们会在屏幕上看到他们,我们有他们出现的顺序,Dave Eggleston in - cog Systems或者直觉认知咨询公司,是全称。左边是Tom Coughlin,他是Coughlin & Associates公司的总裁。IBM存储中心的Eric Herzog。我们有来自客观分析公司的吉姆·汉迪和英伟达网络公司的罗伯·戴维斯。他们实际上可以告诉更多关于他们开始时实际在做什么。每个人在开始的时候都会有2到2分半钟的时间来复习他们最喜欢的话题。我们将从Eric Herzog开始,他将讨论NVMe和软件的作用。埃里克,把它拿走。
02:10埃里克·赫尔佐格:好的,非常感谢你,Jean,IBM非常感谢你参加这次闪存峰会。所以,我的名字是Eric Herzog,我是IBM的CMO和全球存储渠道副总裁。我在存储行业工作了将近45年。我曾在几家财富500强存储公司工作过:Maxtor、Seagate和EMC,以及IBM,我还做过七家存储初创公司,感谢上帝,这七家公司中有五家已经被收购。
今天我们要讲的是flash和一些新技术的工作原理。因此,今年NVMe的地位有了惊人的提升。NVMe提供了一个性能框架,可以提高所有flash阵列的性能。这有两个方面。首先是存储系统内部的NVMe,存储阵列控制器使用NVMe与背板或背板通信,具体取决于存储子系统的设计,flash模块是NVMe启用的。我们从2018年夏天开始出货NVMe和所有的flash阵列。NVMe的一个神话就是它要花更多的钱,而我在这里要说的是,这是公牛曲棍球。
03:24嗯:当我们推出我们的第一个NVMe全flash阵列时,与没有使用NVMe的上一代相比,我们降低了30%的价格。今年2月,我们推出了第二代NVMe,全闪存阵列,我们的高端产品FlashSystem 9200它取代了我们之前的高端产品,FlashSystem 9100不仅更快,IOPS快了40%,延迟快了40%,而且价格便宜了12%。因此,NVMe成本更高的神话(至少从存储阵列的角度来看)是不正确的。
NVMe的另一个方面是结构中的NVMe。于是,我们开始发货通过光纤通道的NVMe一年半之前,也就是在我们第一次在存储阵列中启动NVMe之后的六个月。我们做几个行业论文会同织锦,其中一个是可用的,并且是我们的新产品,我们FlashSystem 9200年2月份出来显示性能大幅度提高Oracle决策系统,46%,其他一些性能指标在传统的事务性工作负载的块存储。
04:39嗯:首先,NVMe并不贵,这取决于你的供应商,但事实并非如此。此外,NVMe over Fabrics现在变得更受欢迎,而不是。顺便说一下,在今年早些时候发布的V7中,通过Fibre Channel的NVMe通过了VMware的认证,因为很多人可能更以系统为中心,而不是以软件为中心。我们在18个月前发布了它,我们确实有客户发布了它或在VMware上使用它,它只是没有“通过VMware认证”,但它是有效的。但是现在他们证明,因为一些公司现在更保守,VMware,这当然是最大的虚拟化平台目前在企业中,其中一些更为保守的客户现在就做,因为他们是,大多数应用程序虚拟化的75%到80%,所以他们会这样做。我们在flash阵列中看到的第二件重要的事。
05:36琴:继续,但你只有30秒。
05:39嗯:我会的。第二点是存储软件的重要性。这不是硬件的问题。我不应该说这不仅仅是硬件的问题,而是与存储软件配套的问题。复制吗?提前吗?加密吗?你是否使用基于ai的分层,这样你就可以从一个数组到另一个数组,或者从一个存储类内存到flash?或者我们的闪光灯变成行业标准的闪光灯?这些都是人们需要看到的东西对企业买家来说非常重要的东西,不仅仅是存储系统和它的参数,还有软件,软件如何帮助我?
06:13琴:好吧,为了时间,Eric,让我们把这部分结束,然后我们可以在第二轮回来。好吧?Dave Eggleston,你想从你的角度谈谈持久内存和人工智能工作量。
06:31 Dave Eggleston:确定。所以,我将从Eric的话题开始,NVMe无疑是行业的一个很好的突破。在今年的闪存峰会上,我们做了一个新专题,一个关于人工智能存储的完整专题,NVMe是其中一个基础性的专题…现在有了不同的计算元素。它不再只是CPU,你有CPU, gpu,这个叫做DPU的新东西,我相信Rob Davis会想谈更多,还有FPGA或专用ASIC,它们都处理人工智能工作负载的一部分。
那么你是如何将这些联系起来的呢?NVMe,无论是NVMe- of还是使用TCP的NVMe,或其他一些捆绑在一起的方式。为什么这很重要呢?因此,英伟达的Jensen在今年的GTC大会上谈到,为了管理人工智能,我们必须重新考虑整个计算架构。正如Eric所说,硬件和软件都有。我将在硬件方面稍微讲一下这个想法,如何减少CPU作为交通警察在不同处理元素之间移动数据的问题?
07:44 DE:其中一个关键的问题是,我们如何将一些工作转移到其他地方?可能在网络更远的地方,或者在存储控制器本身。所以计算存储一个SNIA都集中在相当长一段时间,让一些牵引我们把某些任务,他们是否加密,或做压缩和解压缩,或做数据库搜索在存储控制器本身的一部分,减轻CPU。再一次,DPU是…
一个新术语,它是SmartNIC在这种情况下,也将智能转移到那张网卡上,并在那里做更多的工作。所以我认为这是…让我把它扔回你,但我认为这是一个关键的东西我们看存储AI,是软件和硬件的变化,重新思考整个堆栈为了能够处理这件事,我喜欢称之为AI,野兽,我们不得不喂野兽有大量的数据。
为琴:戴夫,你还有30秒来谈谈持久记忆。
08:48德:我很乐意,我想吉姆和汤姆也会在这方面发表意见。让我把它作为人工智能存储的起点,因为我最近从英特尔看到的最有趣的事情之一是当你在使用存储时如果有不对齐的块或小的IO,你如何处理它?他们展示了一些新的东西,这就是所谓的DAOS,是他们拥有的一个特定的对象存储引擎,然后你把那些小的和没有对齐的IO发送到他们的持久内存内存中,而大的IO,大的块会被送到ssd中。当他们这样做时,他们立即跃升至IO500高性能计算排名的榜首,所以这是一个混合使用持久内存和存储可以真正有利于高性能计算和人工智能工作负载的例子。
09:46琴:这是非常棒的一个快速的回合,当然,我们会回到你。我相信,接下来,我们要讲的是罗伯·戴维斯。他将更多地谈论dpu和gpu,它们是什么,它们如何工作,以及它们为什么重要。所以,戴夫,我是说罗伯。[笑]
上午10:02抢劫戴维斯:谢谢你,珍,也谢谢你邀请我参加你的小组。所以DPU和GPU直接存储是我想讨论的两个主题。正如Dave所提到的,我们的首席执行官在VMware与Pat Gelsinger的主题演讲和GPU技术会议的主题演讲中多次提到DPU。
32琴:你们的会议叫GTC,对吗?
34采访:是的,没错。
大礼堂开幕琴:他们还能在网上看到吗?
38采访:绝对的。
38琴:我想他们可以,是的,好的,很好。
晚采访:当然,每个人都知道CPU是什么,多年来,CPU实际上是计算机中唯一可编程的元素,而最近,gpu或图形处理单元已经走到了最前线。最初,它们是用来传送图形的,当然是实时图形,但它们的并行处理能力使它们成为加速人工智能、深度学习和大数据分析等计算任务的理想工具。现在有了cpu和gpu为这些超大规模的数据中心提供动力,我们有了一个强大的新处理器类别,叫做DPUs或数据处理单元。因此,CPU用于通用计算,GPU用于加速计算,DPU用于加速数据中心中不同CPU和GPU元素之间的安全数据移动。
琼:三十八分对的,正确的。
39采访:我可以在接下来的部分详细介绍。
11:42琴:是啊,我觉得这说得通。肯定的。好的,非常感谢。接下来,我们将听到Tom Coughlin关于新兴记忆技术和他刚刚完成的一些研究。
Coughlin 11:55汤姆:好的,非常感谢你,珍。而且,能和你们一起参加讨论也很好。你所说的研究实际上是这里的另一个人,吉姆·汉迪和我,一个同事,我们做了一份报告,一份关于“浮现的记忆找到它们的方向”的报告,这个方向将会满足很多需求。
我认为Dave Eggleston暗示了一些事情,为了使…Eric在他谈到的一些系统方面新兴的内存技术无论是MRAM,电阻型RAM,相变存储器,甚至像铁电存储器这样的存储器都可能扮演更重要的角色。现在有电阻式RAM设备,相变存储器RAM设备,英特尔Optane就是其中之一。我想吉姆会讲得更多。还有磁随机存取存储器,我们看到这些在增加。首先,有一些独立的芯片已经用于许多应用程序的缓存和缓冲。
12:52 TC:事实上,Everspin公司是最大的独立MRAM产品制造公司,他们已经出货超过1.2亿片芯片。但除了这些离散设备之外,这些新兴存储器的大浪潮将出现在嵌入式产品中,这些产品适用于工业、服务器和消费类物联网应用。我们看到,总体上,特别是在3D XPoint和MRAM之间,到2030年,我们可以看到这类存储器的市场将达到360亿美元,这些设备的容量将大幅增加。
行传十三章36节的一句话TC:现在,嵌入式意味着它位于芯片本身内部,特别是一些将要驱动的应用程序,它们将成为人工智能应用程序的推理引擎,在终端完成,因此需要等待函数。有一家名为Ambiq的公司,该公司生产的芯片由TSMC制造,TSMC是世界上最大的铸造厂之一。他们最近宣布了他们的阿波罗4芯片,该芯片中有4兆字节的MRAM,或用于帮助AI类型的应用。
所有主要的铸造厂都在谈论制造MRAM和电阻型RAM产品。台积电还谈到,到今年和明年,将推出用于其他类型嵌入式应用的电阻式RAM产品。所以,如果你愿意,就会有一个不同类型的记忆的动物园,我们正在扩展整个记忆市场。有趣的是也不闪,可能SRAM在伸缩性方面达到了极限,我们可能会更多地进入一个……甚至对于DRAM应用来说,从易失性存储器转向非易失性存储器体系结构,这将对未来嵌入式设备和大型系统的设计产生巨大的影响。
15:01琴:哇,太好了。我想我们准时了,我们可以去找下一个人然后进行一般性讨论,好吗,汤姆?
15:09 TC:确定。
15:09琴:这是好吗?好吧。你们知道下一个小组成员,Jim Handy, Objective Analysis的主席,Jim今天会讲中国,亚太地区的flash,还有3D XPoint内存。所以,把它拿走,吉姆。
十五25吉姆·方便:哦,非常感谢,珍,你在这里组织了一个很棒的小组,所以我很期待公开讨论。
十五32琴:还有一件事,你能把音量调大一点吗?
15:36 JH:把它吗?
37琴:哦,好的。你说话不像其他人那么大声,说吧。
15时41分JH:哦,好的。很抱歉。这是……我用手机拍的,我觉得声音够大了。
15:46琴:哦,好的。好吧。
15:48 JH:那我就试着给你来个爆炸。
15:49琴:好吧。
15:50 JH:是的。所以,有很多有趣的事情正在发生。我从一个有点不同的角度与一些人,与我非常强大的芯片定位,汤姆确实提到,他和我工作的一个报告新兴的记忆技术,这是…我做的是芯片的东西,但有了3D XPoint,我也从芯片上看。我想说的是,我从内到外关注ssd和存储。这是一项有趣的技术,因为英特尔将XPoint整合在一起,以便给自己一个超越竞争对手的平台单元。我想,英特尔在几年前就有了这样的想法,如果他们能够在DRAM总线上制造一个更快的存储层,他们就能够在某些应用程序中提供更好的性能。Eric提到了像Oracle这样的东西,数据库应用程序通过利用ssd做得非常好,现在他们准备好做得更好通过利用持久内存,我想Dave Eggleston也谈过一点。
17:14 JH:这是一个非常引人注目的故事,英特尔在大约一年前就开始推出了他们的Xeon处理器,它与Xeon紧密结合。虽然,如果是最近剥离英特尔的NAND闪存业务向我们展示了他们的SSD业务并没有那么大。从一开始,我就期待着内存业务实际上会变得非常大,在其引入的几年内,每年筹集超过100亿美元。我们仍然可以看到,它比任何东西都要慢,你知道,当它是一个新的赌注时。
的一件事情客观分析,我公司是问题报告,和我们有一个报告3 d XPoint记忆,英特尔的Optane,很快我们会更新,但它有一个非常好的通过解释市场去哪里以及如何到达那里。
18:18琴:还有一些尺码,对吧,市场尺码?我说得对吗?
18:21 JH:是的。
18:21简:是的。
18:21 JH:是的,市场规模。我们做的另一件事对半导体市场研究公司来说有点不寻常,那就是我们实际上估计利润是多少。因此,我们一直在关注3D XPoint,英特尔已经投入了大量的资金,这将是一个……很抱歉。将得到拉动领先于其他记忆技术,新兴的记忆技术,那是他们的…事实上,他们非常想要这个,以至于在过去的三年里,他们每年都要投资几十亿美元。
18:56琴:吧,我不想剪短你那里,但是我们想起来一点,说怎么闪,这是我们整个会议的主题是什么,真的你和我交谈,几乎所有,它是由这个工厂在亚洲和你谈论,这是在中国,我们有其他工厂在日本供应。我知道SanDisk或者现在的西部数据,还有那个新公司…是Kioxia之类的。
19:26 JH:是的,哦,Kioxia,是的。
19:27琴:对,对,所以…
19:28 JH:我的发音可能不对。
19:31琼:我昨天问你的问题是,他们在美国哪里生产闪光灯?我想你的回答是在某个地方或者别的什么地方,是的。
十九38 JH:是啊,美光在弗吉尼亚州的马纳萨斯有家工厂是为美国政府生产芯片的。
19:44琼:这差不多是…
往后,JH:除此之外,NAND闪存几乎都是在美国以外制造的
19:48琴:对,那只是…
19:49 JH:现在可能是我谈论中国政府想要进入NAND闪存业务的好时机。
19:56琴:哦,是吗?
19:56 JH:他们有一家公司,YMTC,在过去的几年里,他一直是闪存峰会的主讲人,还有一些其他的公司,CXMT是一家DRAM公司,基于奇梦达的技术取得了一些成功,还有另一家公司,JHICC,它正努力实现产品的实际发货,但所有这些都是中国公司的努力,JHICC和YMTC都是以政府为导向的,CXMT有点走自己的路。但无论如何,这是一项进入内存业务的努力,对中国政府来说,这将有望使中国电子行业在该领域更加自给自足。
20:47琴:好吧,好吧,令人惊讶的是,也许也令人害怕的是,我们几乎是在闪电回合,因为我们有五个人。那么,让我们做一个闪电回合,让我们按照开始时的顺序。埃里克,在我们进行闪电回合的时候,你还有什么想指出的吗,只用一分到一分半钟的时间。
21:09嗯:有很多关于存储类内存的讨论。到目前为止,我们看到的关键是系统级的两种部署。一种是作为阵列控制器的缓存,另一种是作为标准内存,就像闪存、硬盘或磁带。在IBM,我们把它作为标准内存。我们的数组级别的性能在延迟和IOPS方面是业界最好的,这不仅是我们的记录,还有其他人的记录,所以我们不使用它,也不需要它作为缓存。也就是说,尽管它速度快,但与闪存相比,它的容量非常小,而且非常昂贵。所以闪电开始的时候,我们买了闪电,我们都叫他们速度恶魔。他们需要最快的速度,他们不在乎成本,事实上,在闪存出现之前,有一些公司会打包DRAM作为外部系统出售。
22:09嗯:有几个这样的公司,一个在旧金山湾区,德克萨斯记忆公司,它最终进入了flash,是其中的一个,还有其他一些公司。所以我们看到存储类内存在这个利基,速度恶魔想要它,其他人想要随着时间的推移,存储类内存将会下降或变得更大,这正是flash所发生的,现在flash是无处不在的。它是最畅销的分析师覆盖的数字在系统层面,第一所有闪存或第一阵列类型在世界上,都是闪存阵列,成本基本上是…它基本上扼杀了15000转的阵列业务和大部分混合阵列因为如果成本下降你就不需要它了。所以,存储类内存将会到达那里,但现在它真的是为速度恶魔船员,我们确实出售了一些,但与Flash相比,它是微不足道的。
22:56琴:好吧,我想我们去戴夫旁边吧。
23:00 DE:谢谢。让我以此为基础。Eric谈到了Optane或3D XPoint技术在ssd中的应用,Tom, Jim和我,我们在很多年前参加了一个非常有趣的小组讨论,对吧?当3D XPoint发布的时候,我记得我当时说过它的真正目的是把它用作主存储器。我们看到,随着Optane DIMMs的发布,它现在被用作主内存。FMS的几位演讲者将会谈论他们得到的加速度。我们看到持久内存的新用途有两个不同的领域,一个是内存数据库,内存计算,内存数据库,这是SAP HANA的加速。在这个领域,我们看到它以比DRAM更低的成本增加容量。
23:48德:我们看到它被使用的第二个地方,是最近的,就是每台服务器的vm数量,因此,这增加的内存比你能以更低的成本从DRAM中获得的内存要多。我最近遇到的第三个问题是一个计算下一个平台,一篇文章,看看如果你把一个高性能计算系统,现有的高性能计算系统,可能需要大约50瓦的记忆系统,如果你扩展,只是增加一倍的“核”数就可以,你需要多少内存,如果使用DRAM,将700瓦只是内存子系统,那是太多了。因此,我认为,我们在未来看到的另一个优势是,这些新的持久内存将被用作主存,但也会降低功耗,因为持久内存消耗的功耗比DRAM低得多。这就是我认为持久化内存作为主存的三种应用。
24:45琼:好的,非常感谢。抱歉,这里移动得太快了。所以,我认为罗伯,下一个是你,但我们必须保持简短。
24:54采访:可以我想谈谈内存不足的应用程序,这是GPU的问题,因为在人工智能中,提出算法和启动人工智能系统所需的数据量往往超过了嵌入式存储系统中的数据量,这就是为什么我们提出了一种新的方法来将数据移入和移出GPU,称为GPUDirect存储。它所做的是绕过整个CPU,GPU所在的CPU,完全绕过它的内存,使用RDMA技术将数据直接从网络移动到GPU的内存中,这是性能的一个数量级提升。该产品现在处于测试阶段,我们正在与许多不同的合作伙伴合作,几乎所有的主要参与者和许多初创公司都在合作。它需要RDMA,所以对于块接口,它是通过结构的NVMe,对于文件,它是通过RDMA的NFS。
26:10琴:好吧。好了,我们要结束了,但是我们会接受来自聊天和面对面的后续问题,非常感谢。汤姆,如果你有什么想说的,可以在这里说。
26:24 TC:是的,我想在别人说的基础上说一点……首先,我相信是埃里克说的,当你得到…制造更多的这种东西就会变得更便宜,这是半导体晶圆厂的基本原则,我的朋友吉姆也会指出这一点。在企业方面,有一件有趣的事,我想在过去几周,我可能已经听过,12种不同的产品使用了Optane。有趣的是,这是SSD NVMe版本,以及他们在那里谈论的内存,所以它真的占据了主导地位。
27:00 TC:Dave说过,省电。它指出,对于DRAM来说,这是很重要的。它还会给你,例如,如果你在一个电池驱动的设备,一个物联网设备,或某种可穿戴设备中,你有一个SRAM,例如,如果你关闭电源,数据消失了,你必须重新填充它。例如,MRAM就不是这种情况。这些是肯定的东西,这些小利基,新的特殊应用,随着它们的积累,随着它们体积的增加,它降低了制造成本,它让人们把MRAM的制造从后端可能更接近实际设备的制造。所以,我认为这将是一个巨大的游戏规则改变者。
27:46琴:好吧。然后很快地,继续…非常感谢。接下来是吉姆。吉姆,我们得快点结束了。去做吧。
27:55 JH:是的。我同意汤姆和戴夫的观点,并引入一点埃里克所说的,在过去,我们认为计算系统有两个要素,那就是成本和性能,而现在每个人都在谈论能源,有了这些新技术,你不仅能够获得更好的成本性能,因为你将存储设备拉近了处理器的距离,或者像Mellanox所说的那样进行通信……以更高的速度,但你也能够降低能量,因为你只是使用更少的计算资源来完成相同的任务。所以,这三个因素加在一起,性能,成本和功率真的很重要。
28:49琴:正确的。我不想就此结束,但这应该是一个简短的疗程。让我对大家说声谢谢,我还提出,这可能是个很大的错误,我建议大家在会议结束后给我发后续邮件当我们进行现场问答时,他们可以把任何额外的问题发送到我的邮箱,哦,不,[受电子邮件保护],我会把这些信息发给你想听的人,好吗?非常感谢大家,非常感谢。
29:26嗯:谢谢你,简。
29:27琴:好吧。再见,伙计们。非常感谢。
29:29德:谢谢你!
29:30琴:好吧。