本内容是《基本指南》的一部分: 数据中心存储架构的演变
评估 权衡你正在考虑的技术、产品和项目的利弊。

要有效地进行大数据分析,需要ssd吗?

存储专家Phil Goodwin解释了固态硬盘如何加快分析速度,但固态技术只在特定类型的环境中需要。

要有效地进行大数据分析,固态硬盘是必要的吗?

首先,让我介绍三种不同类型的固态硬盘(SSD)部署。第一个是服务器端缓存你有一个直接安装到服务器上的SSD。第二种是存储端缓存,我将其描述为第0层,即在阵列的特定层中使用SSD自动存储分层.第三个是全ssd存储阵列。

现在,直接回答这个问题,ssd对于高效地执行大数据分析是必要的吗?答案是否定的,但这取决于您的环境是否如此CPU绑定或I / o限制。在分析中有两个重要的组成部分:处理和I/O。如果您受到cpu的限制,或者在处理方面非常重,那么更多的I/O并不能给您带来多少好处——您确实需要更快的处理器。另一方面,如果您正在读取大量数据——递归地从顺序读取中拉入大量数据——以及类似的事情,那么您肯定会受到I/ o限制,SSD肯定会在高效执行大数据分析方面有所帮助。

因此,如果环境是受I/ o限制的,那么问题是,哪种SSD部署更好?在许多情况下,如果需要反复读取数据,那么最好使用服务器端缓存或Tier 0。另一方面,如果你正在阅读大量数据的顺序而非递归,你可能会更好all-SSD存储阵列,在你得到大量的性能在整个数据集,并在这样做,你可以得到一些惊人的性能结果的配置。

关于作者:
Phil Goodwin是一名存储顾问,也是TechTarget的常客。

深入挖掘大数据存储

搜索灾难复苏
搜索数据备份
搜索聚合基础设施
关闭
Baidu