WANdisco将配置单元元数据迁移引入Databricks

WANdisco在其LiveData Migrator产品中引入了一项新功能，允许客户将Apache Hive的元数据转移到Databricks中。

尝试将本地Hadoop迁移到云中的DataRicks的客户现在可以使用LiveData Migrator的新功能来确保在目标位置的完整功能。LiveData Migrator在迁移过程中以增量方式将配置单元元数据转换为增量格式，因此Hadoop数据在DataRicks上着陆后将保持它们之间的关系。

以前，当将Hadoop数据迁移到云时数据仓库，LiveData Migrator只移动原始数据本身，而不移动它们之间的依赖关系。为了确保他们的应用程序在进入云中后仍能正常工作，客户必须通过将Hadoop代码重新编写到新的云架构中的劳动密集型过程手动重新建立这些关系。

WANdisco现在为砖，使Hadoop和Hive数据立即可在Databricks上的Delta Lake中使用。

“仅仅移动数据是不够的，”WANdisco首席执行官大卫·理查兹（David Richards）说。

转换HadoopRichards表示，Hive数据落地后，用户可以更快地使用基于云计算的新数据和应用程序，而无需手动操作固有的失败风险。客户的Hadoop环境往往在PB (PB)的规模，这使得云迁移任务更加困难。客户认识到迁移是必不可少的，因为另一种选择是继续购买硬件来支持环境的增长——这最终将变得不可持续，Richards说。

LiveData Migrator可以在迁移中期将数据源中的更改反映到数据目标中，并且可以对配置单元元数据迁移执行相同的操作。随着所有正在进行的更改都被捕获，客户不必关闭其生产环境来执行迁移。Richards说，一些WANdisco客户每秒处理数百万笔交易，这使得任何数量的停机都不可行。

LiveData Migrator的Hive元数据迁移功能目前仅适用于Databricks，但WANdisco正在努力将其扩展到雪花. Richards说，WANdisco首先瞄准了Databricks，因为大多数Hadoop用户都在迁移Databricks。

大多数迁移工具只移动数据，这使得WANdisco的新功能相对独特。下一条路是另一家迁移供应商，它可以执行PB级到云数据仓库的迁移，同时保持数据相关性完好无损。

高德纳研究副总裁Merv Adrian表示，Hadoop环境的云计算之旅是“不可避免的”。在每一种环境下，客户都会权衡云计算成本和硬件的贬值。对于大型Hadoop环境，云提供了更大的价值主张。

有很多人有很多Hadoop节点，这是一个让人担心的降低风险的过程。

阿德里安说，移动到云端是一个棘手的部分。这是一个耗时、手动、危险且具有破坏性的过程。这也是一种单向运动，因此任何组织都不太可能有执行迁移的专家人员。阿德里安说，第三方供应商将具备这种专业知识，是最安全的选择，使万迪斯科能够很好地应对新兴市场。

Adrian说:“很多人使用Hadoop的很多节点，这降低了人们担心的过程的风险。”

Hadoop迁移的最大障碍是它是一个高事务处理的环境，因此数据的变化率是很高阿德里安补充道。WANdisco最大的好处之一是，它可以允许环境在迁移过程中正常运行。