redis 數據遷移,hadoop 集群間數據遷移

 2023-10-18 阅读 25 评论 0

摘要:? ? hadoop集群之間有時候需要將數據進行遷移,如將一些保存的過期文檔放置在一個小集群中進行保存。 ? ? 使用的是社區提供的功能,distcp。用法非常簡單: ? ??hadoop distcp hdfs://nn1:8020/foo/bar ?hdfs://nn2:8020/bar/foo ? ? 加上參數 -i 表示不用

? ? hadoop集群之間有時候需要將數據進行遷移,如將一些保存的過期文檔放置在一個小集群中進行保存。

? ? 使用的是社區提供的功能,distcp。用法非常簡單:

? ??hadoop distcp hdfs://nn1:8020/foo/bar ?hdfs://nn2:8020/bar/foo

? ? 加上參數 -i 表示不用去管failure -m 設置map數

轉載于:https://www.cnblogs.com/sidmeng/archive/2012/04/01/2428283.html

版权声明:本站所有资料均为网友推荐收集整理而来,仅供学习和研究交流使用。

原文链接:https://hbdhgg.com/2/148104.html

发表评论:

本站为非赢利网站,部分文章来源或改编自互联网及其他公众平台,主要目的在于分享信息,版权归原作者所有,内容仅供读者参考,如有侵权请联系我们删除!

Copyright © 2022 匯編語言學習筆記 Inc. 保留所有权利。

底部版权信息