久久免费精品国产-日本道欧美一区二区aaaa-欧美资源一区,护士下面又紧又湿,天海翼一区,一本一道久久久a久久久精品蜜臀

跳轉到主要內容

Hive數據跨HDFS集群遷移

分類
故障描述

  客戶存算分離,將Hive數據從本地HDFS遷移到EMC A300 HDFS存儲。

故障分析

  無

處理過程

1、前期預遷移hdfs文件:hadoop distcp -pugpt -update -skipcrccheck  -m 24 /user/hive hdfs://A300.corem.local:8020/user/hive

2、停止hive服務,增量遷移hadoop distcp -pugpt -update -skipcrccheck  -m 24 /user/hive hdfs://A300.corem.local:8020/user/hive

3、Mysql導出元數據表:mysqldump -hlocalhost -uhive -p --databases hive > hive_bk.sql

4、替換hive_bk.sql文件中間的路徑關鍵字:sed -i 's/master-1/A300.corem.local/g' hive_bk.sql

5、在Mysql里成導入hive_bk.sql:

mysql -hlocalhost -uhive –p

mysql> source hive_bk.sql

6、啟動hive服務,檢查狀態,通過show database,select等檢查表狀態。

 

建議/總結

  1.HDFS文件部分,需多次同步更新,最終停止業務后再同步一次即可。

        2.元數據表里保存了表的保存路徑。需替換相應數據。確保更新后路徑一致。