分類
故障描述
客戶存算分離,將Hive數據從本地HDFS遷移到EMC A300 HDFS存儲。
故障分析
無
處理過程
1、前期預遷移hdfs文件:hadoop distcp -pugpt -update -skipcrccheck -m 24 /user/hive hdfs://A300.corem.local:8020/user/hive
2、停止hive服務,增量遷移hadoop distcp -pugpt -update -skipcrccheck -m 24 /user/hive hdfs://A300.corem.local:8020/user/hive
3、Mysql導出元數據表:mysqldump -hlocalhost -uhive -p --databases hive > hive_bk.sql
4、替換hive_bk.sql文件中間的路徑關鍵字:sed -i 's/master-1/A300.corem.local/g' hive_bk.sql
5、在Mysql里成導入hive_bk.sql:
mysql -hlocalhost -uhive –p
mysql> source hive_bk.sql
6、啟動hive服務,檢查狀態,通過show database,select等檢查表狀態。
建議/總結
1.HDFS文件部分,需多次同步更新,最終停止業務后再同步一次即可。
2.元數據表里保存了表的保存路徑。需替換相應數據。確保更新后路徑一致。