在實際的生產環境中，我們的企業都有測試集群和生產集群，有的比較大型的企業有多個版本的hadoop 大資料集群，這時候有個這樣的需求，各個集群上的資源需要進行遷移，比如說一些生產集群需要一些測試集群的資料，需要將測試集群的上的資料拷貝到生產集群，這時候就需要使用到分布式拷貝（distributed copy）.
比較常見的有不同集群之間的資料遷移
hadoop distcp
當遇到多版本hadoop之間的資料遷移拷貝，用上面的命令會出現一些問題。在hdfs中有乙個hftp協議就能很好的解決這個問題：注意distcp使用絕對路徑進行操作。
hadoop distcp -i hftp://sourcefs:50070/src hdfs:
//destfs:8020/dest #i為覆蓋的意思，hdfs的埠為8020，網頁埠為50070，官網有錯
distcp的底層就是mapreduce。
分布式 分布式鎖
本質是利用redis的setnx 方法的特性來加鎖，setnx 即key不存在則設定key，否則直接返回false，要求在分布式系統中使用同乙個redis服務，以下提供兩種解決方案 1 直接使用redistemplate 這其實並不能完全保證高併發下的安全問題，因為可能在鎖過期之後該執行緒尚未執行完...
分布式 分布式事務
是資料庫執行過程中的乙個邏輯單位，由乙個有限的資料庫操作序列構成。事務的acid四大特性 原子性 atomicity 事務作為乙個整體被執行。一致性 consistency 從乙個一致的狀態轉換到另乙個一致的狀態。隔離性 isolation 多個事務併發執行時，併發事務之間互相影響的程度。永續性 d...
分布式之分布式事務
被人問到分布式事務，之前學rabbitmq 的時候學到過rabbitmq 高階的事務，因為沒有用過，所有沒有回答好。這裡總結一下。1.單機版事務。事務的四大特性 acid a.原子性 b.一致性 c.隔離性 d.永續性 單機事務可以通過設定事務的隔離級別 參見spring 的事務隔離級別 2.分布式...