【趙強老師】mapreduce數字的排序
mapreduce基於key的全排序的原理
如何使用mapreduce來做全排序？最簡單的方法就是使用乙個partition，因為乙個partition對應乙個reduce的task，然而reduce的輸入本來就是對key有序的，所以很自然地就產生了乙個全排序檔案。但是這種方法在處理大型檔案時效率極低，因為一台機器必須處理所有輸出檔案，從而完全喪失了mapreduce所提供的並行架構的優勢。
如果是分多個partition呢，則只要確保partition是有序的就行了。首先建立一系列排好序的檔案；其次，串聯這些檔案（類似於歸併排序）；最後得到乙個全域性有序的檔案。比如有1000個1-10000的資料，跑10個ruduce任務，如果進行partition的時候，能夠將在1-1000中資料的分配到第乙個reduce中，1001-2000的資料分配到第二個reduce中，以此類推。即第n個reduce所分配到的資料全部大於第n-1個reduce中的資料。這樣，每個reduce出來之後都是有序的了，我們只要concat所有的輸出檔案，變成乙個大的檔案，就都是有序的了。
趙強老師 SQL的排序
趙強老師 sql的排序 在oracle中，表中是以非指定順序儲存行資料記錄的，它不管行插入資料庫的順序如何。要按列以公升序或降序查詢行記錄，必須明確指示oracle資料庫要如何去排序。selectcolumn 1,column 2,column 3,from table name order by ...
趙強老師 Oracle RMAN指令碼基礎
趙強老師 oracle rman指令碼基礎 rman在資料庫伺服器的幫助下實現資料庫檔案 控制檔案 資料庫檔案與控制檔案的映像副本 歸檔日誌檔案 資料庫伺服器引數檔案的備份。rman的特點 傳統的exp與expdp備份工具，只能實現乙個完整備份而不能增量備份，rman採用備份級別實現增量備份，在乙個...
趙強老師 什麼是Redis Cluster
趙強老師 什麼是redis cluster redis cluster是redis的分布式解決方案，從3.0開始支援集群功能。redis集群採用無中心節點方式實現，無需proxy 客戶端直接與redis集群的每個節點連線，根據同樣的hash演算法計算出key對應的slot，然後直接在slot對應的r...