mapreduce提出了乙個程式設計模型，該模型將問題進行抽象，並轉換為乙個資料集(由鍵值對組成)的計算。該計算由map和reduce兩部分組成，提供對外的介面。
定址時間的提高遠遠慢於傳輸速率的提高。mapreduce比較適合以批處理方式處理需要分析整個資料集的問題(ad-hoc)，一次寫入、多次讀取資料。rdbms適用於點查詢和持續更新的資料集。
mapreduce適合處理半結構化和非結構化資料，比如分析應用服務日誌。
資料本地化、無共享、mpi自身檢查和恢復。
yahoo! search有4個主要組成部分：crawler從網頁伺服器爬取網頁，webmap構建乙個已知網頁的鏈結圖，indexer為最佳頁面構建乙個反向索引，runtime處理使用者的查詢。
hadoop專案
python學習筆記 高階函式map reduce
既然變數可以指向函式，函式的引數能接收變數，那麼乙個函式就可以接收另乙個函式作為引數，這種函式就稱之為高階函式。乙個最簡單的高階函式 def add x,y,f return f x f y 當我們呼叫add 5,6,abs 時，引數x，y和f分別接收 5，6和abs map deff x retu...
Hadoop學習筆記（一）初識Hadoop
研究生階段將要接觸大資料和深度學習的知識，在網上找的教程大多一上來就是一堆名詞又解釋不清楚，對新手相當不友好，在慕課網看到乙個教程，利用部落格記錄下自己學習的過程。關於hadoop 最好的介紹莫過於官網的文件，hadoop的官網如下，我們一句一句來看看hadoop官網是怎麼介紹的。the apach...
Hadoop學習筆記（一）
apache旗下頂級開源專案之一 主要用於解決海量資料下的儲存 分析 主要優勢有 高可靠性 高擴充套件性 高效性高容錯性 其中mapreduce和hdfs hadoop distribute file system 是hadoop核心 mapreduce的核心是對資料的排序優化 hadoop經典版本...