Hadoop總體印象

2022-03-26 23:34:33 字數 577 閱讀 9050

1.hadoop架構分兩部份:map與reduce

2.hadoop執行總體印象:

第一步:hadoop框架將輸入的資料(hdfs:分布式檔案系統),分割成固定大小的splits(大小為64m),為每乙個split建立乙個map任務用於執行程式設計師寫的map函式。split的格式:k->每行首字母在檔案中的偏移量     v->每行的字元;如<0,"hello world">

第二步:將作為引數傳遞給map(由程式設計師自定義邏輯處理它),map生成k1->為每個字元 v1->出現的次數;

如 <『hello』,'1'>  <'world','1'>  <'hello','2'> <'world','2'>

第三步:對k1進行排序;如 <『hello』,'1'><'hello','2'>     <'world','1'> <'world','2'>

第四步:combine進行組合,將結果傳給reduce函式;如<『hello』,'1,2'> <'world','1,2'>

第五步:reduce函式(由程式設計師自定義邏輯處理它)生成結果;如<『hello』,'3'> <'world','3'>

第六步:將結果存入hdfs

SD2 0 第2天總體印象

這段話,是打動我參會的話 在美國,各種軟體技術會議每年有200多場,而中國,規模比較大的技術會議通常由廠商舉辦,重點著眼在一家廠商的產品和技術 上。而在實際工作中,我們看到的是各種技術產品的綜合應用。技術大會給業界提供了直接快速了解軟體發展趨勢和動向的平台。因此,csdn與國外權威技術媒 體集團dr...

印象筆記的試用印象

用過有道筆記,現在正在用麥庫。總的來說,越來越依賴,感覺非常好用。現在已經超越我手機裡的鮮果聯播,成為第一常用的軟體了。不說麥庫,最近聽說evernote出了國內版,想起原來選擇手機筆記軟體時也比較過evernote,但登陸都成問題所以放棄了。對evernote我是一貫的仰慕,2.2版我一直用到現在...

初到深圳印象

在福州待了一年,去年三月份的時候到福州的,今年三月份離開的。在網龍的日子其實挺快樂的,也挺有收穫的。至少收穫了乙個女朋友。只是在網龍,日子過得太安逸了。上班 下班 過過星期天,沒事還可以出去玩玩,日子悠閒自得。只是感覺沒有什麼成長,每天寫的 就是那樣,沒有挑戰性,也沒有新鮮感。公司的效益一直不怎麼好...