1.hdfs1分布式檔案系統01
2.hdfs1分布式檔案系統02
3.hdfs1分布式檔案系統03
4.hdfs1分布式檔案系統04
5.hdfs1分布式檔案系統05
6.hdfs1分布式檔案系統06
7.hdfs1分布式檔案系統07
8.hdfs1分布式檔案系統08
9.mr分布式計算框架_理論1
10.mr分布式計算框架_理論2
11.mr分布式計算框架_理論3
12.mr分布式計算框架_install
13.mr分布式計算框架_wc01
14.mr分布式計算框架_wc02
15.mr_qq推薦好友01
16.mr_qq推薦好友02
17.mr_精準廣告推送01
18.mr_精準廣告推送02
19.hadoop2.x_介紹01
20.hadoop2.x_介紹02
21.ha介紹01
22.ha介紹02
23.hadoop2.5.2的安裝部署01
24.hadoop2.5.2的安裝部署02
25.hadoop2.5.2的安裝部署03
26.溫度排序，分割槽，分組，自定義封裝類01
27.溫度排序，分割槽，分組，自定義封裝類02
28.溫度排序，分割槽，分組，自定義封裝類03
29.廣告推送使用者軌跡01
30.廣告推送使用者軌跡02
31.廣告推送使用者軌跡03
32.介紹和安裝01
33.介紹和安裝02
34.ddl資料定義語言01
35.ddl資料定義語言02
36.dml資料操作語言_select01
37.dml資料操作語言_select02
38.server2伺服器01
39.server2伺服器02
40.軌跡分析01
41.軌跡分析02
42.理論
43.介紹01
44.介紹02
45.介紹03
46.介紹04
47.介紹05
48.完全分布式01
49.完全分布式02
50.**01
51.**02
52.微博01
53.微博02
54.優化01
55.優化02
Hadoop系列 Shuffle過程詳解
ok，看到這裡時，大家可以先停下來想想，如果是自己來設計這段shuffle過程，那麼你的設計目標是什麼。我想能優化的地方主要在於減少拉取資料的量及盡量使用記憶體而不是磁碟。我的分析是基於hadoop0.21.0的原始碼，如果與你所認識的shuffle過程有差別，不吝指出。我會以wordcount為例...
大資料入門教程系列之Hadoop環境搭建 軟體準備
本篇文章主要介紹大資料入門教程環境搭建所需要的軟體 環境配置等，為後面的學習做準備。1 安裝vmware及新建虛擬機器 安裝vmware及新建虛擬機器 2 vmware中安裝centons7 虛擬機器vmware中安裝linux系統centos 3 設定靜態ip centos7設定靜態ip以及win...
海牛 Hadoop 系列教程（一） 伺服器基礎環境
yum install y lrzsz mv etc yum.repos.d centos base.repo etc yum.repos.d centos base repo bak mv centos base.repo etc yum.repos.d yum clean all yum mak...