MapReduce 共同好友

2021-07-14 18:18:54 字數 1282 閱讀 4874

下面是a、b、c、d、e 5個人的好友情況:

a -> b c d

b -> a c d e

c -> a b d e

d -> a b c e

e -> b c d

第一行的意思是a有bcd 3個好友,下面幾行的以此類推。

請使用 map reduce 任務,完成共同好友這個功能。

要求:1. 描述清楚map和reduce函式的的輸入,輸出

2. (optional)將map 函式、reduce函式的輸出逐步演算出來

解答1.map輸入:(偏移量,原始資料)

map輸出:([使用者1,使用者2],使用者1和使用者2的共同好友)

reduce輸入:([使用者1,使用者2],使用者1和使用者2的共同好友)

reduce輸出:([使用者1,使用者2],[使用者1、使用者2的共同好友列表])

2.map輸入:

0 abcd

4 bacde

9 cabde

14 dabce

19 ebcd

map輸出:

bc a

bd a

cd a

ac b

ad b

ae b

cd b

ce b

de b

ab c

ad c

ae c

bd c

be c

de c

ab d

ac d

ae d

bc d

be d

ce d

bc e

bd e

cd e

reduce輸入:

bc a

bd a

cd a

ac b

ad b

ae b

cd b

ce b

de b

ab c

ad c

ae c

bd c

be c

de c

ab d

ac d

ae d

bc d

be d

ce d

bc e

bd e

cd e

reduce輸出:

ab cd

ac bd

ad bc

ae bcd

bc ade

bd ace

be cd

cd abe

ce bd

de bc

MapReduce找共同好友

a b,c,d,f,e,o b a,c,e,k c f,a,d,i d a,e,f,l e b,c,d,m,l f a,b,c,d,e,o,m g a,c,d,e,f h a,c,d,e,o i a,o j b,o k a,c,d l d,e,f m e,f,g o a,h,i,j if b els...

MapReduce尋找共同好友

1.測試檔案a b,c,d,f,e,o b a,c,e,k c f,a,d,i d a,e,f,l e b,c,d,m,l f a,b,c,d,e,o,m g a,c,d,e,f h a,c,d,e,o i a,o j b,o k a,c,d l d,e,f m e,f,g o a,h,i,j 2....

MapReduce實現尋找共同好友

給出a o個人中每個人的好友列表,求出哪些人兩兩之間有共同好友,以及他們的共同好友都有誰 原始檔案 a b,c,d,f,e,o b a,c,e,k c f,a,d,i d a,e,f,l e b,c,d,m,l f a,b,c,d,e,o,m g a,c,d,e,f h a,c,d,e,o i a,...