還是按上次安裝的hadoop
cd /home/hadoop
mkdir test
vi user.txt:
1,張三，23，beijing,10086,
2,李四，34，shanghai,10000,
3,王五，20，beijing,10010,
#!/usr/bin/php
$count = 0;
while($line = fgets(stdin)) {
$line = trim($line);
$user = explode(',', $line);
echo $user[3]." 1\n";
vi reducer.php:
#!/usr/bin/php
$result = array();
while($line = fgets(stdin)) {
list($city, $count) = explode(' ', $line);
if(!isset($result[$city])) $result[$city] = 0;
$result[$city] += $count;
foreach($result as $key=>$value){
echo "$key $value\n";
chmod +x reducer.php
把這個test同步到每個節點同樣的位置上
除錯:執行:
/usr/local/hadoop/bin/hdfs dfs -mkdir /user
/usr/local/hadoop/bin/hdfs dfs -mkdir /user/hadoop
/usr/local/hadoop/bin/hdfs dfs -mkdir /user/hadoop/input
/usr/local/hadoop/bin/hdfs dfs -put /home/hadoop/test/user.txt /user/hadoop/input
結果:檢視結果:
/usr/local/hadoop/bin/hdfs dfs -cat output2/*
如果發現資料夾已存在: /usr/local/hadoop/bin/hdfs dfs -rm -r -f output2
使用php來做守護程序
起源 linux unix下守護程序 daemon 大家都知道，比如我們常用的httpd mysqld等等，就是常駐記憶體執行的程式，類似於windows下的服務。一般守護程序都是使用c c 來寫，就是通過fork生成子程序，當前臺shell下的父程序被殺掉，子程序就轉到後台執行，為了不在終端產生輸...
使用php來實現網路服務
作者 samisa 以下文中的翻譯名稱對照表 payload 交談內容 object 例項 function 函式 使用 php來實現網路服務 使用框架 wso2 wsf php 安裝環境 windows 或者 linux 厭惡於眼下計算機文章夾雜無數難懂的翻譯以及術語，此處盡量使用口語以及漢語。w...
使用C語言來擴充套件PHP，寫PHP擴充套件dll
以前寫過一次php擴充套件dll，那個是利用呼叫系統的com口實現的擴充套件，與php不能真正融合。心血來潮，研究了一下php的原始碼，網上找了一些資料，自己嘗試寫了乙個擴充套件dll，測試沒問題。下面記錄一下具體擴充套件方法 3 把vc 6.0安裝目錄中的 microsoft visual stu...