Hadoop之MR簡單例子（手機號分組和統計）

按手機號的前三位劃分，相同則為一組

public class areapartitionerextends partitioner

@override
public int getpartition(key key, value value, int numpartitions) 
}

public class phonecount }}

public static class phonecountreducer extends reducer
this.result.set(sum);
context.write(key, this.result);}}
public static void main(string args) throws exception ;
path path = new path(otherargs[1]);
filesystem filesystem = path.getfilesystem(configuration);
if (filesystem.exists(path)) 
// 設定輸入/輸出資料存放位置
fileinputformat.setinputpaths(job, new path(otherargs[0]));
fileoutputformat.setoutputpath(job, new path(otherargs[1]));
system.exit(job.waitforcompletion(true) ? 0 : 1);}}

hadoop之 yarn （簡單了解）

yarn通過兩個 守護執行緒提供核心服務 resourcemanager，管理集群所有資源的切分以及作業的排程與監控 nodemanager，執行在集群所有節點上，啟動並監控容器的執行狀況，並負責向resourcemanager匯報。在linux上，hadoop是通過cgroup技術實現contai...

Shader簡單例子之溶解

shader custom s2 cankaotex 單通道的圖 2d white 這張圖呢 試驗的話 隨便找個 只有r通道 的即可.當然可可以只有b,也可以不僅僅有r通道,只是去這張圖的r值進行是否溶解的乙個判斷標準 寫漢字只是為了更好理解.rongjietime 完全溶解所需時間 second ...

網路爬蟲之簡單例子

網路爬蟲的簡單例子 京東頁面的簡單爬取 import requests url try r requests.get url r.raise for staus print r.text 1000 except print 爬取失敗 對於像亞馬遜的 會反爬蟲需要偽裝成瀏覽器 import reque...