hadoop job命令支援通過xml檔案的方式提交任務。
命令：hadoop job -libjars some.jar -submit testjob.xml
mapred.jar
some.jar
mapred.job.name
somejob
mapred.mapoutput.key.class
org.apache.hadoop.io.text
mapred.mapoutput.value.class
org.apache.hadoop.io.text
mapred.output.key.class
org.apache.hadoop.io.text
mapred.output.value.class
org.apache.hadoop.io.nullwritable
mapreduce.map.class
mapreduce.reduce.class
com.some.somemr$reducerimpl
mapred.output.value.groupfn.class
com.some.base.mrgroup
mapreduce.partitioner.class
com.some.base.mrpartion
mapred.reduce.tasks
6mapred.input.dir
hdfs:/testinput
mapred.output.dir
hdfs:/testoutput
jobtemplate.xml內容過多，都是hadoop的通用配置，在hadoop幾個配置檔案中應該能找得到（可以從提交的任務中提取公共部分）。
hadoop中兩種上傳檔案方式
記錄如何將本地檔案上傳至hdfs中 前提是已經啟動了hadoop成功 nodedate都成功啟動 先切換到hdfs使用者 建立乙個user件夾 bin hdfs dfs mkdir user hadoop目錄下 多級建立的時候 hdfs dfs mkdir p wifi classify 檢視建立的...
用linq方式查詢重複檔案
用linq方式在一組資料夾及兩組資料夾中查詢重複檔案，並可移動或刪除重複檔案 在10萬級別以上檔案中試用，效果良好 一 在一組資料夾中查詢重複檔案 已讀取完畢的檔案資訊及md5的entity listarr filesmd5 tmp new list 要查詢檔案數,i checkfilescount...
用ODBC方式操作dbf檔案
版本 2 支援庫 spec 程式集 視窗程式集1 程式集變數 集控制代碼,整數型 程式集變數 集dbf檔名,文字型 子程式 按鈕1 被單擊 集dbf檔名 2年 除錯輸出 外部資料庫1.開啟 driver dbq 取當前目錄 除錯輸出 外部資料庫1.取連線文字 集控制代碼 外部資料庫1.查詢 sele...