1.
使用eclipse上傳資料到集群時候，沒有許可權，需要在hdfs-site.xml新增 dfs.permissions 為false，最好也修改chown 。。。
3.
hadoop確定分組時,一般先將作為key的物件的hashcode和0x7fffffff做與操作,因為乙個物件的hashcode可以為負數,這樣操作後可以保證它為乙個正整數.然後以hashtable的長度取模,得到值物件在hashtable中的索引
4.
可以在mapred-site.xml，新增mapred.task.timeout屬性，1800000
的值，增加等待時間
index = (o.hashcode() & 0x7fffffff)%hs.length;
5.
單個shuffle能夠消耗的記憶體佔reduce所有記憶體的比例，預設值為0.25。那麼降低mapreduce.reduce.shuffle.memory.limit.percentt這個引數應該可以使得程式選擇ondiskmapout而不是選擇inmemory，調低至0.06再測試
收集java常用的一些方法
1.判斷任意乙個整數是否素數 判斷任意乙個整數是否素數 param n return boolean public static boolean isprimes int n return true 2.全形字符轉半形字元 全形字符轉半形字元 param qjstr return string pu...
除錯介面的一些方法
什麼事情都是有乙個順序的，除錯也一樣，遵循一定的步驟就可以進行錯誤的逐一排查。方法二 看執行的程式裡面是否出現timeout這種錯誤。方法三 直接把訪問的ulr複製到瀏覽器裡面執行，看看結果。分為 get和post命令 get命令 方法一 通過瀏覽器來除錯這乙個介面 非常好 方法二 通過debug來...
集群的一些隨筆
nfs共享linux系統本身自帶，只需service nfs start即可啟動，其共享配置檔案在 etc exports裡新增，例子如下 share pub tomcat webroot 192.168.110.0 24 rw,no root squash memcached伺服器部署 直接 yu...