前段時間遇到
hdfs
的各種超時，這裡總結下遇到的超時：
ipc1.
ipc connect timeout:
在2.client
端setupconnection
設定，2.0.3
之前是20s
，之後是可配置
ipc.client.connect.timeout
ipc max idle time
：ipc.client.connection.maxidletime
設定，預設
20s，若在
20s內
calls
依然為空則主動關閉；在
server
端該值為×2
3.ipc ping timeout
：在client
端由ipc.ping.interval
設定，預設
1min
，定期重新整理最後更新時間.
4.rpc timeout
：在call
呼叫內由客戶端設定
socket
1.ipc
連線的socket timeout
：若rpctimeout>0
則去rpctime
，否則為
ipc.ping.interval
2.connect/read timeout
：dfs.client.socket-timeout
，預設read_timeout = 60 * 1000
，read_timeout_extension= 5 * 1000,connect timeout還未分離（hdfs-1075）
3.write timeout
：dfs.datanode.socket.write.timeout
，預設write_timeout = 8 * 60 * 1000
，write_timeout_extension= 5 * 1000
HDFS中常用的shell命令
顯示當前目錄結構 hadoop fs ls顯示當前目錄結構 hadoop fs ls r遞迴顯示當前目錄結 hadoop fs ls顯示根目錄下的內容 建立目錄 hadoop fs mkdir建立目錄 hadoop fs mkdir p 建立遞迴目錄 刪除操作 hadoop fs rm刪除檔案 ha...
HDFS常見API操作
乙個剛開始學習大資料的小白，願意和大家分享所學所得。1 put 檔案上傳 對應hadoop fs put 等同於hadoop fs copyfromlocal 上傳檔案 test public void put throws ioexception,interruptedexception由上面所見...
oracle常見單詞 Oracle中常見的英語單詞
fatal 重要的，致命的。常見於 root dido1 ps ef grep init.cssd root 2918 1 0 09 59 00 00 00 bin sh etc init.d init.cssd fatal dependencies 附屬的 diagnostic 診斷 常見於 ro...