先說說pid檔案的預設位置為什麼必須修改，原因在我的hadoop部署那節也提到過是因為/tmp目錄下的檔案有30天不訪問的話就會自動清理。它的作用是程序的啟動和停止都需要依賴此對應的pid檔案
pid檔案預設是儲存在/tmp下的，如下圖：
經過第二步的測試，修改pid檔案的話會影響hadoop的重啟，究其原因檢視它啟動的shell指令碼：
start
echo $! > $pid
stop
target_pid=`cat $pid`
if kill -0 $target_pid > /dev/null 2>&1; then
echo stopping $command
kill $target_pid
sleep $hadoop_stop_timeout
if kill -0 $target_pid > /dev/null 2>&1; then
echo "$command did not stop gracefully after $hadoop_stop_timeout seconds: killing with kill -9"
kill -9 $target_pid
fielse
echo no $command to stop
fi
hadoop程序pid檔案問題
由於機器伺服器維護需要，要求hadoop集群的一台伺服器停止服務，於是我就到那台伺服器去停止hadoop的datanode和tasktracker，執行以下命令 bin hadoop daemon.sh stop datanode 竟然輸出 no datanode to stop 但是檢視程序，卻發...
hadoop程序pid檔案問題
hadoop啟動後的pid檔案預設配置是儲存在 tmp目錄下的，而linux下 tmp 目錄會定時清理，所以在集群執行一段時間後如果在停hadoop相關服務是會出現類似 no datanode to stop的錯誤提示，一般生產環境中我們需要重新修改pid的儲存路徑。由於機器伺服器維護需要，要求ha...
hadoop中的檔案壓縮
1 減少磁碟的儲存空間 2 減少磁碟io和網路io 3 加快資料傳輸速度 磁碟和網路 如果小檔案多明顯檔案傳輸會明顯降低 1 考慮檔案的壓縮效率 壓縮快慢 2 考慮檔案的壓縮比 解壓快慢 第一點好理解，壓縮的快肯定好 第二點是壓縮比，舉例現在有乙個10g的檔案，一種壓縮演算法能把他壓縮成1g，其他壓...