hadoop遠端除錯

jdwp 設定

jvm本身就支援遠端除錯，eclipse也支援jdwp，只需要在各模組的jvm啟動時載入以下引數：

dt_socket表示使用套接字傳輸。

address=8000

jvm在8000埠上監聽請求，這個設定為乙個不衝突的埠即可。

server=y

y表示啟動的jvm是被除錯者。如果為n，則表示啟動的jvm是偵錯程式。

suspend=y

y表示啟動的jvm會暫停等待，直到偵錯程式連線上才繼續執行。suspend=n，則jvm不會暫停等待。

需要在$hadoop_home/etc/hadoop/hadoop-env.sh檔案的最後新增你想debug的程序

#遠端除錯namenode

export hadoop_namenode_opts="-agentlib:jdwp=transport=dt_socket,address=8888,server=y,suspend=y"

#遠端除錯datanode

export hadoop_datanode_opts="-agentlib:jdwp=transport=dt_socket,address=9888,server=y,suspend=y"

#遠端除錯rm

export yarn_resourcemanager_opts="-agentlib:jdwp=transport=dt_socket,address=10888,server=y,suspend=y"

#遠端除錯nm

export yarn_nodemanager_opts="-agentlib:jdwp=transport=dt_socket,address=10888,server=y,suspend=y"

idea 遠端除錯 IDEA遠端除錯

大部分測試環環境和本地環境有區別，在本地上也很難搭建起一套完整的服務，所以導致了在本地可以發布到伺服器上卻出現各種問題，這時候我們就可以借助遠端除錯來幫助我們快速的定位問題的所在。遠端除錯需要在伺服器上部署與本地一致的 xdebug xrunjdwp transport dt socket,serv...

Hadoop除錯日誌

1.export hadoop root logger debug,console 2.使用hadoop shell命令daemonlog 192.168.142.111 9870，這裡的埠是http埠3.通過web介面 使用者可以通過web介面檢視和修改某個類的日誌級別，比如，可通過以下url修改...

Hadoop除錯記錄 2

自從上次調通hbase後很久沒有碰hadoop了，今日想寫乙個mapreduce的小程式。於是先執行了下自帶的wordcount示例程式，卻報錯了。資訊如下 kevin ubuntu usr hadoop hadoop bin hadoop jar hadoop examples 1.2.1 jar...