yarn的日誌監控功能預設是處於關閉狀態的，需要我們進行開啟，開啟步驟如下
該配置中新增下面的配置：
/tmp/logs
yarn.nodemanager.resource.memory-mb
4096
yarn.scheduler.minimum-allocation-mb
2048
yarn.scheduler.maximum-allocation-mb
4096
yarn.nodemanager.vmem-pmem-ratio
5
mapreduce.framework.name
yarn
mapreduce.jobhistroy.address
master:10020
master:19888
五、 開啟日誌監控服務程序
在nodenode機器上執行 sbin/mr-jobhistory-daemon.sh start historyserver 命令，執行完成後使用jps命令檢視是否啟動成功，若啟動成功則會顯示出jobhistoryserver服務
[hadoop@hadoop001 hadoop]$ jps
28144 namenode
28433 secondarynamenode
31062 jps
28582 resourcemanager
28682 nodemanager
28269 datanode
29469 jobhistoryserver
hadoop yarn日誌報錯以及如何啟動聚合日誌
我們在hadoop集群一般需要在工作台檢視日誌，但是工作台檢視日誌一般會出現以下情況 上面的原因是由於yarn的日誌監控功能預設是處於關閉狀態的，需要我們進行開啟，開啟步驟如下 該配置中新增下面的配置 5該配置檔案中新增如下配置 若是有了的話，無需再次新增 mapreduce.framework.n...
如何使用聚簇索引
如何使用聚簇索引 聚簇索引是一種對磁碟上實際資料重新組織以按指定的乙個或多個列的值排序。由於聚簇索引的索引頁面指標指向資料頁面，所以使用聚簇索引查詢資料幾乎 總是比使用非聚簇索引快。每張表只能建乙個聚簇索引，並且建聚簇索引需要至少相當該錶120 的附加空間，以存放該錶的副本和索引中間頁。建立聚簇索引...
如何正確選擇聚類演算法？
本文將介紹四種基本的聚類演算法 層次聚類 基於質心的聚類 最大期望演算法和基於密度的聚類演算法，並討論不同演算法的優缺點。聚類演算法十分容易上手，但是選擇恰當的聚類演算法並不是一件容易的事。資料聚類是搭建乙個正確資料模型的重要步驟。資料分析應當根據資料的共同點整理資訊。然而主要問題是，什麼通用性引數...