一、某日saas環境磁碟水位過高，一共500g，已經被占用了450g以上，故檢視hdfs各目錄分別占用多少空間，
1、hadoop fs -help （若熟悉命令，可忽略）
2、hadoop fs -du -h /
發現是/hive下資料量突出
3、hadoop fs -du -h /hive
繼續找到是哪個schema和table的資料量最大，一般是hive/user/warehouse下
二、hive不區分大小寫，schema和table統一使用小寫，mysql是可以配置的，pg中也建議小寫，若有大寫字母，必須用雙引號
三、執行緒池佇列的使用
分為三種，直接提交的synchronousqueue、無界佇列linkedblockingqueue，有界佇列arrayblockingqueue，使用synchronousqueue會直接提交，等於沒有佇列緩衝，使用linkedblockingqueue超過corepoolsize會往佇列裡面一直插入，不會使用到maximunpoolsize，但是佇列無限增加可能會導致記憶體溢位，使用arrayblockingqueue會較有效控制線程數量與緩衝佇列的容量，但是執行任務的最大數量等於max+佇列，故應該明確所需的執行緒數
可參考：
linux cpu**
the diskspace quota of/data/test_quota2 is exceeded: quota = 209715200 b = 200 mb but diskspaceconsumed = 402653184 b = 384 mb
步驟四：上傳檔案測試
[root@testbig1 ~]# hdfs dfs -put file /data/test_quota2/
put: the diskspace quota of/data/test_quota2 is exceeded: quota = 209715200 b = 200 mb but diskspaceconsumed = 402653184 b = 384 mb
這裡估計朋友又好奇了，這是什麼鬼，明明設定為200mb大小的配額，為啥100mb的檔案都放不下。這裡我再解釋一下：
其實這個跟hdfs的塊大小有關係。我們環境的hdfs的blocksize(dfs.block.size, dfs.blocksize)大小設定為128mb，副本因子為3。
namenode 寫檔案時會分配block倍數的大小，然後檢查對應目錄的空間配額。當「目錄已經寫入的容量+ 當前blocksize*3」與 「目錄空間配額」 進行比較，如果前者大於後者，就會報錯。對於我們上面的測試，即0+384mb > 200mb，大於空間配額的設定，所以會失敗。
是dfs master埠寫錯了，2.0預設為8020
私服上沒有我們上傳的包，包在自己本地，發現可以有兩種方式實現打包：
1、mvn clean install -o ... (-o 就是offline的意思)
2、在pom檔案中指定那些包使用本地的：
systemscope> $/lib/cpdetector_1.0.10.jarsystempath>
個人工作總結
工作總結 在 公司工作大半年時間了，在領導的指導 關心培養下，在同事的支援幫助 密切配合下，我不斷加強思想政治學習，對工作精益求精，較為圓滿地完成了自己所承擔的各項工作任務，個人思想政治素質和業務工作能力都取得了一定的進步，為今後的工作和學習打下了良好的基礎，現將工作學習情況總結如下 一 政治思想方...
個人工作筆記
最近，在檢視程式記憶體洩漏，發現了幾個知識點，總結方便自己學習 記憶體洩漏檢測工具，使用了vld和leakdiag兩種免費工具，一種是載入到程序，一種是外掛程式式，這兩種工具使用上來說都比較簡單方便。在處理過程中認識到了幾個知識點 1 bstr的使用，若作為乙個傳入引數在不同函式之間呼叫，需在呼叫者...
個人工作總結
安卓模擬器 記賬 收入功能 時間 第一天第二天 第三天第四天 第五天第六天 第七天第八天 第九天第十天 昨天做了什麼 安裝安卓模擬器 測試安卓模擬器的用法 建立資料庫 資料庫的記錄 輸入 除錯資料庫 實現收入功能 記錄收入的資料 除錯資料庫 在安卓模擬器上實現計入功能 今天要做什麼 安裝安卓模擬器 ...