我們知道8080埠是很多web應用的預設埠，如果一台機器上兩個服務都用8080就會引起衝突，同時8080也容易被黑客攻擊的埠。因此我們希望可以修改hbase或者spark的預設web ui訪問的8080埠。
修改hbase_home下的conf目錄之下的hbase-site.xml檔案
新增hbase.rest.port屬性標籤，然後重啟即可
hbase.rest.port
8088
if [ "$spark_master_webui_port" = "" ]; then
spark_master_webui_port=8087
fi
spark報錯無權訪問hbase
我在提交乙個乙個spark任務是，遇到乙個無權訪問hbase的異常，如下 org.apache.hadoop.hbase.ipc.remotewithextra ception org.apache.hadoop.hbase.security.accessdeniedexception org.ap...
mysql之GROUP CONCAT修改預設長度
今天使用 group concat 聚合其中某一列的時候竟然報錯了,具體報錯資訊 row 3168 was cut by group concat time 14.477000s.sql 是 select rong liang,yong liang,level adapt niandu,perrfe...
hbase資料加鹽讀取（spark篇）
未加鹽資料 spark可以使用inputformat outputformat來讀寫hbase表。加鹽以後 需要在rowkey之前加一些字首，否則是查不到資料的。1 我們需要重新寫getsplits方法 從名字我們可以知道是要計算有多少個splits。在hbase中，乙個region對用乙個spli...