1. hadoop 啟動停止指令碼 （yx_hadoop.sh）
#!/bin/bash
#hadoop集群的一鍵啟動指令碼
if(($#!=1))
then
echo '請輸入start|stop引數!'
exit;
fi#只允許傳入start和stop引數
if [ $1 = start ] || [ $1 = stop ]
then
$1-dfs.sh
$1-yarn.sh
ssh hadoop1 mr-jobhistory-daemon.sh $1 historyserver
else
echo '請輸入start|stop引數!'
fi
#!/bin/bash
if(($#!=1))
then
echo 請輸入start或stop或status!
exit;
fiif [ $1 = start ] || [ $1 = stop ] || [ $1 = status ]
then
xcall zkserver.sh $1
else
echo 請輸入start或stop或status!
fi
大資料專案之電商數倉（數倉建模理論篇）（重點）
ods 原始資料層 不做處理，存放原始資料 dwd 明細資料層 進行簡單資料清洗，降維 dws 服務資料層 按天進行輕度彙總 做寬表 dwt 資料主題層 按主題進行彙總 ads 資料應用層 為報表提供資料 1 保持資料原貌不做任何修改，起到備份資料的作用。2 資料採用lzo壓縮，並建立索引減少磁碟儲...
電商數倉3 0 同步策略
1.基於大資料環境下的資料，若將資料從db中匯入到hdfs中。每天匯入的方式都是將一張表資料中所有資料都全部匯入都hdfs 全量匯入 如訂單表16號 17號 18號。的資料都會匯入到hdfs中會造成這麼一種情況，hdsf中17號分割槽的資料儲存著16號和17號的資料，18號分割槽中會儲存16號 17...
電商數倉中需要統計的指標
1 商品類指標 產品總數，sku數 有多少件 spu數 有多少款式 上架商品的sku數，上架商品的spu數，上架商品數。2 流量類指標 pv uv 跳出率 平均頁面的訪問時長 人均頁面訪問數。3 購物車 加入購物車次數 加入購物車買家次數 加入購物車商品次數 購物車支付轉化率。4 下單類 下單筆數 ...