（二十）脫機數倉 2 1第一層採集通道啟動指令碼

cd /usr/local/bin

vim f1

#!/bin/bash

#使用start啟動指令碼，使用stop停止指令碼
if(($#!=1))
then
echo  請輸入start或stop
exit;fi
cmd=cmdif[
$1= start ]
then
cmd=
"nohup flument-ng agent -c $flume_home/conf -n al -f $flume_home/myagents/f1.conf -dflume.root.logger=debug,console > /home/hzhao/f1.log 2>&1 &"
elif[$1
= stop ]
then
cmd=
"ps -ef  | grep f1.conf | grep -v grep | awk '$' | xargs kill -9"
else
echo    請輸入start或stop
fi#在hadoop104和hadoop105開啟採集
for i in hadoop104 hadoop105
dossh
$i$cmd
done

sudo chmod u+x f1

nohup：no hang up 不掛起，視窗關閉，程式依然執行，

實時數倉與脫機數倉總結 一

精選30 雲產品，助力企業輕鬆上雲！主要內容 數倉基本概念 數倉架構演變 實時數倉和脫機數倉的區別 數倉基本概念 首先說一下資料倉儲的概念，以下簡稱數倉。數倉的發展 數倉有兩個環節 乙個是數倉的建設 另乙個數倉的應用。早期的數倉 傳統數倉 目前 數倉的架構演變 脫機數倉和實時數倉 接下來我會分別介紹...

spark脫機數倉優化

當業務需求只取dataframe的某幾列時可以使用select方法來獲取其中幾列，dataframe.select 欄位1 欄位2 欄位3 方法返回值為dataframe dataframe.drop colname 刪除dataframe總的某列 dataframe.withcolumn 新增列名...

脫機數倉與實時數倉案例

資料倉儲是乙個面向主題的 subject oriented 整合的 integrate 相對穩定的 non volatile 反映歷史變化 time variant 的資料集合，用於支援管理決策。資料倉儲是伴隨著企業資訊化發展起來的，在企業資訊化的過程中，隨著資訊化工具的公升級和新工具的應用，資料量...