大資料修煉心得04

2021-09-25 09:58:18 字數 1593 閱讀 8568

環境變數 export aaa=100

本地變數:a=100

區域性變數:使用local定義的變數區域性變數

位置變數:

$0:顯示指令碼名稱

$1:第乙個引數

$n:表示第n個引數

特殊變數:

$?:返回上一條命令的執行狀態,0表示正常,其他值表示異常

$#:返回傳遞引數的個數

$*:顯示所有引數的值,最多顯示9個

$$:當前的程序號

$!:後台最後乙個程序號

pstree:顯示bash目錄結構

source test.sh:執行的指令碼相當於在父bash中

./test.sh:執行的指令碼相當於在子bash中

每個使用者登陸都回載入.bashrc檔案

子bash可以訪問父bash的環境變數,但是無法訪問父bash的本地變數

就是命令的堆砌,由語法,變數和命令組成

條件表示式:

1、[ expression ]

[ 100 -eq 100 ]

2、test expression

test 100 -eq 100

3、任何乙個命令都可以作為條件表示式

id zhangsan:檢視zhangsan使用者資訊的

整數比較:

-eq:比較兩個數是否相等

-ne,-gt,-lt,-ge,-le

命令的邏輯關係:

在linux中命令執行狀態:0為真,其他為假

邏輯與:&&

第乙個條件為假時,第二條件不用再判斷,最終結果已經有;

第乙個條件為真時,第二條件必須得判斷

邏輯或||

邏輯非:!

命令執行的狀態的邏輯關係

ls -l /proc/$$/fd(其中fd表示檔案描述符)

<<<:表示輸入字串,充電想到乙個檔案read a<<<」hello world」 echo $a

<<:表示標記讀入結束:read a<:重定向輸出(覆蓋)

>>:重定向輸出(追加)

&>:錯誤輸出重定向到標準輸出 echo /abc &> txt.log,表示錯誤輸出和標準輸出都重定向到txt.log檔案中

2>&1:和上邊&>意思差不多,只是寫法不一樣

a=9

a=22| echo ok

echo $a

結果$a還是為9.在管道中相當於在左右兩邊開啟了新的bash,所以不會影響當前bash下變數的值

在linux中一切以空格,製表符,換行符隔開的都是列表

for 變數 in 列表;do

done

列表表示方式:

seq 起始值 步長 結束值

1、使用let命令let c=$a+$b;

2、c=$[ $a + $b ]

3、c=$(($a+$b))

4、c=`expr $a + $b`

shell指令碼相當於新起了乙個bash,所以history是無法統計裡邊的命令

more /etc/inittab,檢視linux執行級別

做大資料心得

1 sql嫻熟,這體現在etl的hive階段,自定義函式,分析函式,sql各種關聯寫 類dba傾向 2 hive sql優化要懂 3 mr流程要很熟悉,mr 優化,配置要知道,這在hive sql優化上有幫助,甚至有的hive寫法很消耗效率,啟動多個mr的時候,能自定義mr 來替代 4 大資料的et...

大資料基礎問答04

1.如何判斷乙個linux上的 服務是否存活?一 檢視程序是否執行 ps ef grep 二 檢視埠號 netstat nlp grep 是pid 第一步 ping 服務所在的機器的ip 網路環境能夠ping通的,服務正常,不能ping通,需要排查。第二步 檢視 服務的埠號和服務位址 監聽位址 第三...

大資料學習總結04

三 bi資料視覺化平台 superset superset是一款開源的現代化企業級bi。它是目前開源的資料分析和視覺化工具中比較好用的,功能簡單但可以滿足我們對資料的基本需求,支援多種資料來源,圖表型別多,易維護,易進行二次開發。1 入門案例 將資料庫裡的資料按照要求進行視覺化展示 案例01 使用s...