awk sed資料處理

2021-08-11 06:16:03 字數 989 閱讀 2944

知識點:

xargs

awk

sed

emambp:kubernetes ema$ kubectl get pods -n learnci |grep msftest |awk ''|xargs kubectl -n learnci delete pod

pod "perf-learn-cd-msftest-k8s-postgres-3257170931-5kp55" deleted

sed中雙引號 弱轉義 想保留變數功能,直接雙引號

emambp:jenkins ema$ echo|sed "s/^/$random.txt/g"

4599.txt

如果 sed的 command部分 使用單引號,則較複雜

emambp:jenkins ema$ echo|sed 's/^/'$(echo

$random)'.txt/g'

14632.txt

emambp:jenkins ema$ echo|sed 's/^/'

"$random"

'.txt/g'

12872.txt

awk 呼叫shell變數,需要使用-v引數

awk -v a=se

cond

−vb=

count 『2==

asum

+=$1

;end

prin

tsum

/b′f

ilen

ame其

中 second、和co

unt為

shel

l中變數

,可以看

出,每調

用一次變

量都要加

乙個−v

引數,後

面使用s

hell

變數的時

候,就不

用加了,直接是a和b就好了。

資料處理 流資料處理利器

流處理 stream processing 是一種計算機程式設計正規化,其允許給定乙個資料序列 流處理資料來源 一系列資料操作 函式 被應用到流中的每個元素。同時流處理工具可以顯著提高程式設計師的開發效率,允許他們編寫有效 乾淨和簡潔的 流資料處理在我們的日常工作中非常常見,舉個例子,我們在業務開發...

爬蟲 資料處理 pandas資料處理

使用duplicated 函式檢測重複的行,返回元素為布林型別的series物件,每個元素對應一行,如果該行不是第一次出現,則元素為true keep引數 指定保留哪一重複的行資料 dataframe替換操作 使用df.std 函式可以求得dataframe物件每一列的標準差 資料清洗清洗重複值 清...

資料處理 pandas資料處理優化方法小結

資料處理時使用最多的就是pandas庫,pandas在資料處理方面很強大,整合了資料處理和資料視覺化。pandas的視覺化使用的是matplotlib。回到主題 計算資料的某個欄位的所有值,對其欄位所有值進行運算 處理的字段資料為時間戳,需要計算該時間戳距離現在的時間,單位為天。一般方法 使用現在的...