開啟檔案
a = pd.read_csv(
'a.txt'
, header =
none
, sep =
'[_\t]+'
)
檔案合併
c = pd.concat(
[a,b]
)
檔案排序
a = a.sort_values(
['col1'
,'col2'
])
數值統計
b = a[
'col1'
].value_counts(
)
輸出b有：b.index為a[『col1』]中的各個值，b.values為對應每個值出現的次數
isin
a[
'col1'
].isin(b)
分布直方圖
a = np.array([22
,87,5
,43,56
,73,55
,54,11
,20,51
,5,79
,31,27
]) plt.hist(a, bins =[0
,20,40
,60,80
,100])
plt.title(
"histogram"
) plt.show(
)
pd.isnull(a)a[
'col1'][
0]= np.nan
b = np.array(
list
(set([
tuple
(t)for t in a]))
)
y = np.linalg.norm(x, axis=
1, keepdims=
true
)x = x / y
np.concatenate(
(a,b)
,axis=0)
np.concatenate(
(a,b)
,axis=
1)
資料處理 流資料處理利器
流處理 stream processing 是一種計算機程式設計正規化，其允許給定乙個資料序列 流處理資料來源 一系列資料操作 函式 被應用到流中的每個元素。同時流處理工具可以顯著提高程式設計師的開發效率，允許他們編寫有效 乾淨和簡潔的 流資料處理在我們的日常工作中非常常見，舉個例子，我們在業務開發...
爬蟲 資料處理 pandas資料處理
使用duplicated 函式檢測重複的行，返回元素為布林型別的series物件，每個元素對應一行，如果該行不是第一次出現，則元素為true keep引數 指定保留哪一重複的行資料 dataframe替換操作 使用df.std 函式可以求得dataframe物件每一列的標準差 資料清洗清洗重複值 清...
資料處理 pandas資料處理優化方法小結
資料處理時使用最多的就是pandas庫，pandas在資料處理方面很強大，整合了資料處理和資料視覺化。pandas的視覺化使用的是matplotlib。回到主題 計算資料的某個欄位的所有值，對其欄位所有值進行運算 處理的字段資料為時間戳，需要計算該時間戳距離現在的時間，單位為天。一般方法 使用現在的...