day 4 csv資料處理

2021-10-05 09:28:45 字數 2282 閱讀 8585

在資料中間使用逗號分隔開,這樣的格式稱為csv檔案。

下面學習如何視覺化csv檔案

開啟csv模組,csv模組包括在python的標準庫中,可以直接使用。

開啟檔案(with open() 函式)

建立閱讀器:reader = csv.reader(f) 使用csv模組中的reader函式,建立乙個閱讀器,注意,該閱讀器是可迭代物件

為讀取資料我們需要不斷使用next()函式來讀取每一行。下面以讀取第二列為例(第一列是表頭,在這裡是日期)。並且將這些資料存在乙個列表中。

用matplotlib進行視覺化

import csv

from matplotlib import pyplot as plt

filename=

'.\chapter_16\sitka_weather_07-2014.csv'

with

open

(filename)

as f:

reader = csv.reader(f)

header_row =

next

(reader)

highs =

for row in reader:

high =

int(row[1]

) fig = plt.figure(dpi =

128, figsize =(10

,6))

plt.plot(highs,c=

'red'

,linewidth=3)

plt.title(

"daily high temperatures , july 2014"

,fontsize =24)

plt.xlabel(

"",fontsize=16)

plt.ylabel(

"temperature(f)"

,fontsize=16)

plt.tick_params(axis =

'both'

,which =

'major'

,labelsize=16)

plt.show(

)

新增日期

首先我們來熟悉一下datetime模組中的strptime(" " , "% % % ")函式。

作用:識別各種格式的日期 實參

含義%a

星期的名稱,如monday

%yb月份的名稱,如january

%m用數字表示的月份(01~12)

%d用數字表示的天(01~31)

%y四位的年份(2020)

%y兩位的年份(20)

%h24小時制的小時數(00~23)

%i12小時制的小時數(01~12)

%pam或pm

%m分鐘數(00~59)

%s秒數(00~61)

其次,.autofmt_xdate()函式作用在plot.figure()物件上使得x軸座標斜向顯示。

使用同樣方法新增最低氣溫的圖線。

對兩折線中間的區域進行填色

方法fill_between()

他接受乙個x和兩個y對中間的空間進行填充

plt.plot(dates,highs,c=

'red'

,alpha=

0.5,linewidth=1)

plt.plot(dates,lows,c=

'blue'

,alpha=

0.5,linewidth=1)

plt.fill_between(dates,highs,lows,facecolor=

'blue'

,alpha=

0.1)

引數alpha代表透明度(0~1),facecolor代表填充顏色。

for row in reader:

try:

current_date = datetime.strptime(row[0]

,"%y-%m-%d"

) high =

int(row[1]

) low =

int(row[3]

)except valueerror:

print

("miss date"

)else

:

這種處理使得程式在面對空資料時不至於崩潰

用python資料處理csv

合併兩表 生成資料透視表 處理缺失值 統計某特徵 import pandas as pd df pd.read csv 位址 若為xlsx df pd.read excel 位址 選取行 rows df 0 3 rows 選取列 cols df 1 2 cols.head head展示前五行 表頭除...

資料處理 001 關於CSV檔案的操作

因為做專案的需要,所以邊學邊做對於csv檔案的處理,也是對於資料預處理這部分的學習。操作需求分析 1 統計所有列數,生成所有序列,將t 1時刻的數值和var4其它時刻的數值列數提取出來,其它的列資料都刪掉,這裡的列數一共有561列,不相關的有561 還是交給程式吧 使用簡單的for迴圈即可以哩!在網...

資料處理 流資料處理利器

流處理 stream processing 是一種計算機程式設計正規化,其允許給定乙個資料序列 流處理資料來源 一系列資料操作 函式 被應用到流中的每個元素。同時流處理工具可以顯著提高程式設計師的開發效率,允許他們編寫有效 乾淨和簡潔的 流資料處理在我們的日常工作中非常常見,舉個例子,我們在業務開發...