Python爬蟲學習筆記（十）

## csv檔案儲存  csv以純文字的形式儲存**資料

# import csv
# with open('text.csv','w') as csvfile:
#     writer = csv.writer(csvfile)
#     writer.writerow(['id','name','age'])
#     writer.writerow(['001','wangsan','11'])
#     writer.writerow(['002','liyun','12'])
#### 想修改列與列之間的分隔符  可以傳入delimiter引數
# import csv
# with open('test.csv','a',encoding='utf-8') as fp:
#     writer = csv.writer(fp,delimiter=' ')
#     writer.writerow(['id','name','age'])
#     writer.writerow(['001','王三','12'])
#     writer.writerow(['002','李雲','13'])
####   writerows 方法同時寫入多行 #傳入二維列表
# import csv
# with open('text.csv','a',encoding='utf-8') as fp:
#     writer = csv.writer(fp,delimiter=' ')
#     writer.writerow(['id','name','age'])
#     writer.writerows([['001','占用','13'],['002','組織','14']])
####   以字典的形式寫入   可以呼叫pandas庫中 dataframe物件的to_csv方法來寫入
# import  csv
# with open('test.csv','a',encoding='utf-8') as fp:
#     filednames = ['name','id','age']
#     writer = csv.dictwriter(fp,fieldnames=filednames,delimiter='|')
#     writer.writeheader()
#     writer.writerow()
#     writer.writerow()
#### 讀取csv
import csv
import pandas as pd
df = pd.read_csv(
'test.csv'
)print
(df)

python爬蟲學習筆記

一 爬蟲思路 對於一般的文章而言，思路如下 1.通過主頁url獲取主頁原始碼，從主頁原始碼中獲得 標題 鏈結 如想要抓取知乎上的新聞，就獲得主頁上的新聞鏈結 2.繼續通過 標題 鏈結獲得 標題 原始碼，進而獲得 標題 中的內容。其中，當存在多頁時，先將每一頁都一樣的url寫下來，然後迴圈加入頁碼，具...

Python爬蟲學習筆記

1.使用build opener 修改報頭 headers user agent 定義變數headers儲存user agent資訊 opener urllib.request.build opener 建立opener物件並賦給變數 openeropener.addheaders headers ...

python爬蟲學習筆記

2.網頁資訊提取 beautiful soup庫 這是 學習北理的嵩山天老師mooc教程的筆記，是老師上課用的例項。import requests url try kv 將爬蟲偽裝成瀏覽器 r requests.get url,headers kv r.raise for status print ...