Python爬蟲學習筆記 七

2022-06-20 16:09:08 字數 2494 閱讀 3764

json是輕量級的資料互動格式

給使用者看的，展示資料的

簡單理解就是乙個字點或者list

書寫格式：

不能寫注釋

key：value（必須都是雙引號）

末尾不能寫逗號

整個檔案有且僅有乙個或[ ]

字串：loads()：

**：

# coding=gbk


import json# 1


.字串和dic list轉換


# 字串(json) -->dict list


data = '


[, ]


'list_data =json.loads(data)


print(data)


print(list_data)


print(type(list_data))
返回：

[, ]


[, ]


'list


'>
dumps：**：

# coding=gbk


import json# 1


.字串和dic list轉換


# dict list -->字串


list2 = [, ]


data_json =json.dumps(list2)


print(data_json)


print(type(data_json))
返回：

[, ]


'str


'>
檔案物件：

load()：

**：

# coding=gbk


import json# 2


.檔案物件和dict list轉換


# 讀取檔案(json) -->list dict


fp = open('


02new.json


', 'r'


)result =json.load(fp)


print(result)
返回：

[, ]
dump()：**：

# coding=gbk


import json# 2


.檔案物件和dict list轉換


# dict list 寫入檔案


list3 = [, ]


# fp是file path


json.dump(list3, open(


'02new.json


', '


w'))
返回：

**：

# coding=gbk


import json


import csv


# 需求：json中的資料轉換成csv檔案# 1


.分別 讀,建立檔案


json_fp = open('


02new.json


', 'r'


)csv_fp = open('


03csv.csv


', 'w'


)# 2.提出 表頭,表的內容


data_list =json.load(json_fp)


sheet_title = 


# sheet_title = data_list[0


].keys())


sheet_data =


for data in


data_list:# 3


.csv寫入器


writer =csv.writer(csv_fp)# 4


.寫入表頭


writer.writerow(sheet_title)


//表頭：writerow()# 5


.寫入內容


writer.writerows(sheet_data)


//內容：writerows()# 6


.關閉兩個檔案


json_fp.close()


csv_fp.close()
返回：

python爬蟲學習（七）

from selenium.webdriver.common.keys import keys browser webdriver.chrome browser.get 1 在搜尋框中輸入 selenium browser.find element by id kw send keys 趙麗穎 2 ...

Python爬蟲學習（七）Scrapy爬蟲框架詳解

engine從spider處獲得爬取請求 request engine將爬取請求 給scheduler，用於排程 engine從scheduler處獲得下乙個要爬取的請求 engine將爬取請求通過中介軟體傳送給 爬取網頁後，形成響應 response 通過中介軟體發給engine engine將收...

python爬蟲學習筆記

一 爬蟲思路 對於一般的文章而言，思路如下 1.通過主頁url獲取主頁原始碼，從主頁原始碼中獲得 標題 鏈結 如想要抓取知乎上的新聞，就獲得主頁上的新聞鏈結 2.繼續通過 標題 鏈結獲得 標題 原始碼，進而獲得 標題 中的內容。其中，當存在多頁時，先將每一頁都一樣的url寫下來，然後迴圈加入頁碼，具...