requests設定請求頭headers（具體操作請看下篇）
1.設定headers 目的
headers 是解決request請求的一種反爬機制，對反爬蟲網頁，可以設定一些headers資訊，模擬成瀏覽器取訪問** 。
2. headers 位置
cookies作用：(保持會話)(具體操作請看下篇)
可以利用cookies跟蹤統計使用者訪問該**的習慣，比如什麼時間訪問，訪問了哪些頁面，在每個網頁的停留時間等。利用這些資訊，
cookie的用途是儲存使用者在特定**上的密碼和 id。另外，也用於儲存起始頁的首選項。在提供個人化檢視的**上，將利用計算機硬驅上的少量空間來儲存這些首選項。這樣，每次登入該**時，瀏覽器將檢查是否有cookie。如果有，瀏覽器將此 cookie 隨網頁的請求一起傳送給伺服器。
pandas庫
pandas 的主要資料結構是 series （一維資料）與 dataframe（二維資料），這兩種資料結構足以處理金融、統計、社會科學、工程等領域裡的大多數典型用例
其中:series 是一種類似於一維陣列的物件，它由一組資料（各種numpy資料型別）以及一組與之相關的資料標籤（即索引）組成。
dataframe是乙個**型的資料結構，它含有一組有序的列，每列可以是不同的值型別（數值、字串、布林型值）。dataframe 既有行索引也有列索引，它可以被看做由 series 組成的字典（共同用乙個索引）。
import pandas as pd #簡單例項匯入方法，pd為別名
1執行結果import
pandas as pd
23 mydataset =
78 myvar =pd.dataframe(mydataset)910
print(myvar)
是python中pandas庫中的一種資料結構，它類似excel，是一種二維表.dataframe的單元格可以存放數值、字串等，這和excel表很像，同時dataframe可以設定列名columns與行名index。
具體內容請移步：pandas 教程 | 菜鳥教程 (runoob.com)
df.to_csv()寫入函式引數
寫入之後將以excle**呈現
python 中 json 模組的應用
詳細內容：python json | 菜鳥教程 (runoob.com)
json中遵循 「鍵值對」 的用法方式 ，「」 ""
json.dumps ()
json模組裡的dumps函式是對資料進行編碼，形成json格式的資料
1注：dumps裡的引數「sort_keys=true」，使得輸出json後對key和value進行0~9、a~z的順序排序，如果不填，則按照無序排列，一些情況下，排序利於比較json中的資料import
json
2 data_dict = #
有序轉換json字串
3 json1 = json.dumps(data_dict, sort_keys=true)#
預設無序
4 json2 =json.dumps(data_dict)
5print
(json1)
6print(json2)
json = json.dumps(data_dict,indent = 4) #while true 迴圈語句採用該語句的核心思想是如果出現錯誤的話，可以繼續迴圈。while true 語句中一定要有結束該迴圈的break語句，否則會一直迴圈下去的。"indent" 用於引數縮排，可使輸出的json整齊美觀，可讀性更強
簡單舉例：登入系統中使用者名稱或密碼出現錯誤，其一可繼續輸入，而不是全部重新輸入
關於scrapy爬蟲的小知識
關於scrapy爬蟲的知識回顧 scrapy專案 myproject 通過此命令建立scrapy專案所在的資料夾 scrapy startproject mm myproject 真正的scrapy 專案 init.py 專案初始化資訊 items.py 專案資料結構化字典 類似於資料結構化 pip...
吃顯示卡嗎 攢機的知識盲區 以及顯示卡配置推薦詳解
而喜歡玩吃雞的小夥伴自然對顯示卡的要求就更高一些，相對應的顯示卡就是rtx2060s，這張顯示卡能夠達到吃雞2k解析度144fps的要求，有的小夥伴會有疑問，有必要上2k解析度144重新整理率嗎，其實是有必要的。銘瑄geforce rtx2060 super icraft 8g 電競之心 首先2k的...
熱啟動和冷啟動以及復位啟動的小知識
熱啟動和冷啟動的區別 1 重啟是熱啟動。開機是冷啟動。2 熱啟動是通過開始選單 任務管理器或者快捷鍵，重新啟動計算機，叫熱啟動。冷啟動是在關機狀態下按power啟動計算機，叫做冷啟動 3 熱啟動是在計算機已經開啟的狀態下，通過鍵盤重新引導作業系統。冷啟動是電腦的一種啟動方式。就是切斷電腦的電源，重新...