add_num = 0
current_url = upload_url + str(add_num)
request = requests.get(current_url, headers=head)
python的requests模組有乙個內建的json解碼器,獲取json響應內容:
home_page_json = request.json()
觀察得知:只要載入內容未完,響應裡的count內容就必定大於0,由此為控制條件,且獲取的json響應內容已經轉化為python的字典型資料了,直接通過鍵值對獲取:
if home_page_json['count'] > 0:
for item in home_page_json['obj']:
soup = beautifulsoup(detail_request.text,"html.parser")
for item2 in info.children:
while item2.next != none:
if item2.name == none:
item2 = item2.next
else:
break
最後將資料儲存進指定csv檔案中。
兩種思路的比較:在效率方面第二種方法應該會快一點,因為第一種方法在獲取軟體詳細資訊時還是要經過beautifulsoup這個步驟的,但第一種方法簡單,一目了然,且爬取的資料量不大,效率對比的差距不會很大。
歡迎使用CSDN markdow
本markdown編輯器使用stackedit修改而來,用它寫部落格,將會帶來全新的體驗哦 markdown 是一種輕量級標記語言,它允許人們使用易讀易寫的純文字格式編寫文件,然後轉換成格式豐富的html頁面。維基百科 使用簡單的符號標識不同的標題,將某些文字標記為粗體或者斜體,建立乙個鏈結等,詳細...
歡迎毛毛與妞妞使用CSDN markdown編輯器
建立乙個自定義列表 如何建立乙個註腳 注釋也是必不可少的 katex數學公式 新的甘特圖功能,豐富你的文章 uml 圖表 flowchart流程圖 匯出與匯入 你好!這是你第一次使用markdown編輯器所展示的歡迎頁。如果你想學習如何使用markdown編輯器,可以仔細閱讀這篇文章,了解一下mar...
歡迎使用CSDN markdow1n編輯器
本markdown編輯器使用stackedit修改而來,用它寫部落格,將會帶來全新的體驗哦 markdown 是一種輕量級標記語言,它允許人們使用易讀易寫的純文字格式編寫文件,然後轉換成格式豐富的html頁面。維基百科 使用簡單的符號標識不同的標題,將某些文字標記為粗體或者斜體,建立乙個鏈結等,詳細...