直接上**
這裡拉勾網做了cookie的反扒機制，所以用
requests.utils.dict_from_cookiejar這個方法去獲取cookie然後賦值import requests
url = ''
headers =
#或者response從而獲取cookie
response = requests.get(
'',headers=headers)
r = requests.utils.dict_from_cookiejar(response.cookies)
cookies =
#pn就是頁碼 kd就是關鍵字查詢
form_data =
#做分頁用的，不過我沒用
def get_page():
res = requests.post(url=url, headers=headers, data=form_data, cookies=cookies)
# print(res)
result = res.json()
# print(result)
jobs = result['content']['positionresult']
print(jobs)
return jobs['totalcount'] / 15
def get_jobs():
res = requests.post(url=url, headers=headers, data=form_data, cookies=cookies)
result = res.json()
jobs = result['content']['positionresult']['result']
for job in jobs:
print(
+ ',' + ' 薪資:' + job['salary'])
if __name__ == '__main__':
get_jobs()
爬蟲（5） 爬取拉鉤網資料
importjson importurllib fromurllibimportparse,request importmath 請求頭 headers 獲得相關網頁數方法 defgetpagenum kw url 路由 沒有輸查詢關鍵字的路由 url form data data url編碼 da...
python丨Selenium爬取拉鉤職位資訊
第一頁職位資訊 from selenium import webdriver from lxml import etree import re import time class lagouspider object def init self self.driver webdriver.chrom...
python爬蟲案例 Python爬蟲案例集合
在python2.x裡面有urllib和urllib2 在python3.x裡面就把urllib和urllib2合成乙個urllib urllib3是在python3.x了裡面新增的第三方擴充套件。import urllib.request 向指定的url位址傳送請求，並返回伺服器響應的類檔案物件 ...