話不多說，先貼**
from selenium import webdriver
from bs4 import beautifulsoup
import csv
driver=webdriver.chrome(
)url=
""xpath=
"/html/body/div[2]/div[1]/div[5]/div[1]/div/div/div/table"
driver.get(url)
tablel=driver.find_element_by_xpath(xpath)
.get_attribute(
'innerhtml'
)out=
open
('d:/gdp.csv'
,'w'
,newline='')
csv_write=csv.writer(out,dialect=
'excel'
)soup=beautifulsoup(tablel,
"html.parser"
)table=soup.find_all(
'tr'
)for row in table:
cols=
[col.text for col in row.find_all(
'td')]
iflen
(cols)==0
ornot cols[0]
.isdigit():
continue
csv_write.writerow(cols)
out.close(
)driver.close(
)
import csv
out=
open
('d:/gdp.csv'
,'w'
,newline='')
csv_write=csv.writer(out,dialect=
'excel'
)for row in table:
cols=
[col.text for col in row.find_all(
'td')]
iflen
(cols)==0
ornot cols[0]
.isdigit():
continue
csv_write.writerow(cols)
out.close(
)driver.close(
)
同時刪除了print(cols)
因為爬取內容可以直接看excel
使用out.close()
driver.close()
關閉檔案和網頁
python爬蟲練習，爬取資料寫入MySQL資料庫
本次爬取內容就選取章節名和章節鏈結作為舉例 資料庫操作的基本方法 1 連線資料庫 2 獲取資料庫游標 3 執行sql語句 4 斷開資料庫連線 連線資料庫，引數包括ip 使用者名稱 密碼 對應的庫名 connect pymysql.connect localhost root gui2019 pyth...
爬蟲爬取豆瓣電影寫入csv
小白flag10 爬蟲爬取豆瓣電影寫入csv json化 csv檔案操作學習 import requests import json from requests.packages.urllib3.exceptions import insecurerequestwarning 解決警告 class ...
node爬蟲爬取csdn資料
必須安裝node，我裝的是8.11.2版本，mac開發 發出http請求 superagent控制併發請求 async eventproxy分析網頁內容 cheerio 直接配置一下package.json dependencies 配置好後 nom install 安裝所需依賴 接下來開始寫爬蟲。...