scrapy進行頁面抓去的時候,儲存的檔案出現亂碼,經過分析是編碼的原因,只需要把編碼轉換為utf-8即可,**片段
......
import chardet
......
content_type = chardet.detect(html_content)
#print(content_type['encoding'])
ifcontent_type['encoding'] != "utf-8":
html_content =
html_content.decode(content_type['encoding'])
html_content = html_content.encode("utf-8")
open(filename,"wb").write(html_content)
....
這樣儲存的檔案就是中文了。
步驟:先把gb2312的編碼轉換為unicode編碼
然後在把unicode編碼轉換為utf-8.
Python開源專案大全
python 作為程式設計師的寵兒,越來越得到人們的關注,使用 python 進行應用程式開發的越來也多。那麼,在 2013 年有哪些流行的 python 專案呢?下面,我們一起來看下。一 測試和除錯 二 web 框架 三 併發 四 任務排程 五 實用工具 六 資料科學及視覺化 七 編輯器及其改善 ...
python專案 10大Python開源專案推薦
本文是 mybridge 挑選的 10 個 python 開源專案,github 平均star 2135,希望你能夠喜歡 rank 1 requests html v0.9 7385 stars on github,來自kenneth reitz 該庫旨在盡可能簡單直觀地解析 html,僅支援 py...
Python開源專案合集(網頁框架)
django django django。channels channels旨在增強django的非同步能力,同時讓django不僅僅侷限於request response模型,能夠支援websocket http2推送和背景任務。django q django q是乙個原生django分布式任務佇...