python開源專案Scrapy抓取檔案亂碼解決

2022-02-24 19:35:40 字數 522 閱讀 4983

scrapy進行頁面抓去的時候,儲存的檔案出現亂碼,經過分析是編碼的原因,只需要把編碼轉換為utf-8即可,**片段

......

import chardet

......

content_type = chardet.detect(html_content)

#print(content_type['encoding'])

ifcontent_type['encoding'] != "utf-8":

html_content =

html_content.decode(content_type['encoding'])

html_content = html_content.encode("utf-8")

open(filename,"wb").write(html_content)

....

這樣儲存的檔案就是中文了。

步驟:先把gb2312的編碼轉換為unicode編碼

然後在把unicode編碼轉換為utf-8.

Python開源專案大全

python 作為程式設計師的寵兒,越來越得到人們的關注,使用 python 進行應用程式開發的越來也多。那麼,在 2013 年有哪些流行的 python 專案呢?下面,我們一起來看下。一 測試和除錯 二 web 框架 三 併發 四 任務排程 五 實用工具 六 資料科學及視覺化 七 編輯器及其改善 ...

python專案 10大Python開源專案推薦

本文是 mybridge 挑選的 10 個 python 開源專案,github 平均star 2135,希望你能夠喜歡 rank 1 requests html v0.9 7385 stars on github,來自kenneth reitz 該庫旨在盡可能簡單直觀地解析 html,僅支援 py...

Python開源專案合集(網頁框架)

django django django。channels channels旨在增強django的非同步能力,同時讓django不僅僅侷限於request response模型,能夠支援websocket http2推送和背景任務。django q django q是乙個原生django分布式任務佇...