在web開發的時候我們經常會遇到網頁抓取和分析,各種語言都可以完成這個功能。我喜歡用python實現,因為python提供了很多成熟的模組,可以很方便的實現網頁抓取。
但是在抓取過程中會遇到編碼的問題,那今天我們來看一下如何判程式設計客棧斷網頁的編碼:
網上很多網頁的編碼格式都不一樣,大體上程式設計客棧是gbk,gb2312,utf-8等。
我們在獲取網頁的的資料後,先要對網頁的編碼進行判斷,才能把抓取的內容的編碼統一轉換為我們能夠處理的編碼,避免亂碼問題的出現。
下面介aetuxmwk紹兩種判斷網頁編碼的方法:
總結:第二個方法很準確,在網頁編碼分析的時候用python模組分析內容是最準確的,而使用分析meta頭資訊的方法是不太準確的。
方法一:使用urllib模組的getparam方法
方法二:使用chardet模組
#如果你的python沒有安裝chardet模組,你需要首先安裝一下chardet判斷編碼的模組哦
#author:pythontab.com
import chardet
import urllib
#先獲取網頁內容
data1 = urllib.urlopen('h程式設計客棧ttp:').read()
#用chardet進行內容分析
本文標題: 判斷網頁編碼的方法python版
本文位址: /jiaoben/python/160148.html
python 判斷網頁編碼
這段時間在用python處理網頁抓取這塊,網際網路很多網頁的編碼格式都不一樣,大體上是gbk,gb2312,utf 8,等待。我們在獲取 網頁的的資料後,先要對網頁的編碼進行判斷,才能把抓取的內容的編碼統一轉換為我們能夠處理的編碼。比如beautiful soup內部的編碼就是unicode的編碼。...
python判斷網頁編碼方式
在解析網頁的過程中往往會遇到網頁亂碼的情況,自己去看網頁源 往往不太準確,這時候就需要用 去判斷網頁源 的編碼方式,一共介紹三種方式 推薦第二種 url 一,使用urllib模組的getparam方法 import urllib 獲取網頁資訊 data urllib.urlopen url info...
判斷網頁的編碼方式 python
在學習python爬取網頁的時候,我們經常會遇到編碼方式的困擾,為了解決這個編碼方式的問題,首先是要獲取網頁的編碼方式,下面就獲取網頁的編碼方式重點說一下三種方法。一,使用urllib模組的getparam方法 import urllib fopen1 urllib.urlopen info pri...