網頁壓縮技術主要兩種gzip和deflate
deflate是乙個無專利的壓縮演算法,它可以實現無損資料壓縮,有眾多開源的實現演算法。
gzip是使用deflate進行壓縮資料的另乙個壓縮庫。
現在普遍支援gzip壓縮,deflate只是一種過時的網頁壓縮
if __name__ == "__main__":
url=''
req = request.request(url)
response = request.urlopen(req, timeout=120)
html = response.read()
encoding = response.info().get('content-encoding')
print(encoding)
if encoding == 'gzip':
html = zlib.decompress(html, 16+zlib.max_wbits)
elif encoding == 'deflate':
try:
html = zlib.decompress(html, -zlib.max_wbits)
except zlib.error:
html = zlib.decompress(html)
charset = chardet.detect(html)["encoding"]
print(charset)
#print(html)
print(html.decode(charset,'ignore'))
import urllib.request
import zlib
headers =
logindata = 'id=2055802&userid=0&siteid=1&userotherid=ffffffff-d83e-9eed-ffff-ffffef05ac4a&eventtype=0&type=0&'.encode('utf-8')
request = urllib.request.request(loginurl, logindata, headers)
res = urllib.request.urlopen(request)
html = zlib.decompress(res.read(), 16+zlib.max_wbits)
data = html.decode('utf-8','ignore')
print(data)
HBuilder X 中使用模擬器進行App開發
第三步 在hbuilder x 中新建乙個專案 然後,開啟模擬器 如果 hbuilder x 未檢測到 模擬器,那就需要adb命令 adb命令的使用 1 找到hbuilder x 的目錄 2 找到hbuilder x 帶的adb程式,將此程式在的路徑複製,放到path中 環境變數 配置環境變數 3 ...
python3 selenium進行模擬登陸
這裡主要就說下,當表籤中只有class,而且class是這種形式的 class 的名字是自定義的,內容優勢有空格的形式,我們使用常規的定位方法總是出現問題,提示找不到元素。解決上面的辦法就是 brows.find element by css selector data test class kw ...
Golang模擬令牌桶進行對訪問的限流方式
func fw max int,duration time.duration for 補充 golang簡易令牌桶演算法實現 定義乙個chan,chan大小為需要限制的qps大小,go乙個協程啟動tick,每1000 qps時間在tick中寫入數值,啟動另乙個協程,讀取chan中的值,如果讀取到ch...