Python學爬蟲的課程備忘

至於版權，那還是算嵩老師的。

#crawunivrankingb.py

import requests
from bs4 import beautifulsoup
import bs4
def gethtmltext(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status()
return r.text
except:
return ""
def fillunivlist(ulist, html):
soup = beautifulsoup(html, "html.parser")
for tr in soup.find('tbody').children:
if isinstance(tr, bs4.element.tag):
tds = tr('td')
def printunivlist(ulist, num):
tplt = "\t^10}\t"
print(tplt.format("排名","學校名稱","總分",chr(12288)))
for i in range(num):
u=ulist[i]
print(tplt.format(u[0],u[1],u[2],chr(12288)))
def main():
uinfo = 
url = ''
html = gethtmltext(url)
fillunivlist(uinfo, html)
printunivlist(uinfo, 20) # 20 univs
main()

#!/usr/bin/python

# -*- coding: -*-
import requests
def gethtmltext(url):
try:
r = requests.get(url,timeout = 30)
r.raise_for_status()
return r.text
except:
return '網路錯誤'
				
python爬蟲小程式 python爬蟲學習小程式
coding utf 8 name 模組1 purpose author mrwang created 18 04 2014 licence import urllib def main url html urllib.urlopen url print html.read 讀取內容 print h...
				
關於Python和爬蟲課程上線的通知
此次上線兩門課，均為python開發相關。想要具備最新 最熱的程式語言python開發能力嗎？想要快速進入大資料開發相關領域嗎？2天搞定python基礎 python3網路爬蟲基礎實戰 具體內容如下 課程目錄 1 選擇python，選擇光明 1.1 python起源 1.2 python應用領域 1...
				
學python爬蟲第三天
這個就需要手動去 裡面找cookie 然後複製到 裡，超長cookie import requests 定義請求的url url 定義請求頭資訊 headers 發起get請求 res requests.get url url,headers headers 獲取相應狀態碼 code res.sta...