python爬蟲學習第十五天

2021-08-05 21:47:30 字數 2689 閱讀 1190

# from urllib.request import urlopen


# from bs4 import beautifulsoup


# import re


# import datetime


# import random


# def randomurl(articleurl):


#   url = ""+articleurl


#   html = urlopen(url)


#   bsobj = beautifulsoup(html)


#   links = bsobj.find('div',).findall('a',href = re.compile('^(/wiki/)((?!:).)*$'))


#   return links


#   pass


# random.seed(datetime.datetime.now())


# newlinks = randomurl('/wiki/kevin_bacon')


# while len(newlinks)>0:


#   link = newlinks[random.randint(0,len(newlinks)-1)].attrs['href']


#   print(link)


#   newlinks = randomurl(link)


#   pass
練習1 網路資料採集示例（逐個採集維基百科的每乙個鏈結）

# from urllib.request import urlopen


# from bs4 import beautifulsoup


# import re


# datas = set()


# def getlinks(linkurl):


#   global datas


#   url = ''+linkurl


#   html = urlopen(url)


#   bsobj = beautifulsoup(html)


#   for link in bsobj.findall('a',href=re.compile("^(/wiki/)")):


#       if 'href' in link.attrs:


#           if link.attrs['href'] not in datas:


#               newlink = link.attrs['href']


#               print(newlink)


#               datas.add(newlink)


#               getlinks(newlink)


#           else:


#               print('這個頁面重複啦！')


#   pass


# getlinks('')
練習2 收集整個**資料

# from urllib.request import urlopen


# from bs4 import beautifulsoup


# import re


# datas = set()


# def getlinks(pageurl):


#   global datas


#   url = ''+pageurl


#   html = urlopen(url)


#   bsobj = beautifulsoup(html)


#   try:


#       print(bsobj.h1.get_text())


#       print(bsobj.find(id='mw-content-text').findall('p')[0])


#       print(bsobj.find(id="ca-edit").find('span').find('a').attrs['href'])


#       pass


#   except attributeerror as e:


#       print('這頁面裡沒有我們要的某些資訊')


#   for link in bsobj.findall('a',href=re.compile("^(/wiki/)")):


#       if 'href'in link.attrs:


#           if link.attrs['href'] not in datas:


#               newlink = link.attrs['href']


#               print(newlink)


#               print('---------------------')


#               datas.add(newlink)


#               getlinks(newlink)


#               pass


#           else:


#               print('我們來過這兒嘍')


# getlinks('')
今天的練習就這兩個，雖然數量少但是不看書自己敲出來比前面的練習挑戰性高的多，完整做完感覺自己還有很多不足，加油！

python第十五天

什麼是模組?一系列功能的集合 定義模組？建立乙個py檔案就是乙個模組，該py檔名就是模組名 怎麼使用模組？在要是用的模組檔案中通過import 模組名 來匯入模組 模組的四種方式？1 編譯執行模組所對應的py檔案，形成對應的pyc檔案 2 產生該模組自己的全域性命名空間 3 在適應該模組的全域性命名...

python 學習第十五天（繼承）

python中繼承分為單繼承和多繼承 class parent1 如果沒有繼承，python3中會預設繼承object這個類 pass class parent2 pass class son1 parent1 單繼承，父類是parent1 pass class son2 parent1,paren...

PYTHON小白 第十五天

python小白 第十五天 1 再論類命名空間 python的類就像命名空間。python程式預設處於全域性命名空間內，類體則處於類命名空間內，python允許在全域性範圍內放置可執行 當python執行該程式時，這些 就會獲得執行的機會 類似地，python同樣允許在類範圍內放置可執行 當pyth...