4.pickle模組
5.easygui模組
6.time模組
7.re模組(正規表示式)
8.scrapy框架
9.tkinter模組(gui終極選擇)
import demo
print
(demo.__doc__)
#檢視demo模組的相關介紹
dir(demo)
#檢視demo模組內建的方法
demo.__all__ #檢視這個模組所有可以供外界呼叫的所有東西的列表(類名 , 方法名)。
demo.__file__ #指明該模組源**所在的位置
help
(demo)
#獲取demo模組的資訊,比doc的資訊更詳細
random用於隨機生成的module例:
import random
secret = random.randint(1,
100)
# 隨機生成1~100以內的數字
使用方法:
os.path.函式名
存放: pickling
讀取: unpickling
my_list =
[123
,3.14
,'小甲魚',[
'another list']]
pickle_file =
open
('my_list.pkl'
,'wb'
)pickle.dump(my_list, pickle_file)
pickle.load(檔名/路徑)
#讀取檔案
匯入:
import easygui as g #推薦用法
(([
01]\d\d|2[
0-4]\d|25[
0-5]
)\.)([
01]\d\d|2[
0-4]\d|25[
0-5]
)
rs.findall(
r'[a-z]'
,'fishc.com'
) 結果：
['i',
's',
'h',
'c',
'o',
'm']
例:
p = re.
compile
(r'[a-z]'
)p.findall(
'i love'
)
結果：[
'i',
'l']
result = re.search(
r'(\w+) (\w+)'
,'i love fishc.com!'
)result.group(
) 結果：'love fishc'
result.group(
1) 結果：'love'
result.group(
2) 結果：'fishc'
例:
(a)
(b)(c)\2 à abcb
如果num是以0開頭,或者3個數字的長度,那麼就匹配八進位制數字所對應的ascii碼值對應的字元
例: aaaaaaaaaaaaaaa
<.> 會匹配到aaaaaaaaaaaaaaa
<.> 會匹配到 **–>**非貪婪模式
2.安裝pip: python\scripts\pip.exe
3.安裝lxml: pip install lxml
4.安裝openssl: pip install openssl
5.安裝scrapy: pip install scrapy
注意: 安裝以上步驟之前要確保有visual c++ 相應版本的支援
獲取網頁資訊: 進入專案根目錄,執行cmd#獲取目標(會得到response)
response.body #得到網頁源**
response.headers #網頁的頭資訊
篩選:根據response的資訊用以上selector中的函式進行篩選
例:
response.xpath(
'//title'
)#返回乙個列表
response.xpath(
'//title/text()'
).extract(
)#返回標籤中的字串的列表
response.xpath(
'//ul/li/a/@href'
).extract(
)#返回所有ul標籤中全部li標籤中href屬性的值的列表
scrapy startproject '專案名'
這一步會在cmd執行的資料夾下建立乙個以該專案名為名的資料夾
注意: py檔案裡有乙個name(爬蟲名稱)屬性非常重要,是識別該爬蟲的唯一標識
sites = test.xpath(
//ul[@class
="directory-url"
]/li)
.extract(
)# 獲取所有class為'directory-url'的ul標籤裡的全部li標籤所包含的字串
scrapy crawl dmoz –o items.json –t json
cmd執行爬蟲(除錯): scrapy crawl 爬蟲名稱
暫無
Python基礎知識全網最全3 內部方法
a 小甲魚 isinstance a,str 結果為 true 生成乙個從start引數的值開始到stop引數的值結束的數字序列,start step引數可選並且step預設值為1 7.extend extend將引數 新的列表 新增至列表中 即連線兩個列表 8.insert insert 位置,元...
最全Redis基礎知識
nosql不僅僅是sql，它是not only sql 的縮寫，也是眾多非關係型資料庫的統稱nosql和關係型資料庫一樣，也是用來儲存資料的倉庫。隨著網際網路的高速發展，資料量 訪問量呈爆發式式增長。比如12306中國鐵路票務系統。一年售出車票有30多億張 網上售票比例超過了80 網際網路高峰日售出...
Python 基礎知識2
1.類新增新屬性和新屬性賦值 metaclass type class rectangle def init self self.width 0 self.height 0 def setattr self,name,value if name size size property value se...