一段自動抓取網際網路資訊的程式，從網際網路上抓取對於我們有價值的資訊
列表中的每個元素都是可變的; 列表的元素都是有序的，也就是說每個元素都有對應的位置; 列表可以容納所有的物件;
list = ['波波', '90, '超哥', '小明']
print(list[0])
print(list(2:))
# result
波波['超哥', '小明'] # 如果為切片返回的也是列表的資料結構
複製**
user_info =
複製**
# 元組
tuple = (1,2,3)
複製**
# 集合
list = [1,1,2,2,3,4,5]
set = set(list)
# result
複製**
# 開啟檔案
open(name,[, mode[,buffering]])
f = open('/users/greetingtext/pycharmprojects/demo/hello.txt')
# 讀寫檔案
f = open('/users/greetingtext/pycharmprojects/demo/hello.txt', 'w')
f.write('hello world')
f = open('/users/greetingtext/pycharmprojects/demo/hello.txt', 'r')
content = f.read()
print(content)
# result hello world
# 關閉檔案
f.close()
複製**
推薦pycharm
pycharm破解方法拿走不謝！
安裝scrapy並建立專案
pip install scrapy
scrapy startproject quickdemo
cd quickdemo
複製**
具體**(需要事先安裝beautifulsoup庫)
# -*- coding:utf-8 -*-
import scrapy
from bs4 import beautifulsoup
class tsspride(scrapy.spider):
name = 'test'
# 爬蟲的唯一名字，在專案中爬蟲名字一定不能重複
# start_requests() 必須返回乙個迭代的request
def start_requests(self):
# 待爬取的url列表
urls = ['',]
# 模擬瀏覽器
for url in urls:
yield scrapy.request(url=url, headers=headers, callback=self.parse)
def parse(self, response):
soup = beautifulsoup(response.body, 'html.parser')
titles = soup.find_all('a', 'title')
for title in titles:
print(title.string)
try:
file = open(r'/users/greetingtext/quickdemo/jianshu.txt', 'w')
# 將爬取到的文章題目寫入txt中
for title in titles:
file.write(title.string + '\n')
finally:
if file:
# 關閉檔案（很重要）
file.close()
複製**
scrapy crawl test
複製**
本文參考文章
beautifulsoup官網
scrapy官網
windows安裝python3
mac安裝python3
Python爬蟲入門
今天看了菜鳥教程的python教程，準備做個小作業寫個爬蟲程式。其中主要涉及到基本語法 正規表示式 urllib和re兩個模組。import urllib 載入模組 import re defgethtml url page urllib.urlopen url html page.read ret...
python爬蟲入門
這幾天閒的無聊想做乙個爬蟲來爬取一些 正經 首先選擇用python作為爬蟲的語言。但是沒有接觸過python怎麼辦呢，只能從頭開始學了。python學習位址這個是廖大神寫的乙個python入門，個人感覺寫的非常不錯，在粗略的學習了一遍之後感覺可以開始我的爬蟲之旅了。目標 抓取中妹子的儲存在本地 接下...
python爬蟲入門
初學者要學會基本的爬蟲 先要安裝包requests requests的安裝 開啟這個 在這個 上面有很多 python 的第三方庫檔案，我們按 ctrl f 搜尋很容易找到 requests 如下圖，我們將第乙個資料夾，也就是 requests 資料夾複製到 python 的安裝目錄下的 lib 目...