在py3 5簡單的scrapy爬蟲1

1、進入cmd

2、cd到在你想建立project的目錄

3、scrapystartproject ***x (***x為你要建立的專案名稱)

scrapy startproject maopu

4、在spiders目錄下建立自己的爬蟲檔案，myspider

import scrapy

class myfirstspider(scrapy.spider):
name='myspider'
allowed_domains=['mop.com']
start_urls = [
"",""
]def parse(self, response):
print(response.text)

scrapy crawl myspider

或者在專案根目錄上建立檔案entrypoint.py，這樣就可以直接用ide來啟動了。

from scrapy.cmdline import execute

execute(['scrapy', 'crawl', 'myspider'])

Python之資料庫匯入（py3 5）

資料庫版本 mysql python版本 3.5 之前用想用mysqldb來著，後來發現py3.5版本不支援，現選擇pymysql 現在想將資料庫adidas中的表jd comment讀取至python中的dataframe，方便資料分析處理 大眾 如下 import pymysql import ...

在python3 5下安裝scrapy包

此前scrapy只支援python2.x 但是最新的1.1.0rc1已結開始支援py3了 如果電腦上安裝了scrapy的依賴包，諸如lxml openssl 2.然後 pip install wheel pip install scrapy 1.1.0rc1 py3 none any.whl 3.至...

1 簡單的unittest示例 py

import requests import unittest class mytestcase unittest.testcase 類名可以自定義 但必須繼承 unittest.testcase def runtest self runtest就是測試用例 response requests.ge...