沃保網爬的每乙個**人資料，最後以字典形式儲存
這樣的鍵值對結構，具體通過desc 表名；可以檢視表結構，我們建好表結構後，就可以通過按照字典的鍵值對儲存在表對應的字段中，紅框標出的是表結構的欄位名稱，下面我會講如何建立這個結構的表
照顧不懂mysql資料庫的同學，我會從連線資料庫，建立資料庫，建立表詳細的講
1、連線資料庫
開啟終端，輸入命令mysql -uroot -pmysql，-u後面跟使用者名稱，-p後面跟密碼
show databases；顯示所有資料庫，表明連線成功
2、建立資料庫
create database 表名 charset=utf8;
一定要加charset=utf8;指定編碼格式，並且show databases；後建立的ty資料庫已經建立成功
3、建立表
建立表我們一定要先用指定的資料庫，命令是use 資料庫名;（use ty）
接下來這幾行**是建立表結構的
create table 表名（*****;）建立表
注意末尾以分號結尾，id預設是主鍵，即primary key，整數自增排序
name、ltd、city等字段，一般對字串型，我們用varchar（20）來表示，裡面的數值代表該欄位填充內容的最大長度，
比如我給name、ltd設定的為20，給id_num（資格證號）設定的40，給photo（**位址）設定的100，根據實際需求設定
create table pabx(
id intunsigned
primary key
auto_increment
not null,
name
varchar(20)
default '',
ltd varchar(20) default '',
city varchar(20) default '',
id_num varchar(40) default '',
photo varchar(100) default '',
level varchar(20) default '',
num varchar(20) default 0,
wechat varchar(100) default '',
website varchar(100) default '',
detail_url varchar(100) default '' );
最後我們desc pabx；檢視表結構，成功建立，就可以正常儲存資料了
4、檢視表資料
select * from pabx; 看到新建的表裡面是空資料
5、python操作mysql儲存字典型別的爬蟲資料
該方法我覺得很好用，比沃保網原始碼中我之前手動拼接sql語句的寫法好用的多，建議大家用這種方式傳引數的方式來寫，欄位我舉例子，寫了name、ltd、city三個，你可以對爬蟲資料的所有欄位都加上
檢視儲存的字典已經正常儲存，num=0是因為我們在建立表時候指定了預設值為0，id是預設自增，從1開始，跟多字段內容儲存，大家可以嘗試手動構造，由淺入深，慢慢就會知道很多套路和簡單的寫法
Python爬蟲（二） 爬蟲獲取資料儲存到檔案
本篇文章 繼續介紹另外兩種方式來實現python爬蟲獲取資料，並將python獲取的資料儲存到檔案中。說明一下我的 環境是python3.7，本地環境是python2.x的可能需要改部分 用python3.x環境的沒問題。coding utf 8 import urllib.request impo...
爬蟲資料儲存csv
一，csv檔案的簡單讀寫import csv csv也叫逗號分分隔，一般以逗號分隔，也可以使用空格或者tab分隔 csv file open file test.csv w 寫入 try csv write csv.writer csv file csv write.writerow col1 co...
scrapy 爬蟲儲存資料
scrapy儲存資訊的最簡單的方法主要有四種，o 輸出指定格式的檔案，命令如下 json格式，預設為unicode編碼 scrapy crawl itcast o teachers.json json lines格式，預設為unicode編碼 scrapy crawl itcast o teache...