這幾天看了go語言，練習一下寫法，結合專案會比較有趣，碰到的問題也會比較多。
參考** 【go語言爬蟲】go語言爬取豆瓣電影top250
#####先看效果
準備工作
mysql(如未安裝，也可以不要安裝，直接看**，列印控制台即可)
go 環境， 略，baidu並配置環境變數
開發工具 當前使用過的是liteide，好像還有更好的編譯工具
如何安裝，略
資料庫結構如下
drop table if exists `film`;
create table `film` (
`id` int(255) not null auto_increment,
`name` varchar(255) not null,
`detail` varchar(255) default null,
`score` float default '0',
`commentcount` int(11) default '0',
`icon` varchar(255) default null,
primary key (`id`)
) engine=innodb auto_increment=175 default charset=utf8;
##清空id=0，學習的時候，經常刪表再建..否則不需要
truncate table `film`;
mysql -u root
show variables like "max_connections";
set global max_connections=1000;
// filmproject project main.go
package main
import (
"fmt"
"time"
)func main()
func getfirstfilmlist()
fmt.println(list)
if list != nil && len(list) > 0 }}
func getallfilm()
for i := 1; i < count; i++ else
} printfilmlist(list)
fmt.println("size: ", len(list))
}func printfilmlist(list filmbean)
}
請求/解析film,並返回
)/*主要用於請求，並解析，返回資料*/
//電影bean
}//傳送http請求
fmt.println("傳送請求")
)//插入demo
func dbinsert(f filmbean)
func checkerr(err error)
}注意：如果接入mysql,把main裡面 dbinsert(v) 、dbinsert(bean) 刪除即可
如接入mysql, 注意上面的import _ 「github.com/go-sql-driver/mysql」
非windows系統，根據網上使用git安裝mysql驅動
此處對windows 手動安裝說明
參考 例：d:\devtools\go\src\github.com\go-sql-driver\mysql
爬取豆瓣電影TOP250
利用css選擇器對電影的資訊進行爬取 import requests import parsel import csv import time import re class cssspider def init self self.headers defget dp self,url respon...
豆瓣Top250電影爬取
from bs4 import beautifulsoup 網頁解析，獲取資料 import re 正規表示式，進行文字匹配 import urllib.request,urllib.error 制定url，獲取網頁資料 import xlwt 進行excel操作 import sqlite3 進行...
python爬取豆瓣電影top250
簡要介紹 爬取豆瓣電影top250上相關電影的資訊，包括影片鏈結 影片名稱 上映時間 排名 豆瓣評分 導演 劇情簡介。使用 requests etree xpath 1 檢視網頁資訊，確定爬取的內容，建立資料庫 class spiderdata peewee.model url peewee.cha...