1importdatetime
2gmt_format='%m %h %d %m %w'
3datetime.datetime.utcnow().strftime(gmt_format)
1#按corn格式顯示當前時間
2#minute hour day month dayofweek
3importdatetime
4corn_format='%m %h %d %m %w'
5datetime.datetime.utcnow().strftime(corn_format)
作業系統：fedora 開發語言：python 爬蟲框架：scrapy 資料庫：mysql 資料庫連線模組：mysqldb將網頁生成時間和網頁抓取的當前時間輸入到資料庫中。在執行**時，出現warning: out of range value for column 『f_grap_time』 at row 1這樣的錯誤。直接翻譯是，資料位數超過欄位能存的最大長度。
問題原因：
事實上是資料格式的問題。上傳時資料直接呼叫了網頁http頭的date和time函式返回的時間。但是資料庫要求是datetime格式。 抓下的網頁的 response.headers[「date」]儲存了網頁的生成時間，讀取出來其實就是字串。格式類似這樣「wed, 04 jun 2014 13:06:02 gmt』。 使用time函式得出的時間是乙個浮點數，類似「1401887801.07」資料庫要求的輸入格式是datetime格式，可以是11位的10進製數字，或者「2014-06-04 13:06:02「形式的字串。
解決方法：
1//使用strftime和strptime函式，有點類似c語言的printf和scanf形式。
2//strftime函式可以把datetime格式轉換成指定格式的字串。
3//strptime函式則是反過來，把字串轉換成datetime格式。
4//兩個函式都需要datetime包
1#首先對於網頁時間格式轉換成datetime。strftime函式用法後面講。
2gmt_format='%a, %d %b %y %h:%m:%s gmt'
3#輸出格式的模式字串
4time='wed, 04 jun 2014 13:06:02 gmt'
5#對應的時間字串
6datetime.datetime.strptime(time, gmt_format)
1#當前時間可以直接使用datetime不需要time包
2datetime.datetime.now()
ps：1#strftime用法
2# http包頭時間格式顯示當前時間
3gmt_format='%a, %d %b %y %h:%m:%s gmt'
4datetime.datetime.utcnow().strftime(gmt_format)
說明符號
星期幾的簡寫 weekday name, abbr.
%a星期幾的全稱 weekday name, full
%a月份的簡寫 month name, abbr.
%b月份的全稱 month name, full
%b標準的日期的時間串 complete date and time representation
%c十進位制表示的每月的第幾天 day of the month
%d24小時制的小時 hour (24-hour clock)
%h12小時制的小時 hour (12-hour clock)
%i十進位制表示的每年的第幾天 day of the year
%j十進位制表示的月份 month number
%m十時制表示的分鐘數 minute number
%m十進位制的秒數 second number
%s第年的第幾周，把星期日做為第一天（值從0到53）week number (sunday first weekday)
%u十進位制表示的星期幾（值從0到6，星期天為0）weekday number
%w每年的第幾周，把星期一做為第一天（值從0到53） week number (monday first weekday)
%w標準的日期串 complete date representation (e.g. 13/01/08)
%x標準的時間串 complete time representation (e.g. 17:02:10)
%x不帶世紀的十進位制年份（值從0到99）year number within century
%y帶世紀部分的十制年份 year number
%y時區名稱，如果不能得到時區名稱則返回空字元。name of time zone
%z，%z
百分號%%
爬蟲python框架 Scrapy學習筆記
首先啟用爬蟲裡面的starturl獲取響應response。再通過xpath提取資料，提取的資料通過建立的item物件暫存到item.py 資料中轉站 裡面的item裡面，item資料通過yield返回給管道，管道給寫入檔案儲存起來。items.py item 可以理解為資料的中轉類，因為我們爬取網...
Python爬蟲框架Scrapy學習筆記原創
scrapy toc 開始首先手動安裝windows版本的twisted pip install twisted 18.4.0 cp36 cp36m win amd64.whl 安裝scrapy pip install i scrapy windows系統額外需要安裝pypiwin32 pip in...
Python自學筆記 Scrapy基礎（詳細）
建立專案與爬蟲 1.建立專案 在專案所要存放的資料夾中開啟cmd,輸入scrapy startproject 專案名稱 2.建立爬蟲 進入專案所在路徑後輸入scrapy genspider 爬蟲名字 網域名稱 注 爬蟲名不能與專案名相同 3.專案目錄結構 items.py 用來存放爬蟲爬取下來資料。...