# settings.py
log_level=
"warning"
# 設定日誌顯示的等級
log_file=
"./a.log"
# 設定日誌儲存的位置，設定後介面不會顯示日誌內容
# spider.py
import logging
import logging
"""logging.basicconfig函式各引數:
filename: 指定日誌檔名
filemode: 和file函式意義相同，指定日誌檔案的開啟模式，'w'或'a'
format: 指定輸出的格式和內容，format可以輸出很多有用資訊，如上例所示:
%(levelno)s: 列印日誌級別的數值
%(levelname)s: 列印日誌級別名稱
%(pathname)s: 列印當前執行程式的路徑，其實就是sys.ar**[0]
%(filename)s: 列印當前執行程式名
%(funcname)s: 列印日誌的當前函式
%(lineno)d: 列印日誌的當前行號
%(asctime)s: 列印日誌的時間
%(thread)d: 列印執行緒id
%(threadname)s: 列印執行緒名稱
%(process)d: 列印程序id
%(message)s: 列印日誌資訊
datefmt: 指定時間格式，同time.strftime()
level: 設定日誌級別，預設為logging.warning
stream: 指定將日誌的輸出流，可以指定輸出到sys.stderr,sys.stdout或者檔案，
預設輸出到sys.stderr，當stream和filename同時指定時，stream被忽略
# """
# logging.basicconfig(level=logging.info,
# format='%(asctime)s %(thread)d %(threadname)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
# datefmt='%a, %d %b %y %h:%m:%s', filename="logfile_path", filemode='w')
# 如果啟用了上面的配置，介面就不會顯示內容了
# logger.warning會顯示
# 例項化的logger可以在任何.py檔案中呼叫，並顯示屬於哪個檔案的logging，根據__name__顯示
logger = logging.getlogger(__name__)
if __name__ ==
'__main__'
:# logger.debug('this is debug message')
logger.info(
'this is info message'
)# logger.warning('this is warning message')
# 使用last()定位位置
tr.xpath(
"./td[last()]/text()"
).extract_first(
)# 使用條件定位（可以是標籤內的文字）
next_url = response.xpath(
).extract_first(
)# 當需要的n個標籤都包含class="i"時定位
div_list = response.xpath(
"//div[contains(@class,'i')]"
for div in div_list:
pass
import urllib
# urljoin會根據完整的url,將不完整url補充完整
# 完整的 剛提前的不完整url
item[
"href"
]= urllib.parse.urljoin(response.url,href)
import requests
# unquote()就是解碼的函式
# 注意： meta=
駐點日記之記憶碎片
第一天 初識c工 這天我是下午去到工作地點，今天和c工了解了大概工作內容和工作時間 第二天 跟隨c工 今天和c工的安排下看了一天產品文件和管理員手冊，在快要下班的時候去重新部署了一下c服務。第三天 jx事故 今天算是第一天正式上班，有驚喜甚至是驚嚇，kj時間維護是大忌 第四天 相識相知 今天和wls...
scrapy中使用正確的xpath出現空列表問題
今天在使用scrapy框架爬取網頁時，使用正確的xpath來爬取時，爬取的缺失空列表，如下 coding utf 8 import scrapy class haodfspider scrapy.spider name haodf start urls def parse self,response...
知識碎片之使用Win32 編寫shell
伺服器端 如下 include include include pragma comment lib,ws2 32.lib 鏈結ws2 32.lib intmain closesocket listenfd return0 客戶端 include include include pragma com...