解決百度蜘蛛無法爬取Hexo部落格的問題

2021-09-20 01:12:13 字數 2273 閱讀 8381

先上兩張圖對比下:

# 如果實際分支不是預設的master,請自行修改並在平台上配置

deploy:

type: git

repo:

這裡需要兩條cname主機記錄。線路型別是國外的,記錄值為:.github.io.;線路型別是國內的,記錄值為:pages.coding.me.(注意,對應靜態pages來說這是個固定值)。

完成上述操作後使用hexo g -d命令重新部署雙平台部落格,然後通過訪問http://.github.iohttp://.coding.me檢視操作是否成功。

提示:關於coding page的ssl/tls證書申請 ,主要就是在dnspod平台上正確的配置解析記錄,如果出現驗證錯誤,請參考coding pages常見問題。當時我遇到的錯誤資訊是:fetching ******xx,解決方案是先將上述cname記錄值為pages.coding.me.的線路型別修改為預設,待驗證通過後再調整為國內。

參考coding.net官網說明,可以配置文本版或版,然後驗證並解決。我這裡使用的是文本版方案,修改了hexo主題layout\_partial目錄下的footer.ejs

安裝完外掛程式後,需要在hexo根目錄下配置_config.yml,使用hexo g可以在public目錄下看到生成的sitemap.xml檔案,最後hexo d部署到遠端倉庫即可:

谷歌收錄

sitemap - google

新增站點後,在「資料引入」->「鏈結提交」中提交sitemap

收錄驗證

通過瀏覽器輸入site:站點並搜尋

site:
遷移 github pages 到 coding.net

hexo乾貨系列:(四)將hexo部落格同時託管到github和coding

hexo 部落格 coding+github 雙線部署求 https 方案

爬取百度諮詢

獲取url,就是把關鍵字進行urlencode。整理爬取的內容,就是把一些 回車 空格 等雜七雜八的東西過濾掉。輸出結果下面是 import re from urllib import parse import time import requests from bs4 import beautif...

爬取百度(有道)翻譯

難點是分析動態網頁 抓包 找出url。self.query input 請輸入要翻譯的內容 self.url self.data self.headers def run self post response requests.post url self.url,data self.data,hea...

爬取百度貼吧

import urllib.request import urllib.parse import os,time 輸入貼吧名字 baname input 請輸入貼吧的名字 start page int input 請輸入起始頁 end page int input 請輸入結束頁 不完整的url ur...