// 建立請求
// 在請求頭中新增指定的ua
req.header.add("user-agent", useragent)
// 發起請求並返回結果
res, _ := client.do(req)
// 讀取資源資料
body, _ := ioutil.readall(res.body)
// 寫入檔案
ioutil.writefile("source.txt", body, 0644)
res.body.close()
}執行完上面的程式，會在當前目錄下，生成乙個 source.txt 檔案，內容即抓取過來的網頁源**。
有時候，我們希望程式在寫檔案的同時，同步輸出到控制台，對於這種場景，可以試試下面這種方式：
// 建立請求
// 在請求頭中新增指定的ua
req.header.add("user-agent", useragent)
// 發起請求並返回結果
res, _ := client.do(req)
// 獲取響應體
body := res.body
// 建立檔案 用以儲存響應內容
file, _ := os.create("source.txt")
// 建立乙個multiwriter 會同時寫到標準輸出和作業系統檔案
dest := io.multiwriter(os.stdout, file)
// 將響應內容複製到multiwriter每個目標 返回總的位元組數
bytes, _ := io.copy(dest, body)
// 列印內容總的位元組數
fmt.println("total bytes:", bytes)
// 關閉資源
body.close()
file.close()
}再次執行程式，檔案和控制台將會同步輸出內容。
搜尋引擎 網路爬蟲
原文出自 瀏覽器和網路爬蟲是兩種不同的網路客戶端，都以相同的方式來獲取網頁 1 首先，客戶端程式連線到網域名稱系統 dns 伺服器上，dns伺服器將主機 名轉換成ip 位址。2 接下來，客戶端試著連線具有該ip位址的伺服器。伺服器上可能有多個 不同程序程式在執行，每個程序程式都在監聽網路以發現新的選...
搜尋引擎 網路爬蟲
5 多執行緒 主要目的減少cpu資源的浪費 通過網路爬蟲獲取網域名稱，得到網域名稱之後，查詢，對比，存到資料庫中，更新 拿新資訊，將一些訪問量大的資訊存入快取中 6 一般伺服器為30 40個執行緒 7 seo 搜尋排名優化技術 8 執行緒池 代替我們管理執行緒，相當於乙個執行緒框架，執行緒池中有乙個...
搜尋引擎 網路爬蟲
瀏覽器和網路爬蟲是兩種不同的網路客戶端，都以相同的方式來獲取網頁 1 首先，客戶端程式連線到網域名稱系統 dns 伺服器上，dns伺服器將主機 名轉換成ip 位址。2 接下來，客戶端試著連線具有該ip位址的伺服器。伺服器上可能有多個 不同程序程式在執行，每個程序程式都在監聽網路以發現新的選接。各個程...