CentOS7上使用Chrome的無頭瀏覽器

說到python爬蟲，就一定會涉及到「反爬」策略，就會遇到「爬取動態頁面元素」的問題，如果目標**沒有其他的反爬措施，那麼「動態元素」就是我們這裡要解決的唯一難題。而解決的方式就是簡單粗暴地想辦法模擬人在瀏覽器上操作，進而觸發相應動態元素的載入，也就指向了強大的selenium。

眾所周知，chrome是google家的瀏覽器，在2023年開始推出了自己的無頭模式。而我們曾經熟悉的phantomjs卻在之後不再被selenium所支援（目前只支援chrome和firefox的無頭模式，據說這是一種大廠效應23333）。在macos下，坑會少一些，但放在我的伺服器上坑就多了起來。

注：以下配置過程請在非root使用者賬號下完成。

1.1 新增repo源

$ sudo

vi /etc/yum.repos.d/google.repo

在開啟的空檔案中填入以下內容

[google]
name=google-x86_64
baseurl=
enabled=1
gpgcheck=0
gpgkey=

1.2yum安裝

$ sudo yum update

$ sudo yum install google-chrome-stable

2.1 檢視chrome的版本

$ google-chrome --version

2.3 新增至環境變數$path

$ sudo vim ~/.bash_profile

開啟後在適當的位置新增：

（假設你把chromedriver放到了/home/***/drivers/bin/目錄下）

export path=/home/***/drivers/bin:$path

path=
$path:/home/***/drivers/bin

這兩種方式作用上是完全等價的。

selenium可以在你專案的虛擬環境中簡單地用pip安裝

$ pip3 install selenium

from selenium.webdriver import chrome
from selenium.webdriver.chrome.options import options
driver_path =
'/home/***/drivers/bin/chromedriver'
if __name__ ==
"__main__"
:# 設定瀏覽器
options = options(
)    options.add_argument(
'--no-sandbox'
)    options.add_argument(
'--headless'
)# 無頭引數
options.add_argument(
'--disable-gpu'
)# 啟動瀏覽器
driver = chrome(executable_path=driver_path, options=options)
# 訪問目標url
driver.get(
'')print
(driver.page_source)
driver.close(
)    driver.quit(
)

注意，這裡的--no-sandbox和--headless是必須的，而且必須按照--no-sandbox在最前面的順序，否則會報一些非常摸不著頭腦的錯誤（這就是最坑的地方）。

希望看到這篇文章的你能解決想要解決的問題。

CentOS7上使用Chrome的無頭瀏覽器

centos7上ansible初步使用

centos7上使用locate命令

centos7中安裝chrom瀏覽器問題與解決

CentOS7上使用Chrome的無頭瀏覽器

centos7上ansible初步使用

centos7上使用locate命令

centos7中安裝chrom瀏覽器問題與解決

相關推薦