header讀取：通過讀取你的header資訊，看看你是不是真瀏覽器，看你的各種引數是否符合正常使用者，如果不符合，就禁止你訪問資料。（辦法：我們可以在請求時模仿header。）
使用者登入後才能訪問：有些資料是只有登入後才能訪問的，一般**把登入資料都記錄在session中。（辦法：先用乙個使用者登入一下，然後請求的時候帶上cookie，在客戶端其實session資訊也是寫在cookie裡面的。）
限制ip：爬資料時，因為訪問**的評率過高，所以**把你的ip放入了黑名單，導致你當前ip的客戶端無法訪問它的資料。（辦法：用多個ip( adsl撥號 / **ip ) 。）
驗證碼：爬資料時，因為訪問**的評率過高，或者其它原因，**會返回驗證碼，如果填寫不正確，就無法繼續訪問資料。（辦法：有開源元件做識別 / 打碼平台）
資料js動態載入：有些網頁資料不是一次性全部載入，而是滾動條往下拉一下，載入一下，在這種情況下你無法直接爬取到全面的資料。比如vue的懶載入。（辦法：根據js方法的特點來抓取資料。）
js收集使用者操作辨識你是否真人：記錄你滑鼠移動的資料，然後傳上去。如果你沒有滑鼠的移動，那麼就不認可你是正常訪問。（辦法：跟蹤它的js記錄資料的方法，然後偽造相關引數。）
新手在學習web前端過程中會遇到哪些困境
一 入門web前端時的一些困境 1 因一些基礎演算法 資料結構理論不紮實導致一些程式設計思維難於理解。比如原型鏈，如果清楚資料結構中煉表結構，那麼這個東西不難理解，再比如雜湊值，懂得資料結構中雜湊表，雜湊值也就迎刃而解。2 計算機體系結構 作業系統理論 網路理論不紮實導致到後期一些東西難於理解。比如...
網路傳輸的過程中會產生空格，加號
場景 在寫job本來對於一段json傳輸之前進行了md5加密，base64加密，但是在傳輸過去後產生了加號 找了很多的方法，但是一直都會產生，最後的解決方案是 我這邊在加密之後再加一層url加密，對方不用加 解決方法 private logger logger logge ctory.getlogg...
簡單的爬蟲爬取文章
我們會用一些簡單的爬蟲去爬取 等，那麼在別人的 中我們的應選擇對應的標題等資料作為爬取的內容標桿 如以下 模擬瀏覽器發請求 connection connect jsoup.connect document doc connect.get elements select doc.select lis...