實訓,第二次筆記

2022-07-11 05:09:11 字數 1616 閱讀 5310

目標:把昨天的抓取**的**進行了完善和更新。並且對抓取二級頁面資料的**進行嘗試抓取。

今天,將分給我抓取**的**編寫完成,成功抓取了**的資料,並將其匯入資料庫中來。

應為我前乙個表中有我抓取**的鏈結,那我今天的任務,就是編寫**通過鏈結將這本書的內容匯入資料庫中去。 

今天,我針對抓取**的內容,將資料庫中的內容進行了修改,刪除了多於的標籤。

因為,內容不同,所有,我又重新建立了乙個**

通過連線資料庫用查詢語句查詢出各個**的鏈結進行爬取二級頁面內容,

發現**有很多重複的,通過從網上查詢,我明白了。

去重機制:scrapy.request()的引數dont_filter預設是false(去重)。

每 yield 乙個scrapy.request(),就將 url引數 與排程器內已有的 url 進行比較,如果存在相同 url 則預設不入佇列,如果沒有相同的 url 則入佇列,

今天,還未完成對二級頁面的抓取,明天繼續努力。

12月9日

經過兩天的努力總算抓取了二級頁面的內容

**如下:

今天,執行這段**執行成功了,在資料庫中卻沒有**的資料,

我向老師請教 ,老師說這一部分**,只是抓取了表層的**,還需要把抓取的**進行二級頁面的再一次抓取,執行後才可以導進資料庫中。

第二段**為:

在這段**中把抓取章節中的在執行一次就可以抓進資料庫中了。

抓取作者的**,我在原先的基礎上修改了一下**為:

成功把作者的資訊抓取到資料庫中了,目標抓取基本完成。

12.10日

今天,是實訓最後一天了,我們的實訓任務也到了收工的時候了。

我們今天把老師們的作業由組長收齊,上交給了老師

我的**在上方截過圖了,我就不在一次截圖了。

為期兩周的實訓以及接近尾聲了,在這兩周的學習中,不僅充實了自己的生活,也獲得了許多課堂裡學不到的東西。

通過這次實訓,又一次重新整理了我的學習生涯。

縮短了課本知識與實際工作的距離。明白失之毫釐,差之千里,零點零幾的差別,乙個字元,乙個符號的錯誤,可能造成整個程式的崩盤,

這次實訓,讓我知道了學無止境的含義。

第二次實訓

第二次實訓我們主要做了學生管理系統中的建立專案,建立實體類,建立資料庫連線管理類這三個方面的操作,建立實體類裡邊建立了一下幾個實體類 1 建立學校實體類對應學校表college 2 建立狀態實體類對應狀態表status 3 建立學生實體類對應學生表student 4 建立使用者實體類對應使用者表us...

第二次實訓(3)

今天新講了有關於ajax的內容,一開始覺得雲裡霧裡的,什麼都不懂,加了注釋之後,有點懂了,但是其實還不是很 理解。後來訪問不了頁面的時候,老師就開始改 這邊改改,那邊注釋一下的,思維全亂了,不知道哪句是要的,哪句是不要了的。實現跨域訪問的時候,真是頭都大了啊!搞了半天還搞不出來,不過知道流程是怎樣的...

樂知第二次實訓 李偉老師第二次課

時間網頁的製作 function disptime else 延遲執行函式實現滾動的效果 函式名 延遲時間 timehander settimeout choujiang 50 choujiang 增加按鈕 function stop 不讓上面的再延遲執行 cleartimeout 可以清空延遲物件...