資料採集2023年11月24日到現在已經有38天了。這中間斷斷續續的，但卻始終沒有停止過。回頭想想我們走過的路程可分為以下六個方面：
一開始，公尺老師就讓我們拿出一套方案來，關於這次採集資料的執行方案。每次任務的執行都要有乙個規劃指導。 以指導為方向，不至於走錯方向。有了指導，可以彌補執行中的不足。有了指導就有了計畫，計畫好了，按計畫一步步執行就ok了。沒有可執行文件就像乙隻無頭蒼蠅，跑到**算**，想到**算**。
以前一篇部落格《資料收集感悟》中已經提到因為我們的模板不合格，所有又重新設計了模板，使用了vba。從這模板的設計中深深體會到微軟的強大。也體會到了一切以需求為主，「業務為王」。
全心全意為人民服務是我們需要時刻謹記的。
說培訓其實就是將你想讓別人知道的東西告訴別人。你怎樣將你想說的內容通俗易懂的表達給別人呢。因為10期的同學沒有採集過資訊，如果用一些很簡練提公升的話，他們可能無法理解。如果就從表面來說呢，又有一些具體的細節概括不全。所有這個時候真是很糾結，比如虛擬班這個概念吧，接觸過人都知道，虛擬班其實就是上課班。但是大家剛接觸又有那麼多的表，《課程-教師》《虛擬班-課程》、《虛擬班-行政班》、《虛擬班-學生》等。表一多就容易混。加上表達能力又說，哎呀，糾結啊。
這中間我們沒有做任何的錄影，許恕的話提醒了我，你們沒有錄影嗎，是的，我們沒有錄影，如果錄影就不用一遍一遍的解釋了，直接讓負責人去看錄影就好了。我們丟失了一次記住「歷史」的機會。
在採集資料的過程中遇到問題是難免的，各個學院要收集資料，就需要與各個二級學院的教學秘書打交道。首先讓負責人到各個學院去，指導老師整理資料。然後就是取回老師整理的資料。看似簡單的路線，走下來卻沒有那麼容易。(1)不能按時將資料採回。(2)不想整理資料，等靠。對於這些問題當時真的不知道該怎麼辦，只有讓負責人督促，實在沒有辦法了，只能是我們的負責人整理資料了。但是這樣也為我們以後問題的出現埋下了禍根。
資料採集完成之後，最關鍵的就是匯入資料了。匯入資料是乙個費時間的活，如果模板的格式正確還好，如果不正確就需要改格式。資料不正確也不能匯入系統。我們系統這點做的很好，當你無法匯入的時候會提示出錯的原因。但是有的時候即使你將它提示的所有的問題都解決了，還是無法匯入。我們採用了最笨的方法，一部分一部分的匯入，結局是：匯入成功。對於這一點一直找不到原因。
此處值得開心的是，為了方便大家的匯入。我們專門整理了乙份匯入指導，對於經常出現問題和解決方法都進行了說明。也有一些遺憾，好像大家都沒怎麼看。（該怎樣讓大家去看呢，思考……）
匯入資料完成之後，就是檢查驗收資料的完整性和準確性。
匯入資料之後，各個二級學院的教學秘書簽訂《責任書》。讓我們的整個執行過程程式化。
匯入資料之後，通知二級學院教學秘書進入我們的系統進行檢查，看匯入的資料是否完整、準確。
雖然說是檢查驗收，但是真正執行又有多少。首先我們就沒有為檢查驗收制定執行方案，所有讓我們的檢查工作形同虛設。也就為後來評教中問題的出現「奠定了基礎」。從老師的角度想想，如果讓我檢查，我也真的不願意檢查。首先我不知道該這麼檢查。其次，檢查的東西那麼多，不願意弄。
現在想想我們檢查驗收可以有兩種方案：
(1)和評教系統相結合，讓老師以學生身份登入評教系統，結合課表。這樣就很容易發現問題。
(2) 我們的負責人抽查，負責人以學生身份登入評教系統，結合課表檢查。
很可惜我們的兩種方案都沒有執行。
評教是對我們採集的資料正確性和完整性的一次全面的檢測，這其中有開心也有失落。評教將我們資料採集中的問題全部暴漏了出來，老師與課程不對應，學生缺課，學生無法登入，整個班級缺課。有些問題我們可以當場處理，有些問題只能記錄（記錄問題的資訊也要齊全，否則後期的的查詢問題工作無法執行）。
此處我們犯了乙個嚴重的錯誤，以為評教完了任務就完成了。沒有對在評教問題中出現的問題進行處理。當老師詢問的時候才意識到這個問題，我們丟了顆粒歸倉的步驟。
把各個學院出現的問題分派下去，負責人負責查詢原因。不查不知道，一查嚇一跳。實際的問題比現在暴漏的問題多很多，讓我們措手不及，這裡就是由於資料採集過程和檢測驗收過程未執行好，而引起的問題。
檢測工作做不好，一切資料採集的辛苦都白費。
我們資料的採集的正確性和完整性，首先受到了評教的檢驗。評教時出現的問題我們都進行了記錄。
通過教師的反饋郵件，我們進行了檢查，找到了問題的原因。與教學秘書核實後，進行了處理。因為有的學院問題比較嚴重，可能需要一些班級重新評教。
通過評教和老師的反饋，反應了我們的資料採集工作存在很大問題。(1)考慮問題不夠全面。(2)制定的方案不能很好的執行。(3)忽視細節，而採集工作，最重要的就是細節。(4)未吸取上次採集資料的經驗和教訓。(5)工作拖延，沒有確切的完成時間。(6)檢查監督力度不夠。
在整個資料採集的過程中，收穫的是什麼？是思考問題的方式。
filebeat 資料採集流程
filebeat啟動流程 講解了filebeat的啟動流程，filebeat在構建完crawler物件，開始採集流程。crawler的start方法內，會啟動inputs func c crawler start pipeline beat.pipeline,r registrar.registra...
京東資料採集整理標準化流程介紹
用電商資料採集軟體採集過資料的朋友就應該很清楚，我們輸入指令通過採集軟體將我們需要的 天貓 京東等平台資料採集回來後，其實裡面包含了很多配件及其他不相關的產品。如果是需要需要用這批資料做產品的分析我們需要刪除配件，整理品牌 型號。整理這過程極其枯燥乏味，而且費眼力，很多客戶雖然花錢買了原始資料，但是...
從外部資料採集到資料處理流程
對於大型產線程式來說，很多人尤其是程式設計師很好奇，資料到底從 來，又是怎麼處理的呢？有沒有你？反正我很好奇，那麼接下來就簡單兩句話說下，至少心裡有個概念！首先要明確這個資料不是憑空造出來的，而是來自生產現場的真實資料，而且是自動採集的，不然人員手錄的話，資料不準確，而且是很大的工作量。對於產線上的...