話單資料採集簡單了解

話單資料採集的要求

1.支援定時從其它系統採集話單檔案。採集協議需要支援(ftp、ssh ftp)；

2.採集週期支援可配置、預設為5分鐘；

3.採集後需要將伺服器上的話單檔案刪除或者備份，避免重複採集；

4.支援採集指定型別的話單檔案，型別及檔名字首可配置；

5.支援斷網後自動重連；

6.支援配置多個採集點；

7.支援離線採集；

8.採集的檔案型別有二進位製碼檔案，ascii檔案，有話單型別，賬單型別；

9.採集時先生成臨時檔案, 需確認採集檔案是否完整，採集完成之後改為正式名稱; 如果採集異常,下次需要重新採集；

實現方式：

1.簡單的ftp方式，ftp遠端機器，得到遠端機器目錄的所有檔案，並且每個檔案對應的大小，然後根據這些檔名，乙個個get到本地。獲取本地檔案大小，與之前獲取的大小進行比較，判斷採集的檔案是否完整。獲取檔案的序列號，與之前記錄的序列號進行比較，看檔案是否跳號。並且把採集的資訊記錄到日誌表，方便查詢。

2.先獲取遠端的檔案列表資訊，包括有幾個檔案，每個檔案大小等資訊，然後根據這些資訊進行ftp檔案，後面邏輯與第一點一樣。

3.先發乙個採集的請求給遠端機器，遠端機器應答後，如果可以採集，返回採集的相關資訊，進行採集處理

4.本地機器資料庫存放有需要採集的檔案，已經序列號，大小等資訊，根據這些資訊，直接採集。

效能要求：

採集點至少支撐20網元。一分鐘採集檔案數要達到500.

話單資料採集簡單了解

話單資料採集的要求 1.支援定時從其它系統採集話單檔案。採集協議需要支援 ftp ssh ftp 2.採集週期支援可配置 預設為5分鐘 3.採集後需要將伺服器上的話單檔案刪除或者備份，避免重複採集 4.支援採集指定型別的話單檔案，型別及檔名字首可配置 5.支援斷網後自動重連 6.支援配置多個採集點 ...

C 簡單資料採集

這裡指的是，你發現任意乙個頁面，沒有rss,沒有資料介面，只是通過瀏覽器能夠訪問，把上面的資料用 程式拿過來用。基本原理 1，通過http請求頁面，返回字串的 表示式，提取有用的資料，排除無用的 3，有需要的可以把資料儲存到自己的資料庫中，也報過處理等。4，把提取出來的資料生成自己需要的頁面。乙個偷...

話單資料完整流程

原始資料 解析 解析後的資料 入庫 彙總的資料 1.原始資料 上游中興的原始資料，在遠端桌面winscp軟體中檢視。丟失了下游也沒法補充採集。得等上游補充採集後下游才能解析。當原始資料存在，而話單資料顯示紅點，則要補採。2.解析後的資料 當 資料完整性檢查 中的紅點變為綠點，則表示解析過。解析後的資...