採集資料專案後端總結(二) 字典管理

2021-08-28 05:12:58 字數 788 閱讀 1864

1. 功能描述:字典管理包括字典分類管理和字典項管理,顧名思義,字典的主要功能就是對資料的型別進行管理和節約記憶體

作用:減少冗餘應該用節約記憶體更合適,就是說如果存型別可能就是一串中文,但是用了字典表之後 可以用幾個數字代替 節約資料記憶體;

主要的意義還是對資料的型別,資料狀態的管理 ,我們有時候為了方便,直接在資料庫存1/2/3這種資料,如果換乙個來維護就看不懂了 但是有字典表就可以根據字典表翻譯出實際的資訊

2. 關聯關係:字典分類和字典項是父與子,一對多(邏輯理解)的關係,對於字典項和字典分類的關係是多對一的關係,字典分類本身也是具有樹的層級關係,根據spring data jpa 的規範:

①在字典項建立外來鍵關係:@manytoone(fetch = fetchtype.lazy) @joincolumn(name = "directory_id")

②對於字典分類有兩個層級關聯,乙個是與自身建立關聯關係(在字典分類的資料庫設計中,起始id即為父字典分類(一對多),此時增加parentid欄位為null, 以後的id均與父id行的parentid欄位 產生關聯,這樣便構起樹結構);另乙個是與字典項構建一對多的關聯,用 註解@onetomany(fetch = fetchtype.lazy, cascade = cascadetype.all)表示關聯字典項,這裡的cascade設定級聯,cascadetype.all表示對對映的物件擁有增刪改查功能,只要在主(父)表改變即可讓子表(字典項)發生改變;

採集資料小總結

採集過程遇到的問題 1.十分鐘內訪問資料頁面,需要輸入驗證碼 2.每天ip限定訪問五十個以內,用完則明天再來 b 剛開始的解決辦法 b 去抓取網上提供的 ip 埠,然後 訪問 問題 ip好多不能用,需要 ip個數較多,然後還要根據採集 的規則設定,比如十分鐘內每個 訪問規則數量 1,之後再次訪問.b...

AD採集資料 UDP上傳

fpga通過udp進行資料的上傳,目前實驗室用的方法是 一.通過wireshark抓udp包 二.用python進行資料的轉換 udp資料報16進製制 10bit整數 三.用matlab對10bit整數進行分析 上述第二步的具體轉換步驟如下 1.將udp的包轉成hex格式,以byte為單位對每乙個b...

PV,V,UV的概念,採集資料

guid ip 隨機數 firstvisit.gif 表示新使用者 pagevi 0.gif 超出規定時間的使用者 pagevi 1.gif 1 天以後的時間段 pagevi 2.gif 30 分鐘 1 天時間段 pagevi 3.gif 0 30 分鐘時間 綜合瀏覽量 pv 統計所有的資料 訪問次...