對資料庫的設計如果以前沒有涉及到動態資料的處理可能會覺得不好拿捏，因為動態資料沒有固定的字段，資料型別，長度，欄位的個數，甚至連表名都不知道。那我們應該怎樣去構造乙個動態的資料庫呢？首先，我們用乙個物件code與資料庫code唯一標識資料，用字段屬性（item）表去存字段的屬性，如：字段中英文名、字段編碼、欄位的資料型別（整數，列舉，小數，時間）、字段長度、是否必須字段、是否公式字段、預設值等等。如：。
再用表去儲存列舉，列舉值等資料。這樣便可以確定資料的字段，根據物件code與資料庫code建立資料庫，表的字段便是前面item表中設計的字段。管理員設計好字段後進行同步，對比設計的字段與真實資料庫，同步後，對真實資料庫進行修改屬性。如：新增了乙個user_name欄位，則會在對應資料表中新增字段。這樣就能夠動態的去構造資料了。
用乙個map去處理動態資料，因為我們不知道動態資料的固定屬性字段，但我們能根據字段屬性表返回乙個map，乙個map就是一條資料，如：,進行修改，新增時也是用的資料結構去操作；
通過item表去過去欄位的屬性，以及校驗規則對於動態資料的校驗，可以通過item表過去字段屬性的去查詢出資料的約束，如是否必選，是否可編輯，長度，時間，列舉，小數字數等等。獲取每種可能資料型別的校驗引數，對動態資料進行逐個校驗；
匯入：匯入首先通過item表，表頭名稱與語言獲取code—資料的map，再通過item欄位屬性進行資料校驗，對每種可能的資料進行不同的校驗，最後進行相應的業務處理即可。
資料處理 流資料處理利器
流處理 stream processing 是一種計算機程式設計正規化，其允許給定乙個資料序列 流處理資料來源 一系列資料操作 函式 被應用到流中的每個元素。同時流處理工具可以顯著提高程式設計師的開發效率，允許他們編寫有效 乾淨和簡潔的 流資料處理在我們的日常工作中非常常見，舉個例子，我們在業務開發...
爬蟲 資料處理 pandas資料處理
使用duplicated 函式檢測重複的行，返回元素為布林型別的series物件，每個元素對應一行，如果該行不是第一次出現，則元素為true keep引數 指定保留哪一重複的行資料 dataframe替換操作 使用df.std 函式可以求得dataframe物件每一列的標準差 資料清洗清洗重複值 清...
資料處理 pandas資料處理優化方法小結
資料處理時使用最多的就是pandas庫，pandas在資料處理方面很強大，整合了資料處理和資料視覺化。pandas的視覺化使用的是matplotlib。回到主題 計算資料的某個欄位的所有值，對其欄位所有值進行運算 處理的字段資料為時間戳，需要計算該時間戳距離現在的時間，單位為天。一般方法 使用現在的...