非結構化資料：html
#json.dumps 實現python型別轉化為json字串
#indent實現換行和空格
#ensure_ascii=false實現讓中文寫入的時候保持為中文
json_str = json.dumps(mydict,indent=2,ensure_ascii=false)
#json.loads 實現json字串轉化為python型別
my_dict =json.loads(json_str)
#json.dump 實現把python型別寫入類檔案物件
#比如f = open(「a.txt」,」r」) f就是類檔案物件
with open("
temp.txt
","w
") as f:
json.dump(mydict,f,ensure_ascii=false,indent=2)
#json.load 實現類檔案物件中的json字串轉化為python型別
資料處理 流資料處理利器
流處理 stream processing 是一種計算機程式設計正規化，其允許給定乙個資料序列 流處理資料來源 一系列資料操作 函式 被應用到流中的每個元素。同時流處理工具可以顯著提高程式設計師的開發效率，允許他們編寫有效 乾淨和簡潔的 流資料處理在我們的日常工作中非常常見，舉個例子，我們在業務開發...
爬蟲 資料處理 pandas資料處理
使用duplicated 函式檢測重複的行，返回元素為布林型別的series物件，每個元素對應一行，如果該行不是第一次出現，則元素為true keep引數 指定保留哪一重複的行資料 dataframe替換操作 使用df.std 函式可以求得dataframe物件每一列的標準差 資料清洗清洗重複值 清...
資料處理 pandas資料處理優化方法小結
資料處理時使用最多的就是pandas庫，pandas在資料處理方面很強大，整合了資料處理和資料視覺化。pandas的視覺化使用的是matplotlib。回到主題 計算資料的某個欄位的所有值，對其欄位所有值進行運算 處理的字段資料為時間戳，需要計算該時間戳距離現在的時間，單位為天。一般方法 使用現在的...