在機器學習過程中,通常會通過pandas讀取csv檔案,保持成dadaframe格式,然而有時候需要對dataframe中的時間字段進行資料建模,比如時間格式為datetime,那麼像一般操作dataframe的方式來操作時間欄位會報錯的,所以在使用sklearn庫進行fit和predict的時候,通常要把時間字段首先轉換為timestamp格式,在fit和predict之後,如果需要matplotlib繪圖的時候,再把timestamp格式轉換為時間字串,比如2017-02-01 14:25:14,下面是我處理過的一段**,希望可以幫到童鞋們!
doc_list1 =補充一下:如果value不是datetime格式還需要進行轉換foriindoc1.iloc[:,
1:2].values.tolist(): # 轉換成了時間戳格式
forjini:
dt = time.strptime(j,
"%y-%m-%d %h:%m:%s")
dt_new = time.mktime(dt)
doc_list2 =
foriindoc_list1:
time_local = time.localtime(i)
dt = time.strftime("%y-%m-%d %h:%m:%s"
,time_local)
dt1 = datetime.datetime.strptime(dt,
"%y-%m-%d %h:%m:%s")x1 = np.mat(doc_list1).t
y1= test_target1001
clf = adaboostregressor(decisiontreeregressor(max_depth=5),
n_estimators=1000
, random_state=rng)
clf.fit(x1
,y1)
yhat1 = clf.predict(x1)
value = result.iloc[:,1]list =
for i in value:
print(type(i.to_pydatetime().timetuple()),i)
print(list)
Spark 解析XML檔案到DataFrame
公司遇到一點需求,平時load檔案基本上都是csv格式的檔案,可是就有那麼乙個檔案是xml檔案,這也正常,因為檔案是別的team推過來的,自然要遵循他們的格式,於是就要想辦法解析xml檔案。目標是把xml檔案轉換為dataframe,然後寫到表中。可是spark.reader並沒有讀取xml格式檔案...
Pandas統計分析基礎之DataFrame
3 更改dataframe中的資料 4 增加dataframe中的資料 刪除dataframe中的資料 dataframe類似於資料庫的表或者excel的 panda將資料讀取之後,以dataframe的資料結構儲存在記憶體中。下面就來介紹一下dataframe的增刪查改操作。因為dataframe...
python異常處理 Python 異常處理
使用者輸入不完整 比如輸入為空 或者輸入非法 輸入不是數字 異常就是程式執行時發生錯誤的訊號,在python中,錯誤觸發的異常如下 在python中不同的異常可以用不同的型別 python中統一了類與型別,型別即類 去標識,不同的類物件標識不同的異常,乙個異常標識一種錯 觸發indexerror 觸...