五 pytorch載入資料初認識

2021-10-21 08:29:56 字數 828 閱讀 7860

(1)獲取每乙個資料及其lable值(標籤)

(2)返回一共有多少個資料。神經網路是根據資料的多少確定要迭代多少次才能迭代完。

資料集分為訓練資料集train和驗證資料集val

資料集的三種組織形式:

(1)hymenoptera_data資料夾中,train資料集分為ants(螞蟻)和bees(蜜蜂)兩個,其資料夾名稱就是兩個分別的標籤名稱

(2)練手資料集中,train分為ants_images和ants_lable,bees_image和bees_lable,用另乙個資料夾*_lab存放標籤,每個的.txt標籤中存放的是對應文字的座標資訊和文字本身。

(3)直接用lable命名

(1)pycharm中載入dataset類:from torch.utils.data import dataset(在torch工具箱內,常用的工具區utils,其中關於資料的data區中import dataset)

(2)檢視dataset類的使用方法:jupyter中載入dataset,使用help(dataset)/dataset??命令即可檢視(執行命令可用shift+回車)

大致意思:dataset是乙個抽象類,所有的資料集(表示乙個鍵到其資料樣本的地圖資料集)都要整合這個類,所有的子類都要重寫__getitem__方法(獲得每個資料及其對應的lable)。同時也可以選擇去重寫__len__類(長度類)

2、dataloader

為後面的網路提供不同的資料形式。(將dataset中獲取的資料進行相應的打包,以便為後面的網路服務)

pytorch載入資料

參考 pytorch深度學習快速入門教程 絕對通俗易懂!小土堆 可看到說明,dataset是乙個抽象類,我們重寫dataset時要繼承這個類,所有的子類都應該重寫 getitem 方法,這個方法作用是獲取資料及對應的labe。同時我們可以選擇性地去重寫 len 方法,其作用是獲取資料集長度。這裡我使...

pytorch十 資料載入

在pytorch中,資料載入可通過自定義的資料集物件實現。資料及物件被抽象為dataset類,實現自定義的資料集需要繼承dataset,並實現兩個python魔法方法。這裡我們以kaggle經典挑戰比賽 dogs vs cat 的資料為例,詳細講解如何處理資料。這是乙個分類問題,判斷一張是狗還是貓,...

Pytorch資料載入 (一)

在pytorch中,資料載入可以通過自定義的資料集物件實現。資料集物件被抽象為dataset類,實現自定義的資料集需要繼承datase類,並且實現python的兩個魔法方法。a.getitem 返回一條資料或者樣本。如obj index 等價於obj.getitem index 如果定義乙個 cla...