萬惡的tensorflow老是喜歡把訓練資料處理成tfrecord的格式,之前踩了tensor2tensor的坑,大坑小坑不斷這裡主要說tfrecord的事情,就不細說這些。
搜了下網上的方法,其實是有對tensorflow的tfrecord操作的使用大全,不過感覺都比較冗長(真的是又長又**),有的感覺是文件的翻譯,所以我這裡就記錄下簡短的tfrecord的讀取方式
import tensorflow as tf
# 如果想直接在shell裡執行,記得加上eager
tfe = tf.contrib.eager
tfe.enable_eager_execution(
)# 這裡是讀取tfrecord檔案
filenames =
['record.tfrecord'
]raw_dataset = tf.data.tfrecorddataset(filenames)
# 這裡是真正的讀取**
# 因為這個raw_dataset是iterator,可以用take的方法取出對應的n個
for raw_record in raw_dataset.take(10)
: example = tf.train.example(
) example.parsefromstring(raw_record.numpy())
# 在這裡你就可以列印或者取出對應的記錄
print
(example)
高效讀取資料的方法 TFRecord
參考了這篇部落格的內容,做了些增加修改 tfrecord 是google官方推薦的一種資料格式,是google專門為tensorflow設計的一種資料格式。實際上,tfrecord是一種二進位制檔案,其能更好的利用記憶體,其內部包含了多個tf.train.example,而example是proto...
簡短的說明
本人愛丁堡小弱弱,目前是ecs的學生 有想要交流的可以私信我 我打算把大一第一學期學的haskell相關知識,分享一下,權當複習了 本學期從兩個方面學習了haskell,一節課是cl computation and logic,另一節課是fp functional programming 所以我也打...
Git的誕生(簡短)
git是目前世界上最先進的分布式版本控制系統 沒有之一 git的誕生 90年代linus把linux建立後,起初是linux本人通過手工方式合併世界各地志願者通過diff的方式傳過來的 到了2002年後 庫太大,linux很難繼續通過手工方式管理。linux就選擇了一家商業版本控制系統bitkeep...