讀取TFRecord的簡短方法

2021-10-05 08:17:43 字數 753 閱讀 8469

萬惡的tensorflow老是喜歡把訓練資料處理成tfrecord的格式,之前踩了tensor2tensor的坑,大坑小坑不斷這裡主要說tfrecord的事情,就不細說這些。

搜了下網上的方法,其實是有對tensorflow的tfrecord操作的使用大全,不過感覺都比較冗長(真的是又長又**),有的感覺是文件的翻譯,所以我這裡就記錄下簡短的tfrecord的讀取方式

import tensorflow as tf

# 如果想直接在shell裡執行,記得加上eager

tfe = tf.contrib.eager

tfe.enable_eager_execution(

)# 這裡是讀取tfrecord檔案

filenames =

['record.tfrecord'

]raw_dataset = tf.data.tfrecorddataset(filenames)

# 這裡是真正的讀取**

# 因為這個raw_dataset是iterator,可以用take的方法取出對應的n個

for raw_record in raw_dataset.take(10)

: example = tf.train.example(

) example.parsefromstring(raw_record.numpy())

# 在這裡你就可以列印或者取出對應的記錄

print

(example)

高效讀取資料的方法 TFRecord

參考了這篇部落格的內容,做了些增加修改 tfrecord 是google官方推薦的一種資料格式,是google專門為tensorflow設計的一種資料格式。實際上,tfrecord是一種二進位制檔案,其能更好的利用記憶體,其內部包含了多個tf.train.example,而example是proto...

簡短的說明

本人愛丁堡小弱弱,目前是ecs的學生 有想要交流的可以私信我 我打算把大一第一學期學的haskell相關知識,分享一下,權當複習了 本學期從兩個方面學習了haskell,一節課是cl computation and logic,另一節課是fp functional programming 所以我也打...

Git的誕生(簡短)

git是目前世界上最先進的分布式版本控制系統 沒有之一 git的誕生 90年代linus把linux建立後,起初是linux本人通過手工方式合併世界各地志願者通過diff的方式傳過來的 到了2002年後 庫太大,linux很難繼續通過手工方式管理。linux就選擇了一家商業版本控制系統bitkeep...