TensorFlow高效讀取資料的方法

**：

tfrecords其實是一種二進位制檔案，用來儲存

tf.train.example協議記憶體塊(protocol buffer)。

乙個example中包含features，features裡包含乙個名字為feature的字典，裡面是(key , value) 對, 

value是

乙個floatlis/bytelist/int64list. 下面寫如何寫入及讀取tfrecords

寫入時我們可以寫一段**獲取資料， 將資料填入到example協議記憶體塊(protocol buffer)，然後將協議記憶體塊序列化為乙個字串， 並且通過tf.python_io.tfrecordwriter寫入到tfrecords檔案。

import os

import tensorflow as tf 
from pil import image
cwd = os.getcwd()
'''此處我載入的資料目錄如下：
這裡的0， 1， 2...就是類別，也就是下文中的classes
classes是我根據自己資料型別定義的乙個列表，大家可以根據自己的資料情況靈活運用
...'''
writer = tf.python_io.tfrecordwriter("train.tfrecords")
for index, name in enumerate(classes):
class_path = cwd + name + "/"
for img_name in os.listdir(class_path):
img_path = class_path + img_name
img = image.open(img_path)
img = img.resize((224, 224))
img_raw = img.tobytes()              #將轉化為原生bytes
example = tf.train.example(features=tf.train.features(feature=))
writer.write(example.serializetostring())  #序列化為字串
writer.close()

可以使用tf.tfrecordreader的tf.parse_single_example解析器。

for serialized_example in tf.python_io.tf_record_iterator("train.tfrecords"):

example = tf.train.example()
example.parsefromstring(serialized_example)
image = example.features.feature['image'].bytes_list.value
label = example.features.feature['label'].int64_list.value
# 可以做一些預處理之類的
print image, label

def read_and_decode(filename):

#根據檔名生成乙個佇列
filename_queue = tf.train.string_input_producer([filename])
reader = tf.tfrecordreader()
_, serialized_example = reader.read(filename_queue)   #返回檔名和檔案
features = tf.parse_single_example(serialized_example,
features=)
img = tf.decode_raw(features['img_raw'], tf.uint8)
img = tf.reshape(img, [224, 224, 3])
img = tf.cast(img, tf.float32) * (1. / 255) - 0.5
label = tf.cast(features['label'], tf.int32)
return img, label

TensorFlow高效讀取資料的方法

tensorflow高效讀取資料的方法 關於tensorflow讀取資料，官網給出了三種方法 供給資料 feeding 在tensorflow程式執行的每一步，讓python 來供給資料。從檔案讀取資料 在tensorflow圖的起始，讓乙個輸入管線從檔案中讀取資料。預載入資料 在tensorflo...

tensorflow高效讀取資料之tfrecord

tensorflow提供了一種統一的格式來儲存資料，這個格式就是tfrecord，接下來介紹如何使用tfrecord來統一輸入資料的格式。tfrcord檔案中的資料都是通過tf.train.example protocol buffer的格式來儲存的，以下 給出了tf.train.example的定...

Tensorflow高效讀取資料的方法

最新上傳的mcnn中有完整的資料讀寫示例，可以參考。關於tensorflow讀取資料，官網給出了三種方法 對於資料量較小而言，可能一般選擇直接將資料載入進記憶體，然後再分batch輸入網路進行訓練 tip 使用這種方法時，結合yield使用更為簡潔，大家自己嘗試一下吧，我就不贅述了 但是，如果資料量...