工具篇 csv檔案讀寫

目的：在python處理資料的很多時候，需要載入檔案，通常還是csv格式，希望載入之後是個二維列表/陣列，這樣才方便處理；

1. 簡單的api能夠匯入資料到記憶體中
2. 能夠適應複雜&大資料量機器學習的場景

import pandas as pd;

import numpy as np;
df = pd.read_csv("file_name");
np.array(df);

todo

填入&儲存feature

with tf.python_io.tfrecordwriter(file_name) as writer:

for data in balabla:
feature_data = get_data()
example = tf.train.example(
features = tf.train.features(
feature=))
writer.write(example.serializetostring())

filename_queue = tf.train.string_input_producer([filename])

reader = tf.tfrecordreader()
_, serialized_example = reader.read(filename_queue)
features = tf.parse_single_example(serialized_example,
features = )
feas = tf.decode_raw(features['key_1'], tf.uint8)

CSV檔案讀寫

delimiter 分隔符 quotechar 如果某個item中包含了分隔符，用quotechar包裹 doublequote quotechar double 一下用來做區分 escapechar 如果不用 doublequote 的方法還可以用 escapechar 來輔助 linetermi...

CSV 檔案讀寫

乙個臨時的任務，需要把乙個有幾百萬條記錄的 csv 檔案分割成多個小一點的檔案，沒找到合適的分割工具，就花了一點時間研究了 csv 檔案的讀寫操作。成果如下 public static arraylistreadcsvbycsvreader string filepath reader.close ...

python使用csv讀寫CSV檔案

檔案的讀 import csv with open test.csv r as csv file reader csv.reader csv file for line in reader print line 檔案的寫 import csv 表頭 file header houseinfo hou...