資料集整理的一些技巧

2021-08-30 02:10:52 字數 3031 閱讀 4180

如果想把資料集劃分成 訓練集、測試集的話，步驟如下

所用方式為：np.random.randint(start,end,shape)和np.random.shuffle(temp)

temp =np.random.randint(1,100,[100])


print(temp)


np.random.shuffle(temp)


temp


結果：out[49]:


array([99, 95, 88, 30, 48, 12, 85, 11, 55, 15, 54, 30, 49, 60, 22, 16, 92,


85, 15, 99, 93, 23, 52, 79,  6, 62, 49,  1, 86, 12, 23, 86, 97, 38,


24, 59,  6, 81, 44, 74, 92, 68, 66, 41, 94, 11, 66, 78, 98, 65, 25,


68, 92, 63, 26, 96, 68, 96, 77, 60, 39, 44, 27, 69, 11, 40, 71,  5,


88, 34,  1, 90, 95, 87, 65, 61, 76,  4, 74,  9, 60, 63, 80, 43, 29,


35, 27, 87, 50, 57, 58, 95, 12, 61, 81, 63, 39, 54, 38, 85])
這樣就可以得到散亂的data序列號，然後利用前百分之60的序列號，從元資料中提取，

方法一：tf.variable

用法：tf.variable.init(初始值，trainable=?，)

方法二： tf.get_variable()

用法：　

v2 = tf.get_variable(姓名，shape=, 初值= 初始化值）

方法三： tf.placeholder()

用法：　

v2 = tf.placeholder（格式，shape=[ , ],姓名）

x = tf.placeholder(tf.float32,shape=[none,784],name=『x』)

輸入： 任意行，784列的32位浮點型資料。

所用方式為： os.chdir(dst_path)

所用方式為：np.r_[tt,列表list]

tt = np.array([1,2,3,4,5,56,6])


np.r_[tt,[1111,2222,3333]]


array([   1,    2,    3,    4,    5,   56,    6, 1111, 2222, 3333])
所用方式為：c = np.insert(a, 0, values=b, axis=0)
tt = np.array([1,2,3,4,5,56,6])


np.insert(tt,len(tt),values=[111,222])


import numpy as np


a = np.array([[1,2,3],[4,5,6],[7,8,9]])


b = np.array([[0,0,0]])


c = np.insert(a, 0, values=b, axis=0)


d = np.insert(a, 0, values=b, axis=1)
在a的某個位置，按行或者按列插入 目標資料

所用方式為：sklearn的自帶庫函式

from sklearn.model_selection import train_test_split


partial_x_train,x_val,partial_y_train,y_val = train_test_split(x_train,y_train,


test_size =0.3,random_state=0)
所用方式為：numpy所用的函式
# 提取單通道，結果放在列表之中


# y的格式為（1313，256，256，3）


# 目標：（1313，256，256，1）


for i in range(a):


#將列表轉化為　ndarray


label=np.array(label)


# 增加乙個維度


temp =label[:,:,:,np.newaxis]


from keras.utils.io_utils import hdf5matrix


x = hdf5matrix('casia-cmfd-pos.hd5', 'x')


y = hdf5matrix('casia-cmfd-pos.hd5','y')
優點：很快，知道檔案目的名和列名即可

缺點：得提前知道列名

import h5py


h5f = h5py.file('/home/workspace/wanghao/project/busternet/data/gf123.h5','w')


h5f.create_dataset('xx',data=label)


h5f.close()


qwe = 'casia-cmfd-pos.hd5'


h5f = h5py.file(qwe,'r')


data = h5f['y'][:]


h5f.close()
讀取回來的資料data是ndarray形式

for i in h5f.keys():


print(i)
以上操作可以讀取乙個hdf5檔案的key名，列

xstream的一些資料整理

1 xstream的作用 把pojo物件轉換成xml，把xml轉換為pojo物件。預設基於 2 xstream的常用方法介紹 初時化 xstream stream new xstream 轉換宣告 物件和xml轉換的規則宣告 1,stream.alias xml顯示 類.class 顯示物件 2，x...

整理的一些DarkStar的資料

darkstar可以提供很多特性來幫助開發人員，主要包括 提供簡單的程式設計模式來隱藏複雜的多工處理，多執行緒和伺服器複製等工作 針對mmorpg，提供伺服器的擴充套件能力，來滿足 式增長的玩家 mmorpg也不必再通過分割槽來解決玩家認輸的限制了 遊戲狀態的自動恢復能力 當出現伺服器當掉的情況 提...

整理一些提高C 程式設計效能的技巧

1 使用stringbuilder代替使用string 連線符 說明 string類物件是不可變的 唯讀 一旦建立該物件，就不能修改該物件的值。物件string物件的重新賦值，本質上是重新建立了乙個string物件並將新的值賦值給該物件。如果字串存在較多次的拼接時候，最後使用stringbuilde...