one hot True編碼的過程及意義

2021-08-22 11:29:32 字數 2324 閱讀 7433

見以下**

import tensorflow as tf

from tensorflow.examples.tutorials.mnist import input_data

batch_size=10

mnist =input_data.read_data_sets('mnist_data/')

xs,ys = mnist.train.next_batch(batch_size)

print(ys.shape)

print(ys)

print('-------------編碼後--------------')

mnist =input_data.read_data_sets('mnist_data/',one_hot = true)

xs,ys = mnist.train.next_batch(batch_size)

# print(xs.shape)

print(ys.shape)

print(ys)

extracting mnist_data/train-images

-idx3

-ubyte

.gzextracting mnist_data/train-labels

-idx1

-ubyte

.gzextracting mnist_data/t10k-images

-idx3

-ubyte

.gzextracting mnist_data/t10k-labels

-idx1

-ubyte

.gz(10,)[7

0824

5786

2]-------------編碼後--------------

extracting mnist_data/train-images-idx3-ubyte.gz

extracting mnist_data/train-labels-idx1-ubyte.gz

extracting mnist_data/t10k-images-idx3-ubyte.gz

extracting mnist_data/t10k-labels-idx1-ubyte.gz

(10, 10)[[

0.0.

1.0.

0.0.

0.0.

0.0.][

0.0.

0.0.

0.1.

0.0.

0.0.][

0.0.

0.0.

0.1.

0.0.

0.0.][

0.0.

0.0.

0.0.

1.0.

0.0.][

0.0.

0.1.

0.0.

0.0.

0.0.][

0.0.

1.0.

0.0.

0.0.

0.0.][

0.0.

0.1.

0.0.

0.0.

0.0.][

1.0.

0.0.

0.0.

0.0.

0.0.][

0.0.

1.0.

0.0.

0.0.

0.0.][

0.1.

0.0.

0.0.

0.0.

0.0.

]]

pandas中one-hot編碼的神坑

機器學習中,經常會用到one-hot編碼。pandas中已經提供了這一函式。

但是這裡有乙個神坑,得到的one-hot編碼資料型別是uint8,進行數值計算時會溢位!!!

import pandas as pd

import numpy as np

a = [1, 2, 3, 1]

one_hot = pd.get_dummies(a)

print(one_hot.dtypes)

print(one_hot)

print(-one_hot)

1

uint8

2uint8

3uint8

dtype: object

1230100

1010

2001

3100

1230

255001

025502

002553

2550

0

我的編碼過程

我比較推崇優秀編碼中的slap原則和物件導向的srp原則。srp原則 單一職責原則 的含義是 乙個類應該僅有乙個引起它變化的原因。遵循srp原則的好處是,減低了類的複雜性,提高了 的可讀性 可維護性。自頂向下逐層設計 自頂向下逐層搭建 框架 寫ut測試用例 自頂向下逐層填充 實現 按照各個維度多次走...

CAVLC編碼過程詳解

編碼過程 假設有乙個4 4資料塊 資料重排列 0,3,0,1,1,1,0,1,0 1 初始值設定 非零係數的數目 totalcoeffs 5 拖尾係數的數目 trailingones 3 最後乙個非零係數前零的數目 total zeros 3 變數nc 1 說明 nc值的確定 色度的直流係數nc 1...

CAVLC編碼過程詳解

編碼過程 假設有乙個4 4資料塊 資料重排列 0,3,0,1,1,1,0,1,0 1 初始值設定 非零係數的數目 totalcoeffs 5 拖尾係數的數目 trailingones 3 最後乙個非零係數前零的數目 total zeros 3 變數nc 1 說明 nc值的確定 色度的直流係數nc 1...