因為hive主要語法是按照mysql習慣，本人用oracle比較多，所以對一些執行過的操作進行記錄總結，以防日後忘記。
use dsdsj;
create table resourcedb_dm_smbs_yztj
( smbs_yztj_dm string not null comment '驗證途徑**',
smbs_yztjmc string comment '驗證途徑名稱',
xybz string comment '選用標誌',
yxbz string comment '有效標誌'
)comment '實名辦稅驗證途徑**表'
clustered by (smbs_yztj_dm)
into 1 buckets
stored as orc
tblproperties ('transactional'='true');
desc resourcedb_dm_smbs_yztj;
大資料分析經驗總結
大資料分析到底需要多少種機器學習的方法呢？圍繞著這個問題，機器學習領域多年得出的一些經驗規律。1.大資料分析效能的好壞，也就是說機器學習 的準確率，與使用的學習演算法 問題的性質 資料集的特性包括資料規模 資料特徵等都有關係。2.一般地，ensemble方法包括random forest和adabo...
大資料應用測試經驗總結
大資料應用測試過程與傳統的web系統有較大的不同，大資料應用測試通常會分為web側和etl側測試，web側基本就是功能測試，而etl extracting transfroming loading 測試主要指從任何外部系統提取 轉換 載入資料到目標地。從底層資料採集 資料處理 到上層應用展現。一 從...
經驗總結 資料預處理經驗總結1
1.對於特徵較多的df，進行資料預處理時需要對每個特徵變數進行相關處理，為了避免混亂，可以df.info 後將輸出複製到sublime，然後在sublime中針對每個特徵變數進行處理方式標註 非python 只是為了展示在sublime中的效果 action type 30697 non null ...