寫幾個hbase踩過的坑吧
問題1 :truncate table
後region
個數為1
,故不要
truncate table。
hbase 盡力不要執行truncate table。一旦執行 region個數就會變為1,之前的預分割槽就沒有用了。
那麼如果想要刪除 清空資料 只能重新建表!
問題2 :ttl 是
7天,這插入的資料有時間戳,時間戳是
7天前的資料,
hbase
不可查。
那如果是說做資料遷移,要遷移之前的資料,需要把timestamp去掉
問題3:hbase key相同覆蓋
rowkey相同會覆蓋。同時提醒自己和讀者們每次任務交付前自己務必先檢查一遍。
昨天遇見乙個線上sd錯誤,前人留下的bug!可以直接拉出去砍了!!感覺自己快成乙個運維的人兒啊,天天填前人的坑。。。
3.1線上hbase庫里永遠是只有一條記錄,很奇怪,然後從加工入庫開始調研。
3.2最終發現問題的時候,發現是他們線上跑了幾個月的程式,rowkey相同導致的!你說可氣不可氣!
同時,也給自己提個醒,以後再排查問題的時候啊,有時可以直接到最後一步,一步一步跟,太耗時間了。
寫了乙個hbase 批量執行的指令碼
#!/bin/bash
source /etc/profile
exec $hbase_home/bin/hbase shell <
hbase時間戳踩坑小記
大家知道,像ob,hbase這種儲存系統,插入資料的時候,一般資料上都會有乙個時間戳 ts hbase有乙個ttl time to live 可以標識資料的有效期,比如,可以把ttl設定成86400 1000,也就是說資料將於1天後過期。這是乙個表級的設定,必須在建表時指定。但是如果說你需要儲存某一...
實戰人臉比對專案 踩坑過程
d anaconda3 lib site packages 2 進入在這個目錄d anaconda3 lib site packages facenet data 3 新建lfw資料夾 4 進入d anaconda3 lib site packages facenet data lfw 其中raw存...
實戰裡踩過 jQuery 的那些坑
我是先學習的原生 js,只拿過原生 js 寫過一些簡單的小練習。在做實際專案時,使用 jquery 但是因為沒有系統學習過,而是以專案驅動學習,用到哪,查到哪,經常會踩到一些坑,在此一併記錄,希望自己以後不會再在同乙個問題上栽跟頭。jquery ajax 缺省會給傳入的 data 進行 url 編碼...