hive分割槽表陷阱(不load資料到hive,而是put資料到hdfs分割槽目錄下,hive查不到資料)
解決方法(msck repair table table_name;):
答案:分割槽表是hdfs上以資料夾的形式存在,為了提高查詢效率。
答案:crontab -e或者hue提交
sqoop增量匯入並按時間分割槽:
答案:需求描述:統計日誌檔案中本週末網購停留總時間超過2個小時的女性網民資訊;
需求描述:實時統計連續網購時間超過半個小時的女性網民資訊
①spark streaming write to print
②spark streaming write to kafka
需求描述:
框架:常用包:bokeh、jupyter notebook、keras、matplotlib、numpy、pandas、scikit=learn、scipy、seaborn
hbase的應用場景1:
hbase的應用場景2:
hbase rowkey及建表方式設計:
答案:答案:
強烈推薦博主:
答案:倒排索引
簡介:詳細:
答案:sqoop增量
參考:《離線和實時大資料開發實戰》
答案:答案:
答案:
跟我一起學攝影
咦 好巧!我也是攝影愛好者。咱們一起學習吧。或許你也有這樣的體驗,並茂的文章更能讓人快速進入學習狀態,更何況是攝影,必須有圖。下面是我彙總的資料,必須深入淺出,拒絕一切晦澀難懂。學習課本 1.佳能官網 能系統學習攝影知識,從入門 初級 中級 高階 高階。每個頁面講解乙個知識點,結合實際的拍攝效果,深...
跟我一起學python 跟我一起學人工智慧(一)
跟我一起學人工智慧 一 文 小步 系列第一講正式開課啦,課程全都是可以實操的乾貨,到後面ai演算法 python 可以結合做出乙個簡單的人工智慧應用 因本人也對ai領域涉足不久,如文章有不妥之處還請各位大神與我多多交流,此系列文章也屬於我學習ai過程中的總結,我也會做到盡量寫出只要是高中畢業就能看懂...
跟我一起學OpenGL texture 紋理
前面學習了畫普通的圖形,但是顏色比較單一,有什麼好的方法讓圖形顏色更加豐富,更加真實呢?texture 中文譯為紋理 就可以扮演這一角色,本節則簡單說明texture的使用。執行下面的程式,便可出現乙個黑白相間的棋盤 1 include 2 include 3 include 4 using nam...