嘰裡呱啦實習第二十三天

2021-09-28 23:09:30 字數 983 閱讀 2329

今日學習心得:

(以下內容在筆記本上抄寫了一遍)

hive 元資料管理

有了統一的元資料管理之後,就可以實現:

提供持久化的元資料儲存

之前元資料都是在集群內部的 mysql 資料庫,元資料會隨著集群的釋放而丟失,特別是 emr 提供了靈活按量模式,集群可以按需建立用完就釋放。如果使用者需要保留現有的元資料資訊,必須登入上集群手動將元資料資訊匯出。支援統一的元資料管理之後,不再存在該問題。

能更方便地實現計算儲存分離

emr 上可以支援將資料存放在阿里雲 oss 中,在大資料量的情況下將資料儲存在 oss 上會大大降低使用的成本,emr 集群主要用來作為計算資源,在計算完成之後機器可以隨時釋放,資料在 oss 上,同時也不用再考慮元資料遷移的問題。

更方便地實現資料共享

使用統一的元資料庫,如果使用者的所有資料都存放在 oss 之上,則不需要做任何元資料的遷移和重建所有集群都是可以直接訪問資料,這樣每個 emr 集群可以做不同的業務,但是可以很方便地實現資料的共享。

在支援統一元資料之前,元資料是儲存在每個集群本地環境的 mysql 資料庫中,所以元資料會隨著集群的釋放消亡。在支援統一元資料之後,釋放集群不會清理元資料資訊。所以,在任何時候刪除 oss 上的資料或者集群 hdfs 上的資料(包括釋放集群操作)的時候,需要先確認該資料對應的元資料已經刪除(即要 drop 掉資料對應的表和資料庫)。否則元資料庫中可能出現一些髒的元資料資訊。

建立使用統一元資料的集群

頁面方式

建立集群時,在基礎配置頁面開啟統一 meta 資料庫開關。

api 方式

參考 api 文件中的 createclusterv2 定義,請指定此選項:uselocalmetadb=false。

元資料基本操作

前提條件

emr 控制台統一元資料管理介面,當前只對使用統一元資料的集群生效,且必須有活躍中的統一元資料集群。

資料庫操作

可根據庫名查詢庫,單擊庫名可檢視當前庫的所有表。

第二十三天

1 使用 koa 搭建伺服器 const koa require koa 路由請求 context ctx 上下文 包含req和res ctx.body hello koa2 2 如何配置 koa 路由 const koa require koa 建立路由物件 const router requir...

冥想第二十三天

早上進行了快樂的事情,並跑了步,非常舒服,西四環有點堵,提前給朋友發了資訊讓他們避開。這也是為朋友多做的一些事情,感謝朋友。又來公園裡面轉了兩圈,聽著 你的答案 渾身舒服。輕鬆,保持輕鬆,進行一天的開心快樂的工作吧,上午工作到11 40左右感覺視線有些模糊,就是困了,然後告訴自己就是困了。平穩的度過...

UI第二十三天 動畫

動畫的使 場景 ios中的動畫是指 些檢視上的過渡效果 合理利 動畫能提 戶體驗 uiview的屬性動畫 calayer動畫 uiview動畫 uiviewtransition動畫 uiview動畫 frame 檢視框架 center 檢視位置 bounds 檢視 backgroundcolor 背...