從部署和運維說說DLI(1)

2022-01-11 04:15:58 字數 1224 閱讀 7769

dli是支援多模引擎的serverless大資料計算服務,其很好的實現了serverless的特性:

1. 弱化了儲存和計算之間的聯絡;

2. **的執行不再需要手動分配資源;

3. 按使用量計費。

那麼如何才能更好的實現serverless化的服務,同時又避免成為傳統單體分布式的應用?微服務架構無疑是最優的選擇。dli基於微服務架構模式下的整體部署架構如下:

即對外以純api形式提供服務,通過以apigateway作為應用的入口,基於領域模型按子域進行微服務劃分,從而實現serverless化的大資料計算服務。

那麼對於這樣的乙個基於微服務架構實現的serverless服務,我們是如何在生產環境來部署與運維,從而在保證服務sla的前提下實現快速迭代上線的呢?

隨著技術的發展,部署的流程和架構都發生了根本性的變化,如今已經走入了輕量級、短生命週期的技術時代。

從最初部署在物理機上的大資料計算平台,到基於公有雲的彈性計算雲伺服器部署大資料平台,再到dli這樣的serverless服務,其很好展現了大資料計算服務的演變。那麼如何才能更好的實現serverless化的大資料計算服務的部署呢,dli的答案就是基於kubernetes+docker來部署各微服務。

kubernetes部署是在不停機的情況下部署服務的好方法,但是如何應對在接收生產流量後出現的錯誤,使新版本的服務更可靠呢?這可以通過將問題一分為二來看:

1. 部署,即將服務上線到生產環境中執行;

2. 發布,即使服務可用於處理生產流量。

傳統上,分離部署流程與發布流程一直是乙個挑戰。但現在我們有了很好的選擇,那就是基於服務網格。在dli的部署中我們結合了kubernetes+istio,利用istio的流量管理實現了服務發現、流量路由,從而輕鬆的將部署與發布分開,使新版本的服務更加可靠。

點選關注,第一時間了解華為雲新鮮技術~

微服務架構下,DLI的部署和運維有何奧秘?

摘要 dli兩個問題 如何在生產環境中部署與運維實現快速迭代上線,如何實現監控告警來提公升整體運維能力。華為雲資料湖探索dli是支援多模引擎的serverless大資料計算服務,其很好的實現了serverless的特性 1.弱化了儲存和計算之間的聯絡 2.的執行不再需要手動分配資源 3.按使用量計費...

nginx和uwsgi運維部署筆記整合常用

1 線上安裝sudo apt get install nginx y使 netstat tunlp檢視當前系統後台tcp udp連線狀態!2 nginx服務的基本操作 建議使 前2種 案 當且僅當使 線上標準安裝之後,才有的 具指令碼去操作nginx 以下三個 案不能混著使 配置目錄 etc ngi...

雲運維如何選擇部署合適的IDC和網路?

對於各種雲平台來講除了技術上的差異外,有一點是相同的,他們的資源都是部署在idc機房和運營商網路上的。因此選擇乙個穩定的idc和網路 商來承載各自的雲平台是各雲服務提供商的首要任務。選擇運營商骨幹節點所在地區的idc 網路一般為單線,電信和聯通骨幹節點所在地一般都是省會城市,idc和網路普遍具有以下...