課程簡介
課程分為4章16講,分布式大資料處理系統架構中,訊息中介軟體是必不可少的元件,本課程主要講解如何基於python和常用訊息中介軟體快速開發大資料處理平台,並且結合實際應用場景,從零開始搭建一套完整的分布式日誌分析告警系統。
課程收穫
通過本課程的學習,能夠基於python和常用訊息中介軟體快速開發大資料處理平台。
適用人群
具備一定python基礎,初步從事python後端開發的人員
課程目錄
第1章python與訊息中介軟體概述22分鐘3節
1-1訊息中介軟體初識06:48
1-2常見訊息中介軟體比較08:00
1-3訊息中介軟體常見概念理解07:26
第2章python與訊息中介軟體之redis49分鐘4節
2-1redis簡介與應用場景10:42
2-2redis安裝與配置11:10
2-3redis常用操作和命令17:03
2-4python redis訊息佇列開發10:19
第3章python與訊息中介軟體之kafka38分鐘4節
3-1kafka簡介與應用場景12:15
3-2kafka安裝與配置09:02
3-3kafka相關概念解釋08:39
3-4python kafka訊息佇列開發08:45
第4章訊息中介軟體實踐:日誌處理告警平台36分鐘5節
4-1日誌處理告警平台架構詳解04:41
4-2採集日誌並且寫入kafka佇列11:48
4-3從kafka中取出日誌並進行實時解析06:08
4-4將redis中事件取出傳送郵件告警06:27
4-5將異常日誌事件寫入redis佇列07:34
訊息中介軟體
1.訊息的優先順序 2.訊息排序 3.訊息過濾 4.訊息持久化 5.訊息重試 6.事務的支援 7.broker滿 生產者,佇列,消費者 訊息佇列的優點 1 解耦2 非同步訊息,系統響應 在jms中,有兩種訊息模型 點對點模式和發布訂閱模式。1.在點對點模式中 有三種角色 1 訊息佇列,傳送者,接受者...
訊息中介軟體
如何理解訊息中介軟體?訊息中介軟體是儲存訊息的乙個容器,與資料庫不同的是資料庫儲存的資料是可以被修改的,而訊息中介軟體一般不會被修改 訊息中介軟體在消費的生產者與消費者產生,相當於乙個中間人的角色,提供了路由保證訊息的傳遞,如果消費者不能及時接收,訊息會保留下來,知道消費者上線 保證在存活期內 訊息...
訊息中介軟體
訊息中介軟體是在訊息的傳輸過程中儲存訊息 訊息傳遞過程中不能更改 的容器。訊息中介軟體再將訊息從它的原中繼到它的目標時充當中間人的作用。訊息中介軟體的主要目的是提供路由並保證訊息的傳遞 如果傳送訊息時接收者不可用,訊息佇列會保留訊息,知道可以成功傳遞為止,當然,訊息佇列儲存訊息也是有期限的。訊息傳送...