背景：為一家大型企業本地化bi系統做上雲遷移的總體方案。客戶對當前本地的bi系統不滿意，希望遷移到aws雲之後，能夠重新用tableau做新的bi報表設計。所以這不是本地系統的平滑遷移，而是需要在雲上重建bi系統的優化遷移。因此，主要內容是bi資料的遷移，利用aws原生服務和生態廠商服務重建資料倉儲和bi報表，並保留本地其他業務系統的聯絡和資料來源。
godw(global oracle data warehouse)分為兩步處理，etl7.1和etl7.2：
etl7.1：從資料來源中提取資料做處理，構建ods
etl7.2：根據企業定義標準，轉換和載入資料到資料倉儲
階段1：
工作內容
工具輸出
調研與評估階段
1.業務需求範圍鎖定：
需求收集；
業務關係識別與描述
•應用發現服務(ads) 用於識別高保真、實時的應用狀況以及依賴關係；
•模式轉換工具 (sct) 用於評估當前資料結構和轉換資料架構
現有系統評估和分析報告
2. 需求評估:
• etl 方法;
•表結構；
•資料模型;
•依賴關係；
•資料量；
•敏感資料；
•安全等級
階段2：
工作內容
工具輸出
設計和規劃階段
1.系統設計：
包括aws iam賬號體系設計，資料注入和流向設計，aws資源選擇，安全和擴充套件性部署規劃；
2. 雲上etl過程和資料模型設計；
3. tableau 報表設計
•aws 資料庫遷移服務 (dms), 模式轉換工具sct將資料從 godw 至 aws redshift轉換；
•安全專線連線；
•redshift資料倉儲服務
•第三方tableau工具
系統架構設計；報表設計；遷移計畫和指導書
4. 遷移規劃：
•批量歷史資料遷移和增量資料遷移；
•工具選擇；
•資料量，網速和時間成本估算；
•風險評估和應對措施，以及回滾方案
目標解決方案設計--從godw到aws的資料流：
源資料應該通過dms從本地遷移到s3的儲存桶。dms支援批量資料遷移和增量資料遷移，etl日誌也可以傳送到s3儲存。
informatica ec2主機將處理從登陸s3桶到模型s3桶的過程(在aws中)。
處理後的資料儲存到模型s3桶中。
從s3模型桶中載入資料到redshift dw服務中。
tableau server用於生成基於redshift資料的模型報表。
階段3：
工作內容
工具輸出
執行實施階段
1.aws 資源準備；
2.專線連線準備；
3.最小化操作設定和驗證：在一致同意的部分用例上，使用已確認的aws原廠服務、資料模型和前端視覺化交付；
4.整合測試與驗證；
5.驗證通過後，進行總體系統遷移和部署
•aws 資料庫遷移服務 (dms), 模式轉換工具sct將資料從 godw 至 aws redshift轉換；
•安全專線連線；
•redshift資料倉儲服務
•s3, ec2, informatica
遷移結果
階段4：
工作內容
工具輸出
bi 報表開發和投入生產
1.在aws上開發新的bi系統，使用tableau工具和報表視覺化；
2.驗收測試
3.修改dns使bi服務割接到aws新系統
4.提供操作和監視/維護服務2周
redshift,
informatica,
tableau
在aws執行的生產系統
根據專案實際週期預估和約束做出合理計畫：
監控系統Metis方案設計
監控系統metis方案設計 一 概述 對於乙個業務系統而言，不同的角色關注的點會有一定差異。領導或負責人系統獲取系統的sla，系統間的相互作用，展示資源消耗情況 運維人員需要獲取基礎設施和服務的實時狀態資訊，各種軟硬體錯誤，效能變化及效能瓶頸 開發人員需要知道系統主要效能瓶頸，經常出現的錯誤，便於著...
搭建AEC效果評測系統 （1）系統方案設計
高效能的aec automatically echo cancellation 演算法可以提公升智慧型音箱的語音喚醒準確率。為了充分發揮aec演算法的效能，結構上需要麥克風盡可能少地拾取echo聲，因此需要找到音箱麥克風孔的最佳開孔位置。聲學工程師可以通過建模 的方式計算出較合適的麥克風開孔位置。工...
微服務後業務系統圍繞CAP的業務方案設計思考
成規模後的業務系統，一般都會走到微服務拆分的階段。雖然這種方式有各種弊端，但也有顯而易見的好處。先說好處 那凡事有好有壞，接下來說說壞處 一般而言，我們會要求服務粗粒度化，盡量避免過於碎片化後的服務導致的複雜度攀公升問題。在這裡，僅說說針對cp，ap的業務模型設計方案思考。對於cp場景的定義一般如下...