基於AWS的web日誌分析系統架構

aws提供的服務和基礎設施能夠在雲環境中建設可靠，容錯和高可用的web應用程式。在生產環境中，這些應用產生大量的日誌資訊。這些資料是任何公司運營web應用程式的重要知識**，分析日誌可以揭示資訊，如交通模式，使用者行為，市場資料等。

然而，作為web應用程式的增長和的訪問者數量的增加，儲存和分析網路日誌變得越來越具有挑戰性。下圖展示了如何使用aws構建乙個可擴充套件且可靠的大規模日誌分析平台。該架構的核心元件是amazonelastic mapreduce, 這是乙個使分析師能夠經濟方便地進行大資料處理的hadoop 框架。

1. web前端伺服器執行在amazon elasticcompute cloud(amazon ec2)例項上.

2.amazon cloudfront是乙個cdn，它將靜態檔案分發給用使用者，同時使用者低時延和高傳輸速率的特點，也產生有價值的日誌資訊。

3. 通過多個web伺服器或者邊緣節點的並行傳送資料，日誌檔案被週期性地上傳到amazon****** storage service(amazon s3)。

4.amazon elasticmapreduce集群來處理資料集，amazonelastic mapreduce採用了hadoop 框架，能夠在並行的作業流中處理資料。

5. 當amazon ec2有了未使用的容量時，可以通過spotprice削減成本，這一**是基於可用性和現實請求的。如果工作負載在一段時間內耗盡或者需要擴容，可以使用spotinstances來動態擴充套件集群的容量，顯著地削減執行作業流的成本。

6. 使用類似apache hive 這樣的工具，資料處理的結果被推送到關係型資料庫中，可以是乙個amazonrelational database service(amazon rds) 例項。amazonrds在雲環境中易於安裝，操作和擴充套件。

7. 和很多服務一樣,amazonrds 例項同樣基於按需付費的模型來定價。分析之後，資料庫作為快照備份到amazon s3中，然後終止服務。該資料庫可以在任何需要的時候被重新建立。