專案背景、功能組成、邏輯架構、技術架構
專案背景介紹
專案功能模組介紹
資料處理流程及邏輯架構設計
資料介紹
詳細功能描述
系統架構介紹
看到專案背景,本專案做了哪些事情。
手機已經是人們生活中不可缺少的重要通訊、諮詢、娛樂的工具。手機在帶來方便的同時也帶來了煩惱,就是訊號質量差手機上網速度慢等問題。針對這一問題,如何為使用者提供更好的服務是各家運營商關注的問題。
本專案基於謀公司開發的手機測速軟體採集的資料對使用者的手機網速、上行下行流量,網路制式、訊號強度等資訊進行巨集觀分析。根據資料分析,能夠計算出使用者附近移動、聯通、電信、哪家訊號更好。或提示使用者哪個方向自己使用的運營商訊號好。這樣使用者就能夠有選擇性的選擇訊號好的方向、好的位置上網。
同時能夠給各家運營商提供有力的參考資料,如同一地標三家運營商訊號強度對比,這樣訊號強度較差的運營商便可以有選擇的增加訊號裝置。
目標:了解本專案中含有哪些模組,以及每個模組的作用。
首頁dashboard
首頁用於展示企業領導關心的重要資料
1、網路質量總數、訊號覆蓋總數、資料鏈結總數實時統計
2、上行、下行速率各個網路制式統計
訊號覆蓋
1、訊號強度分布圖
2、典型地標訊號強度跟蹤
3、典型地標訊號強度統計
網路質量
網路質量分布
網路質量統計
網路質量排名
典型地標網路質量跟蹤
典型地標網路質量統計
資料鏈結
資料連線率分布
資料連線率統計
熱門手機
1、熱門手機流量分布圖
2、熱門手機網路質量排名
3、熱門手機流量排名
4、熱門os流量排名
5、熱門手機分布圖
6、手機os分布圖
連線點連線點書排名(城市)
連線點地理分布
個人使用者
網路質量
os街景圖
訊號覆蓋
使用者管理
使用者的增刪改查
本專案總體分為四大流程,分別為資料匯入、資料儲存、資料計算、報表生成。
1、資料匯入:
資料匯入主要用於在傳統關係型資料庫與大資料平台之間進行資料傳輸。實時新資料首先進入mysql中,將mysql資料庫內的同步到大資料平台中。除此之外,該平台資料匯入模組還負責將歷史已有資料匯入。
2、資料儲存:
資料儲存主要用於儲存歷史積累下來的資料,和線上系統實時生成的實時資料。
歷史資料用於實現離線的巨集觀的資料分析,實時資料用於實時計算業務。
3、資料處理:
資料處理模組主要用於對已經載入到大數平台的資料根據實際業務需求進行更深入的處理、分析、運算、加工(包括實時計算和離線計算)。
4、報表生成:
報表生成模組主要用於對已經被大資料平台處理過的資料進行圖形化轉化、介面化的展示。以便於領導比較簡單的、直觀的了解經處理後的資料所傳遞的資訊。
專案的業務型別種類
每一類業務型別與資料處理模組的關係
每類業務型別的資料處理流程
1、通過命令列或指令碼將資料上傳到hdfs
2、將上傳的資料載入到資料倉儲內
3、根據目標資料的格式在資料倉儲中對資料進行計算
4、通過工作流將計算後的資料進一步加工最終寫入結果表
實時計算
5、解析開啟binlog 的mysql日誌
6、將解析後的資料寫入本地目錄,flume收集目錄新增的資料
7-1、flume將收集到的資料實時傳送到訊息匯流排,用於實時計算。
7-2、flume將收集到的資料傳送到hdfs,用於離線計算。
8、讀取kafak內實時資料,實時計算相關指標。
9、將最終的指標寫入結果資料庫
第一階段練習
1 輸入乙個整數,把該整數分別按照八進位制 十進位制 十六進製制形式輸出 include stdio.h main 2 輸入乙個小數 整數部分3位 小數部分5位 把該小數分別按照以下格式輸出 小數部分4位寬度,整個數字8位寬度 小數部分3位寬度,整個數字9位寬度,空白部分使用0填充 include ...
第一階段 2015 12 2016 03
距離上一次寫部落格,大半年就過去了,這半年,都做了些什麼呢,生活又都有些什麼變化呢。2015的下半年是收穫的半年吧。第二,學ios的過程中結識了新的朋友,耳機哥,是很棒的一件事。第三,得到了乙份很美滿的愛情。最終在一起,還好沒錯過。第四,開始正視自己的不足,不再逃避,開始認真製作簡歷,並開始找工作,...
u boot第一階段
u boot 第一階段 位置 cpu arm920t start.s 流程分析 1.儲存一些全域性變數,用於啟動程式將 從flash拷貝到ram或其他使用。有一些變數的值是通過鏈結指令碼得到的,如 text base 位於board 2440 config.mk 中 bss start end 位於...