從使用傳統的關係型資料庫轉到使用雲儲存,既要滿足良好的資料運算效能,又要能夠使資料管理像使用資料庫一樣方便,於是基於hadoop雲架構的類資料庫產品成為乙個迫切的應用需求,我們這個雲平台只從軟體上面來分析,目的是使用軟體平台來管理和解決硬體瓶頸問題。下面來說說我們雲平台的具體需求:
第一:對硬體的需求
1、不能對硬體提過多的配置需求(比如cpu、記憶體、硬碟等)滿足cpu≥2核,記憶體≥4g,硬碟≥500g的伺服器都可以使用;
2、不能要求特定的硬體型號;
3、各節點之間的網路頻寬≤10m;
4、節點線性擴充套件滿足≥500;
第二:功能需求
1、此平台必需是標準化通用軟體產品,具備完整的開發介面,有完善的api文件,方便第三方基於此進行二次開發;
2、支援常用資料庫(oracle、mysql、mssql、db2等)資料的全量和增量的匯入匯出,文字資料(xml、txt、excel等)的匯入匯出;
3、支援結構化資料和非結構化資料的管理,支援資料的增刪改查;
4、支援各類流**和各類檔案的儲存/更新/查詢,支援基於檔案內容的檢索;
5、支援類資料庫服務,資料倉儲服務,實現基於sql或者類sql的操作;
6、支援jdbc連線訪問;
7、支援dml(如insert、delete、update等)和ddl(如create table);
8、支援pb級資料的模糊查詢、排序、分組、多表關聯查詢、子表關聯查詢等,支援索引;
9、支援分布式儲存策略,支援檔案系統的自動擴充套件;
10、支援分布式事務管理;
11、支援負載均衡,可以根據cpu使用率、記憶體大小、儲存大小、i/o熱度、tcp/ip連線數、網路頻寬等配置均衡策略;
12、支援動態新增和刪除節點;
13、支援系統節點環境的自動部署;
14、支援全文檢索,支援分詞,分詞可以管理和擴充套件,並且支援全文索引的更新和刪除;
第三:安全需求
1、支援使用者名稱/口令的賬戶安全管理;
2、支援分角色、使用者的許可權控制,支援操作許可權分配,支援庫、表、字段(列)、訪問時間段、訪問ip段的許可權控制;
3、所有操作均有完整的日誌記錄,日誌隨時可查(操作命令及引數、執行時間、執行總耗時、資料量);
4、必需保障資料的一致性要求,不能丟資料;
5、資料使用異常告警:防止資料被定時爬取;
6、支援資料備份策略配置管理;
7、支援節點負載檢測和預警、故障檢測和報警,實時檢視節點狀態(cpu、記憶體、儲存、i/o、tcp/ip連線數、網路頻寬等);
8、在宕機3個節點的情況下可以保證平台的可用性和資料的一致性;
第四:管理需求
1、支援圖形化介面的節點管理、許可權管理、使用者管理、角色管理、日誌管理等管理功能;
2、可以在圖形化介面上執行操作命令,完成相關操作;
3、必要包含統計分析功能,比如分析系統的資料增量、資料總量、使用頻度分析、使用使用者分析、操作型別分析、預警分析、趨勢分析、決策分析等;
第五:效能需求
1、資料載入:≥30萬/秒
2、資料更新:≥10萬/秒
3、資料刪除:≥10萬/秒
4、資料延遲:≤5分鐘
以上技術實現方案:hadoop+mysql分布式資料庫集群
移動辦公應用 需求分析
企業部署移動辦公的目的多種多樣。其中以推動市場宣傳 增強銷售為目的比例達到47.1 成為企業當前最主要的目的 其次是服務於生產流程,佔比23.1 再次是辦公作業佔比18.3 最後是高階決策,佔比11.5 移動化服務涉及到企業不同的事務性工作和業務性工作,在這些不同任務中,業務促進成為企業利用移動化首...
需求分析 3 實際應用
需求分析主線中所包含的關鍵步驟,可以概括為 三橫兩縱 兩縱 所謂 縱 指的是實踐中需要持續不斷地進行。所謂 橫 則是有先後之分的。1 第1步 明確系統目標 產品的 根 是系統的業務目標,我們要把業務目標寫入 願景文件 成為 願景文件 的關鍵部分。2 第2步 範圍 feature 上下文圖 在確定業務...
需求分析,分析需求
1.何為需求 我們吧需求兩個漢字拆分開來看 需 需要 求 要求 即需要的要求,表示想要某種東西的堅定願望 這裡插入乙個小故事,某個小男孩在上小學二年級的時候,不經意間接觸到了一種叫psp的神奇玩具,就下定決心回家找家長要,一開始小孩的父親不贊同給小孩買那個東西,後來在小孩的再三請求,甚至為此寫了份保...