原文:
大資料解決方案
1、資料庫
垂直拆分：根據業務把錶放到不同的資料庫，解決表之間的io競爭
水平拆分：根據某種規則把單錶資料分成多張表儲存，解決單錶資料量大的問題
索引：根據業務場景建立合理的索引，如果資料量很小建議使用索引（300條以內）
索引使用場景：
動作描述
聚集索引
非聚集索引
主鍵列是
是外來鍵列是是
列經常被分組排序是是
返回某範圍內的資料是否
乙個或極少不同值否否
小數目的不同值是否
大數目的不同值否是
頻繁更新的列否是
頻繁修改索引列否是
分離活躍資料：把常用的資料和不常用的資料分離，例如活躍使用者和不活躍使用者
讀寫分離：寫用主庫，讀用從庫
其它：表結構優化、sql語句優化
2、快取
讀資料時先從快取中取，命中不到再讀庫
3、集群
使用hadoop做集群，可以同時處理相同的資料
高校大資料解決方案
數聯尋英發布首份 大資料人才報告 報告顯示,目前全國的大資料人才僅46萬,未來3 5年內大資料人才的缺口將高達150萬。但作為人才培養基地的高校領域，大多依賴於現有的it環境進行教學和科研工作，導致大資料教學創新性和實戰能力不足，教學內容與社會需求脫節。隨著科研人員的思維和行為模式在傳統學科的研究領...
大資料解決方案設計
當今世界，資料就是金錢。各公司都在竭力收集盡可能多的資料，並力圖找出資料中隱藏的模式，進而通過這些模式獲得收入。然而，如果未能使用收集到的資料，或者未能通過分析資料探勘出隱藏的寶石，那資料就一文不值。當開始使用hadoop構建大資料解決方案時，了解如何利用手中的工具並將這些工具銜接起來是最大的挑戰之...
大資料場景化解決方案
1.大資料的概念 維基百科的定義 大資料是指利用常用軟體工具捕獲 管理和處理資料所耗時間超過可容忍時間的資料集。2.大資料主流技術 資料採集 資料儲存與管理 大資料利用分布式檔案系統hdfs hbase hive，實現對結構化 半結構化和非結構化資料的儲存和管理。資料處理與分析 利用分布式並行程式設...