答覆 開口大資料閉口高併發,你們都是怎麼回答

2021-09-01 17:27:04 字數 308 閱讀 5388

你需要了解大資料高併發的瓶頸在**,一般都是資料庫層面的,機械硬碟承載不起非常快速的讀寫操作,cpu承載不起大量的邏輯運算,所以最基本的解決思路就是:

1.換固態硬碟加快硬碟的讀寫效率。

2.建立快取中介軟體降低對硬碟的讀寫次數,快取不用多說了,最最最基本和重要的優化策略。

3.將硬碟的讀寫或者資料的計算分攤到多台機器上,也就是集群。hadoop就是基於這個層面的。

4.良好的查詢演算法,降低讀的次數,分表,分庫,索引等都是基於這層面的。

理論上來講,在頻寬充裕的情況下,只要遵循上面的4個思路進行延伸就可以解決大部分的高併發問題。

大資料高併發學習筆記(2)

對於大資料問題,最終都會反饋到資料瓶頸上。那麼今天就是搞得資料庫啦!木桶理論 桶裝水能力是由最短的那塊板決定的。在乙個系統中,或者說是乙個企業裡,資料時最重要的。所以我們是一定要保證資料的正確性,唯一性。資料 二八原則 80 的請求聚焦在 20 的資料上。80 的請求都是查詢 20 是增刪改。讀寫分...

大資料 高併發LVS1

yum search ipvsadm yum install ipvsadm ipvsadm幫助命令 ipvsadm h 管理集群服務 常用的管理命令 管理集群服務的rs e 修改 d t u f service address r server address 刪除 檢視刪除所有集群事務服務 儲存...

王堅 雲計算和大資料,你們都理解錯了

王堅,阿里巴巴最富爭議性的人物之一,愛者極愛,恨者極恨。5月12日,我和mtc的朋友,在杭州發起並主持了一場關於雲計算的沙龍,蝦公尺的思踐聊了雲 快的打車陳偉星聊了雲時代的產品設計,短趣網王強宇聊了雲時代的創業,當然少不了王堅聊一聊他對雲計算的看法。一 無人機是大資料的典型 我熱愛和平,但一講到雲計...