作為大資料行業架構師,最重要的是什麼?

2021-10-25 21:20:15 字數 778 閱讀 7627

最重要的是什麼?這是乙個價值觀的問題,也是做所有事情要解決的最核心問題。

作為大資料行業的架構師,最重要是什麼?效能、規模、穩定、高效。

所有的一切,無論是web層、邏輯層、還是資料層,所有的設計方案必須是圍繞「效能、規模、穩定、高效」這個終極目標。

web層技術選型,傳統的有struts、springmvc、jfinal等,當前最流行的有springboot,考慮到微服務設計,還有springcloud。

面對大量資料,高併發查詢,又涉及增刪改操作,如何選型資料庫,才可以做到高效能?避免在資料層面出現卡頓的問題。

傳統主流關係型資料庫有mysql,oracle,sqlserver,目前大資料背景下,出現了索引資料elasticsearch,nosql資料庫hbase,關係型資料庫postgresql,記憶體資料庫redis。

面對複雜的大資料高併發背景,單純的某一種資料庫已經不能支撐業務,需要選擇多種資料庫,利用每種資料庫的特性解決某一種特定場景下的問題,是當前主流的解決思路,對於大資料架構師來講,對各種大資料元件的特性深入了解,明確在某種場景下解決某種特定問題,構成乙個合理的組合,以實現整體系統的「高效能、大規模、穩定性、高效開發」的目標。

明確了架構師最重要的是什麼的問題,這是明確了價值觀;那麼稱為乙個優秀的架構師,應該怎麼做呢?這是方**的問題。

大道至簡,用孔老夫子的話說,就是「學而時習之」。

學,學習主流web框架、資料庫元件,學習它是什麼,有什麼特點,在什麼場景下使用。

習,習就是用,在實戰中大膽的去用,只有用是最終目的,價值的體現,在用中不斷加深,發現問題解決問題。

大資料架構師是做什麼的?

架構師按照專注領域不同,可分為企業架構師 基礎結構架構師 特定技術架構和解決方案架構師等,專職架構師往往偏向基礎結構架構師和特定技術架構師,專職架構師不負責具體的業務系統,而又對所有的系統負責,很少直接負責專案,但對專案要有提前把控,面對的是更大的團隊和更大的問題域。想要成為專職架構師,就要明確專職...

奈學教育 大資料架構師

特別喜歡馬中華老師的講課,開2倍速看,依然能聽的很清晰,而且說話邏輯清晰,有條理,連貫,不中斷,特過癮。教學內容呢,都是原始碼級別的,沒有基礎的不建議聽,至少要有2年的大資料開發經驗才行。第一單元 掌握zookeeper的核心設計 1.zookeeper生態體系結構 2.zookeeper總體架構設...

架構師是實踐出來的

squid nginx server s 這個覺得不可靠啊 前端使用squid做快取,後端用多台伺服器,但多台伺服器間的session不共享,為了做負載均衡,使用nginx的ip hash來做,使得 機器的會話是持續的。於是便引起來了乙個問題,使用nginx的ip hash規則來做負載均衡時,得到的...