IT系統分析師如何學習大資料

2021-09-23 06:21:27 字數 766 閱讀 4555

我是一名從事大資料專案的it系統分析師。在深入這個專案前需要了解些什麼呢?

學習大資料的最佳方法就是先從了解資訊系統是如何工作著手,尤其是資料庫和基礎設施。同樣在開始前還需要了解大資料工具,如cloudera、hadoop、spark、hive、pig、flume、sqoop與mesos。

系統分析師需要明白如何組織、管理和保護資料。在市面上有幾十款資料管理產品可以用於管理資料。你的大資料資料庫可能包含了各種**的結構化資料和非結構化 資料——資料倉儲、hadoop、nosql、記憶體資料、檔案以及應用程式——所以你必須學會組織資料,以便系統有效的處理他們。確保你的主資料一致性, 以避免出現多個版本的資料——多個不同步的資料庫。

資料保護同樣重要;要熟悉組織的資料安全處理過程,同樣還需要了解安全、合規性以及治理流程。根據資料敏感程度的不同、考慮遮蔽、編校或加密保護。

大資料來源的定義

資料倉儲hadoopnosql記憶體資料檔案資料應用程式資料

在接觸這個專案之前的最後一步,考察客戶對服務質量的要求。他們需要分析多大的資料,以及這些資料的響應速度。例如,對於大型資料庫,近乎實時響應的需求會 需要將其放置在記憶體或者快閃儲存器快取中。ibm的blu accelerator 和sap hana都十分適合在記憶體中快速讀取的應用場景。此外,理解你使用者的預期結果——他們正試圖得到的答案。如果你知道他們需要的結果,就可以組織資料與系 統,以更有效的達到目標。

系統分析師

2011年的個人計畫 拿下系統分析師 原由 已在it行業幹了近3年多了,從最初的傻瓜式程式設計師,到現在自己帶隊做專案,雖然期間經歷了很多,也成長了很多,但是總覺得自己還是缺少點什麼.也許是因為所在的公司的性質決定的吧 公司是一家馬來西亞公司,說是公司,其實就是乙個開發部門,因為我們接手的專案都是大...

系統分析師之路 系統分析師備考計畫

學習了資訊系統專案管理師後,做任何事情都要做成計畫。為了系統化的學習備考,我制定了相應的複習管理計畫。用掙值 每週pdca的方式以週為單位自我確認進度。因為計畫應該是漸進明細的,每週一在回顧一周的學習後,寫一篇日誌,調整並完善下面的複習計畫。第一輪複習計畫 no.科目預估工時 人時 掙值 ev 完工...

系統分析師考試大綱 如何通過軟考 系統分析師考試?

一 厚積薄發平時多做有心人 從大綱可以看到,系統分析師對考生的綜合素質要求較高,考查的知識面很廣,但分析歷年考題可以發現,雖然考試知識面廣,但考試內容並不是很深,因此這就要求我們注意平時積累,經常通過網路講座 學術會議等途徑,及時了解一些流行技術熱點和業界最新動態。二 多做專案在實踐中鍛鍊提高 如果...