大資料疑問總結

2021-09-14 07:01:57 字數 413 閱讀 6385

1.storm與flink怎樣寫出符合併發的程式?靜態與動態,不變快取的盡量載入一次;

2.封裝與模組化思想?類與方法?示例,一次編寫,到處執行(過濾港口和錨地**);

3.物件序列化?storm與flink中的區別,各個-元件之間的序列化問題;【各個運算元是否需要序列化,怎樣避免序列化】

4.記憶體中怎樣減少fullgc,物件復用;

5.flink中初始化幾次,開啟併發的情況呢,放在a: prepare()方法中,放在建構函式中b,放在靜態**塊中c(或靜態變數)

例如,5臺機器(即5work節點,即5個taskmanager),併發開啟成10,則在乙個map運算元中的richmapfunction中,靜態變數和**塊分別在a/b/c中的初始化的次數??

1.spark中task與mapreduce中的task有什麼區別?

Meteor 使用疑問總結

使用meteor有七八個月了,現在總結下meteor的幾點感受 先說說缺點吧 meteor 對npm支援不是很好,需要加入幾個packages後才能使用npm的packages 疑問 meteor mongodb 的時候如何解決讀寫分離。meteor 服務端的methods 如何做到登入檢查,而不是...

大資料面試總結

1 給出乙個超過100g的log file,log中存著ip位址,設計演算法找到出現次數最多的ip位址?採用雜湊切割將ip相同的檔案都對映到同乙個檔案中,在一次統計每個檔案ip的個數,求出最多的,如果乙個ip出現的次數特別多,切割之後還是無法載入到記憶體中,我們可在對這個檔案進行切割 普通切割 分成...

大資料MapReduce總結

mapreduce定義 hadoop mapreduce是乙個軟體框架,基於該框架能夠容易地編寫應用程式,這些應用程式能夠執行在由上千個商用機器組成的大集群上,並以一種可靠的,具有容錯能力的方式並行地處理上tb級別的海量資料集。mapreduce主要思想 分久必合 mapreduce兩個階段 map...