目錄spark sql
阿里雲emp架構
spark的總體執行流程：程式->在driver段執行->通過cluster manager(如yarn等)申請到硬體資源->任務排程至executor中執行
rdd、dataframe、dataset之間的關係不是更新換代，它們用於解決不同的問題,各有各的用處
dataframes在編寫時就能進行一定的錯誤判斷,因此開發時對於datasets相對高效
同樣的資料處理，spark相對hive消耗的記憶體比值大概是多少?
spark發展到現在版本，記憶體使用做了非常多的優化。所以，其實總體還好。建議能上spark就上spark。hive畢竟慢。綜合下來，spark成本肯定要低的。
現在spark3.0版本的話，shuffle用的是sorted shuffle嗎？
預設還是sort based
如果立馬處理幾億條資料。大約能好久出結果。還是在流中慢慢處理結果感覺快?
看邏輯和資源量了。如果是離線資料，走batch模式就好了。
在sparksql裡面，對計算的分割槽是不是更多交給spark內部去優化？
spark3.0有了ae（自適應執行）框架，會更自動化一些
Apache Spark集群模式選擇
2019獨角獸企業重金招聘python工程師標準 standalone是最容易搭建的模式，在只執行spark的情況下，standalone提供了跟其他兩種模式差不多的特性。所以如果在只執行spark，並且spark集群節點小於100的情況下，可以選擇standalone模式。如果已經使用docker...
雙倍提公升Apache Spark排序效能
2015 1 25 13 18 發布者 joejoe0332 檢視 466 摘要 區別常見的embarrassingly parallel系統，類似mapreduce和apache spark apache hadoop的下一代資料處理引擎 這樣的計算引擎主要區別在於對 all to all 操作的...
Apache Spark機器學習3 8 小結
3.8 小結 本章，我們一步一步實現了從資料到商業的整體檢視，通過這個過程我們在 spark 上處理了大量的資料，並且為 ifs公司建立了乙個生成銷售團隊成功的整體檢視的模型。具體來講，首先我們在準備好spark計算環境和載入預處理資料之後，為每個商業需求選擇了模型。第二，我們準備並約減了特徵。第三...