專案背景：
演算法人員在windows上編寫演算法並執行，演算法包含了從原始資料的解析到最終執行結果的儲存或者展示等全套邏輯，隨著資料量越來越多已經無法單獨寫指令碼進行資料處理，急需乙個資料管理功能，同時單機執行演算法較慢，希望能分布式執行排程提高效率。同時資料展示、結果展示等功能
整合與調研中注意事宜整理
1、區分大小寫，windows環境不區分大小寫，但linux執行環境下區分大小寫
2、csv檔案解析時候需要如有中文，請指明encoding='gbk'，進行解析
3、當存在多個.py檔案互相呼叫的時候需要將多個py檔案打成zip包，在外暴露主函式的py檔案即可，其他的包import進入此py檔案即可，待測試
3、引數傳遞，命令使用--files傳入，python指令碼中直接呼叫檔案的名字即可，如下：
分布式系統 Spark
特點 粗粒度的變換。如 map,filter,join 行為 需要得出結果時呼叫 5部分操作意義 資料分割槽集 partitions partition是資料集的最小單位，即乙個shard 位置preferredlocations 輸入partition，輸出是該資料所在的位置 此分割槽在哪台機器上...
spark分布式執行xgboost
coding utf 8 import os os.environ pyspark submit args jars data pycharm zhanglong pysparkxgboostnew xgboost4j spark 0.90.jar,data pycharm zhanglong py...
分布式服務呼叫
分布式服務呼叫策略 1.lvs 中間 負載均衡系統做 優點 代價低，可控性強 缺點 流量壓力大 必由之路，雞蛋不在乙個籃子裡 應用 面向c端 2.名稱服務 各呼叫方機器 自己根據策略進行負載均衡 優點 名稱服務不會直接影響功能 減少了中間的頻寬消耗 缺點 公升級較複雜 當拉起一台伺服器，需要把新的i...