經過了幾個月的學習 功力大增
/*
開學典禮/常見業務架構
整體結構+mapreduce+pyweb
文字相似度.
中文分詞
中文分詞
推薦演算法
分類演算法-nb
分類演算法-邏輯回歸
分類演算法-多分類
推薦系統demo
推薦系統+簡歷面試
yarn+hdfs
yarn+spark
spark實踐
hive
hive
hbase
flume
kafka
storm+zookeeper
spark streaming
spark sql
logserver
kmeans
深度學習
決策樹+模型融合*/
寒假大資料學習筆記九
2 建立scrapy專案 這是很麻煩的一步，因為pycharm沒法建立scrapy專案，所以無論是windows還是linux都需要使用命令建立，可以使用命令scrapy檢視所有的scrapy可使用命令。scrapy genspider 專案名 網域名稱 切換到想建立專案的的位置，輸入以上命令即可。...
大資料 八 Sqoop
sqoop是什麼 sqoop sql to hadoop 連線 傳統關係型資料庫 和 hadoop 的橋梁 把關係型資料庫的資料匯入到 hadoop 系統 如 hdfs hbase 和 hive 中 把資料從 hadoop 系統裡抽取並匯出到關係型資料庫裡。利用mapreduce加快資料傳輸速度 將...
大資料 Spark（八）
dag directed acyclic graph 叫做有向無環圖 有方向,無閉環,代表著資料的流向 原始的rdd通過一系列的轉換就形成了dag。下圖是基於單詞統計邏輯得到的dag有向無環圖 乙個job會被拆分為多組task，每組任務被稱為乙個stage。stage表示不同的排程階段，乙個spar...