hadoop系列介紹:含hdfs、mapreduce、hive、hbase等基本元件的介紹
任務hdfs增刪改查:含hdfs針對檔案的基本操作,類似於linux的操作
任務hive指令碼的啟動,建立表,和執行sql語句:該部分設計sql語言(學習**然後hive的概念、機制和基礎命令可以參考以下鏈結
任務spark-submit提交任務:
yarn知識:
spark知識:
spark中的dataframe操作:將用於完成鳶尾花資料的資料探索和統計
iris.data分類:
(1)支援向量機svm分類器:
(2)邏輯斯蒂回歸分類器:
orc格式和資料探索:
大資料Hadoop學習六
1 hadoop的改進 hadoop 1.0到2.0的改進分為mapreduce和hdfs架構的演進。另一方面,不斷加入kafka,spark,pig,tez等新的元件。hadoop2.0 針對hdfs涉及了hdfs ha,提供名稱節點的熱備份 設計了hdfs federation管理多個命名空間 ...
大資料 Hadoop學習筆記10
ipc程序間通訊 inter process communication rpc遠端過程呼叫 remote procedure call 1.實現原理 client 1.client.class,且遵循versionprotocal協議 2.通過 和伺服器端打交道 server 1.server.c...
Hadoop大資料開發框架學習
hadoop是apache發布的開源分布式基礎架構 他的兩個核心是 兩部分就組成了hadoop的分布式基礎架構 hdfs作為hadoop為儲存海量資料,自然有著與傳統檔案系統有著不同的結構,它是以linux檔案系統的基礎的架構,構建裡一套分布式檔案系統,它是由乙個namenode和多台datanod...