大資料 hadoop學習總結鏈結(持續更新)

2021-10-23 15:51:22 字數 356 閱讀 6040

hadoop系列介紹:含hdfs、mapreduce、hive、hbase等基本元件的介紹

任務hdfs增刪改查:含hdfs針對檔案的基本操作,類似於linux的操作

任務hive指令碼的啟動,建立表,和執行sql語句:該部分設計sql語言(學習**然後hive的概念、機制和基礎命令可以參考以下鏈結

任務spark-submit提交任務:

yarn知識:

spark知識:

spark中的dataframe操作:將用於完成鳶尾花資料的資料探索和統計

iris.data分類:

(1)支援向量機svm分類器:

(2)邏輯斯蒂回歸分類器:

orc格式和資料探索:

大資料Hadoop學習六

1 hadoop的改進 hadoop 1.0到2.0的改進分為mapreduce和hdfs架構的演進。另一方面,不斷加入kafka,spark,pig,tez等新的元件。hadoop2.0 針對hdfs涉及了hdfs ha,提供名稱節點的熱備份 設計了hdfs federation管理多個命名空間 ...

大資料 Hadoop學習筆記10

ipc程序間通訊 inter process communication rpc遠端過程呼叫 remote procedure call 1.實現原理 client 1.client.class,且遵循versionprotocal協議 2.通過 和伺服器端打交道 server 1.server.c...

Hadoop大資料開發框架學習

hadoop是apache發布的開源分布式基礎架構 他的兩個核心是 兩部分就組成了hadoop的分布式基礎架構 hdfs作為hadoop為儲存海量資料,自然有著與傳統檔案系統有著不同的結構,它是以linux檔案系統的基礎的架構,構建裡一套分布式檔案系統,它是由乙個namenode和多台datanod...