一、hadoop
二、hive
三、sqoop
1.來由和作用
sqoop由一些封裝好的mr程式的jar包構成，後演變成框架，但sqoop只有map任務沒有reduce任務。
用於 hdfs、hive、hbase 和關係型資料庫rdbms之間資料的匯入匯出。
2.匯入到hdfs過程
2.1 gather metadata 收集元資料
2.2 submit map only job 僅提交map任務
3.匯入到hive過程
先匯入到hdfs上，再load至hive中，會產生臨時中間檔案，匯入hive成功後會刪除
4.匯入匯出
1.將資料匯入到表的時候，表在目標位置需已存在
hadoop三大核心元件概念及原理
hadoop由3個核心元件構成 1 hdfs集群 負責海量資料的儲存，集群中的角色主要有 namenode datanode secondarynamenode。2 yarn集群 負責海量資料運算時的資源排程，集群中的角色主要有 resourcemanager nodemanager 3 mapre...
Hadoop重點元件
hdfs的全稱是hadoop distributed file system易於擴充套件的分布式檔案儲存系統，執行在大量普通廉價機器上，提供容錯機制，為大量使用者提供效能不錯的檔案訪問服務 它的設計目標是 自動快速檢測應對硬體錯誤 流式訪問資料 移動計算比移動資料本身更划算 簡單一致性模型 異構平台...
Hadoop基礎概念
狹義 hadoop軟體 hadoop.apache.org 廣義 hadoop生態圈 hive zookeeper spark 用2.x 3.x 需要踩坑 主要用cdh5.x 部署大資料環境 用的是 hadoop2.6.0 cdh5.7.0 ctrl f 搜尋 cdh5.7.0 hdfs 儲存 分布...