sqoop常見問題

2021-08-19 19:55:19 字數 600 閱讀 8424

第乙個sqoop匯出mysql到hive中,在hdfs中可以看到,hadoop fs -cat /user/warehouse/

但在hive命令列中show table 卻沒有

最後折騰了好久才發現是資料的問題,mysql中存放的資料有很多欄位有空值

所以換些資料就ok了,由此可見,從源頭找問題

匯入到hive其實是先匯入到hdfs再load 到hive中

還有乙個問題是沒有配置好hive環境,因為匯入到hive則必須依賴hive配置

即寫元資料到mysql中,但sqoop中沒有配置到mysql的元資料之類的

不像hive配置那樣,則sqoop缺省會放到其meta目錄中,預設為derby

所以 要配置全域性hive環境變數

export hive_home=/opt/hive1.2.2

export hive_conf_dir=$hive_home/conf

export hadoop_classpath=$hadoop_home/lib/native/*:$hive_home/lib/*:$hive_home/conf

真的是折騰了好久這個sqoop !!!!!

大不了刪除了再重新裝!!

常見問題 朗動常見問題

常見問題一 方向盤變沉 檢查胎壓是否正常,輪胎是否過度磨損。助力幫浦不工作,前輪氣壓低。冬天的話,冷車在冬天助力油比較稠,方向會重一點。檢查轉向助力油。1 應該是是助力系統有問題或則助力潤滑油有問題。2 如果你在駕車時感覺方向盤變緊,汽車偏向一側,需要檢查輪胎,或進行車輪平衡 定位。在這些問題剛剛發...

面試常見問題 1 this的常見問題

this 的含義 this關鍵字是乙個非常重要的語法點。毫不誇張地說,不理解它的含義,大部分開發任務都無法完成。前一章已經提到,this可以用在建構函式之中,表示例項物件。除此之外,this還可以用在別的場合。但不管是什麼場合,this都有乙個共同點 它總是返回乙個物件。簡單說,this就是屬性或方...

Spring常見問題

1 利用spring框架程式設計,console列印出log4j warn please initialize the log4j system properly?lupa開源社群 u i w.d t 說 明你的log4j.properties沒有配置。請把log4j.properties放到工程的...