解決sqoop中出現的某些問題

2021-08-07 09:02:07 字數 1401 閱讀 7340

我本人用導sqoop去匯入mysql資料並存到hdfs上,安裝過程中:

使用這篇部落格來進行安裝,

解決方法也很簡單

把sqoop/bin/configure-sqoop裡面的如下兩段內容注釋掉就可以了。

指令如下:

sqoop import –connect jdbc:mysql: –username root –password 123456 –table tasks –target-dir /tmp/sqoop/ -m 4

報錯資訊如下:

當然這可不是你密碼賬號錯誤,而是你的mysql資料庫沒有給除了主機之外的節點遠端訪問許可權而導致,解決方式如下:

進入msql資料庫並且使用以下指令:

grant all privileges on . to 『myuser』@』192.168.10.124』 identified by 『mypassword』 with grant option;

有多少個節點,就使用多少次,

grant all privileges on . to 『myuser』@』192.168.10.125』 identified by 『mypassword』 with grant option;

grant all privileges on . to 『myuser』@』192.168.10.126』 identified by 『mypassword』 with grant option;

再次使用這個匯入hdfs指令就顯示成功!

到這裡其實已經結束了!我們再去看我們的hdfs已經有資料了!

如圖所示:我是放在/tmp/sqoop目錄下

大家可以從hdfs放到本地開啟看一下,使用,隔開的方式,這裡就不做演示了!希望新手能夠看到,——-少走彎路!

解決使用fastJson中出現 ref問題

首先 部門與組織是manytoone和onetomany的關係,並且兩張表都有自關聯,查詢部門資訊時會級聯查詢上級部門以及他的組織結構,然後返回json資料時,會出現 ref 即 為了攻破它,在兩張表的onetomany那方,也就是set的那方,加乙個fastjson的註解 jsonfield se...

解決web中出現大量TIME WAIT問題

新增的一組apache伺服器上線以來,我用netstat an命令發現伺服器中有大量狀態為time wait的tcp連線,於是用 sbin sysctl a檢視了一下linux的各項核心引數,並翻閱有關資料,決定修改其中的兩項引數,以達到減少tcp連線中time wait sockets的目的。vi...

解決web中出現大量TIME WAIT問題

新增的一組apache伺服器上線以來,我用netstat an命令發現伺服器中有大量狀態為time wait的tcp連線,於是用 sbin sysctl a檢視了一下linux的各項核心引數,並翻閱有關資料,決定修改其中的兩項引數,以達到減少tcp連線中time wait sockets的目的。vi...