我本人用導sqoop去匯入mysql資料並存到hdfs上,安裝過程中:
使用這篇部落格來進行安裝,
解決方法也很簡單
把sqoop/bin/configure-sqoop裡面的如下兩段內容注釋掉就可以了。
指令如下:
sqoop import –connect jdbc:mysql: –username root –password 123456 –table tasks –target-dir /tmp/sqoop/ -m 4
報錯資訊如下:
當然這可不是你密碼賬號錯誤,而是你的mysql資料庫沒有給除了主機之外的節點遠端訪問許可權而導致,解決方式如下:
進入msql資料庫並且使用以下指令:
grant all privileges on . to 『myuser』@』192.168.10.124』 identified by 『mypassword』 with grant option;
有多少個節點,就使用多少次,
grant all privileges on . to 『myuser』@』192.168.10.125』 identified by 『mypassword』 with grant option;
grant all privileges on . to 『myuser』@』192.168.10.126』 identified by 『mypassword』 with grant option;
再次使用這個匯入hdfs指令就顯示成功!
到這裡其實已經結束了!我們再去看我們的hdfs已經有資料了!
如圖所示:我是放在/tmp/sqoop目錄下
大家可以從hdfs放到本地開啟看一下,使用,隔開的方式,這裡就不做演示了!希望新手能夠看到,——-少走彎路!
解決使用fastJson中出現 ref問題
首先 部門與組織是manytoone和onetomany的關係,並且兩張表都有自關聯,查詢部門資訊時會級聯查詢上級部門以及他的組織結構,然後返回json資料時,會出現 ref 即 為了攻破它,在兩張表的onetomany那方,也就是set的那方,加乙個fastjson的註解 jsonfield se...
解決web中出現大量TIME WAIT問題
新增的一組apache伺服器上線以來,我用netstat an命令發現伺服器中有大量狀態為time wait的tcp連線,於是用 sbin sysctl a檢視了一下linux的各項核心引數,並翻閱有關資料,決定修改其中的兩項引數,以達到減少tcp連線中time wait sockets的目的。vi...
解決web中出現大量TIME WAIT問題
新增的一組apache伺服器上線以來,我用netstat an命令發現伺服器中有大量狀態為time wait的tcp連線,於是用 sbin sysctl a檢視了一下linux的各項核心引數,並翻閱有關資料,決定修改其中的兩項引數,以達到減少tcp連線中time wait sockets的目的。vi...