背景：由於業務需求，資料需要每天從mysql----->hive同步，考慮到資源占用情況，暫定凌晨業務空閒時執行定時任務
2>通過kettle先查訊hive資料表中max(id)值，查詢mysql中hive的max(id)以後的值，從mysql插入到hive中【暫時pass掉，由於是一條一條寫入而不是批量，太慢了】
3>先刪除hive庫中的表，然後讓sqoop查詢mysql資料全量寫入hive 【備選方案】
問題：crontab中寫入定時任務，呼叫shell指令碼執行sqoop命令，報錯如下：
原因：由於sqoop不會去讀取root環境變數，導致沒有找到jdk環境，執行失敗
解決方法：執行sqoop命令前，先source /etc/profile，匯入環境變數
解決結果：可行
FltRegisterFilter 呼叫失敗的處理
今天準備除錯昨天的乙個mini filter 的時候，突然系統藍屏了，感覺很奇怪，因為在以前是沒有問題，而且這幾天也沒有改過 怎麼突然有問題了呢？於是啟動 winddbg 進行除錯。一 除錯 在driverentry 裡下了斷點，執行到 fltregisterfilter 時，返回值 status ...
sqoop 命令在crontab 不能自定執行
摘自 crontab 取不到環境變數 0人收藏此文章,我要收藏 發表於昨天 19 14 2013 06 05 19 14 已有21次閱讀 共0 今天遇到乙個問題，覺得有一些價值和大家分享一下。指令碼在手動執行的情況下，沒有問題，但是使用crontab呼叫的時候，會報環境變數為空，找不到的問題。原因 ...
Sql Server2008 遠端過程呼叫失敗
今天正在敲機房，清理軟體提醒垃圾太多並且電腦也特別卡，我就想著既然這樣就清理一下得了，結果就是 no zuo no die，sql server資料庫連線不上了。不過從另一方面來說這也是一次學習的機會，在問題中成長。剛開始就從網上尋找解決方案 結果還是有問題 經過在網上尋找，終於將問題解決，下面是解...