hadoop版本:hadoop-2.2.0-cdh5.0.0-beta-1
今天在執行sqoop往hbase裡導數的時候，dn節點報了下面的錯:
看異常是相應的jar沒找到
為了執行mr,在yarn-site.xml中有這樣乙個的配置：
$hadoop_conf_dir,$hadoop_common_home/share/hadoop/common/*,
$hadoop_common_home/share/hadoop/common/lib/*,
$hadoop_hdfs_home/share/hadoop/hdfs/*,$hadoop_hdfs_home/share/hadoop/hdfs/lib/*,
$yarn_home/share/hadoop/yarn/*,$yarn_home/share/hadoop/yarn/lib/*,
$yarn_home/share/hadoop/mapreduce/*,$yarn_home/share/hadoop/mapreduce/lib/*
應該是這裡的變數沒有讀到，導致這個原因應該是相應的環境變數沒設定，
vi ~/.bashrc
增加：
export hadoop_mapred_home=$
export hadoop_common_home=$
export hadoop_hdfs_home=$
export yarn_home=$
export hadoop_yarn_home=$
export hadoop_conf_dir=$/etc/hadoop
export hdfs_conf_dir=$/etc/hadoop
export yarn_conf_dir=$/etc/hadoop
這樣設定以後，yarn-site.xml配置的變數就能讀到相應的值，上述錯誤消失。
乙個hibernate mapping的錯誤
在使用hibernate對映的時候 如果配置 onetomany cascade cascadetype.persist,fetch fetchtype.eager joincolumn name orderid referencedcolumnname order id private setbu...
遇到的乙個MR處理業務
最近遇到的乙個要求使用mr處理的業務，原始資料一共有7個字段，原始資料中的兩個字段可以根據客戶提供的方法得出乙個指標。要求 1 新的資料是在原始的資料後面調加上這個指標 2 保證資料沒有重複的 3 由於保密，資料就不貼出來了。拿到這個一共有二個思路 1 在map函式中解析出這兩個字段，然後根據方法得...
儲存乙個物件的時候, Django執行下面的步驟
發出乙個預存訊號。它發出乙個將要儲存乙個物件的通知。你可以註冊乙個監聽程式，在訊號發出的時候就會被呼叫。預處理資料。對於物件的每個字段，將根據需要進行自動的資料修改。大部分欄位並不預處理，它們會保持它們原來的樣子。預處理僅僅用在那些有特殊性質的字段，比如檔案字段。為資料庫準備資料。每乙個欄位先要把當...