改hdfs遇到個問題，需要每個datanode上面的資料塊在當前寫入的時候能夠知道當前其所屬的分布式檔案的名稱，但是查了**後發現
塊所屬的檔名只能在namenode包裡的blocksmap才能查到資料塊所屬檔案等一些元資料資訊，具體見
為了方便所有的塊都能讀取到當前寫入的檔名，改寫了dfsclient,在檔案寫入的時候就將其名稱存入distributedcache， 讓大家都能讀取。
恩，也是沒有辦法的
辦法了。
修改DataNode遇到的問題
除錯這塊 的時候遇到乙個很奇怪的問題，就是改動的 加進去後 發現有些新增 是能執行的，有些不能執行，stack的情況如下 daemon thread org.apache.hadoop.hdfs.server.datanode.dataxceiver 2ef9748f suspended nocla...
Linux下MySql變數修改遇到的問題記錄
專案上需要使用mysql的過程來自動化構建一批資料，但是呼叫的時候總是報找不到表或者過程 1 首先終端連線mysql後發現，無論表還是過程在資料庫中都是存在的，排除了不存在的可能 2 對比後發現是表或者過程的大小寫不匹配，如果修改過程或者表名的話，會涉及太多的操作，試驗後，純粹的耽誤功夫 3 那麼就...
HDFS寫入的問題
今天在使用flink自定義sink往hdfs中寫入資料時，程式執行失敗並報下面的錯，主要是因為沒有許可權寫入hdfs org.apache.hadoop.security.accesscontrolexception permission denied user administrator,acce...