黑猴子的家 API 操作 HDFS 檔案上傳

1、code -> github

2、code

@test

public void putfiletohdfs() throws exception

<?xml version="1.0" encoding="utf-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
fs.defaultfs
hdfs://node1:9000

<?xml version="1.0" encoding="utf-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
dfs.replication1 

優先順序：客戶端**中設定的值 > classpath下的使用者自定義配置檔案 > 伺服器的預設配置

黑猴子的家 Sqoop RDBMS到HDFS

1 確定mysql服務開啟正常 victor node1 service mysql status redirecting to bin systemctl status mysql.service mysqld.service mysql community server loaded loade...

黑猴子的家 Hadoop Checkpoint機制

fsimage和edit log合併的過程如下圖所示 其實這個合併過程是乙個很耗i o與cpu的操作，並且在進行合併的過程中肯定也會有其他應用繼續訪問和修改hdfs檔案。所以，這個過程一般不是在單一的namenode節點上進行從。如果hdfs沒有做ha的話，checkpoint由secondname...

黑猴子的家 FileInputFormat切片機制

1 job提交流程原始碼詳解 waitforcompletion submit 1 建立連線 connect 1 建立提交job的 new cluster getconfiguration 2 判斷是本地yarn還是遠端 initialize jobtrackaddr,conf 2 提交job su...