hdfs檔案操作
使用hadoop
使用者登入
linux
系統,啟動
hadoop
(hadoop
的安裝目錄為
「/usr/local/hadoop」
),為hadoop
使用者在hdfs
中建立使用者目錄
「/user/hadoop」
接著在hdfs的目錄
「/user/hadoop」
下,建立
test
資料夾,並檢視檔案列表
將linux系統本地的「~
/.bashrc」
檔案上傳到
hdfs
的test
資料夾中,並檢視
test
因為之前做過的緣故,所以會提示檔案存在
將hdfs資料夾
test
複製到linux
系統本地檔案系統的
「/usr/local/hadoop」
目錄下因為之前做過的緣故,所以會提示檔案存在
注意教材《大資料技術原理與應用》的命令是以」./bin/hadoop dfs」開頭的shell命令方式,實際上有三種shell命令方式。
1. hadoop fs
2. hadoop dfs
3. hdfs dfs
hadoop fs適用於任何不同的檔案系統,比如本地檔案系統和hdfs檔案系統
hadoop dfs只能適用於hdfs檔案系統
hdfs dfs跟hadoop dfs的命令作用一樣,也只能適用於hdfs檔案系統
暑假周進度報告(四)
hdfs體系結構 冷備份 發生故障以後,先停止一段時間,把一些資料從第二名稱節點慢慢恢復過來,恢復過來後再提供對外服務。hdfs儲存原理 冗餘資料儲存的問題 乙個資料塊會被預設儲存3份 可並行操作同一資料,加快資料傳輸速度 很容易檢查資料錯誤,有參照 保證資料可靠性 資料儲存策略的問題 2 資料讀取...
暑假周進度報告3
在本週中,學到了一些新工具,jdk api幫助文件的使用,在其中有 j a 所有類以及 j a 類的使用方法。在 j a 程式設計中可通過此檔案查詢對類的使用方法以及查詢導包。scanner random 以及arraylist 的使用,以上三個都屬於 l a.util 的類,在對 scanner ...
暑假周進度報告(二)
這一周我學習了一下linux shell指令碼,然後按照教程嘗試搭建hadoop平台。然後我把我搭建hadoop平台的過程寫成了一篇部落格 過程很艱辛,遇到了許多問題。有些問題就馬馬虎虎的過了,但是並沒有搭建完成,最後遇到了乙個問題沒法解決,於是就一直擱置著。然後我打算學習python。估計程式設計...