不多說,直接上乾貨!
ls / ------------------------ 這是查本地linux上的根
hadoop fs -ls / ------------- 這是查hdfs上的根
或者, hadoop fs -ls hdfs://localhost:9000/ ------------------ 這是查hdfs上的根
即。hdfs://localhost:9000是可以省略的。
通過瀏覽器,可以看到hdfs檔案系統。
hadoop dfs是舊版本的。
hadoop fs這是hadoop2.2.*新出的。
和
詳情請見:p/7473861.html
對應本平台的討論和答疑qq群:大資料和人工智慧躺過的坑(總群)(161156071)
Hadoop概念學習系列之談談RPC(三十三)
不多說,直接上乾貨!rpc 遠端過程呼叫協議,它是一種通過網路從遠端電腦程式上請求服務,而不需要了解底層網路技術的協議。rpc協議假定某些傳輸協議的存在,如tcp或udp,為通訊程式之間攜帶資訊資料。在osi網路通訊模型中,rpc跨越了傳輸層和應用層。rpc使得開發包括網路分布式多程式在內的應用程式...
Beam概念學習系列之PTransform資料處理
不多說,直接上乾貨!ptransform資料處理 ptransform對pcollection進行並行處理,每次處理1條,例如filter過濾 groupby分組 combine統計 join關聯等等,還允許根據業務邏輯編寫pardo。apache beam借鑑了函式式程式設計的不可變性,ptran...
Storm概念學習系列之storm的功能和三大應用
不多說,直接上乾貨!storm的功能 下面介紹storm 的三大主要應用 1 流處理 stream processing storm 可用來實時處理新資料和更新資料庫,兼具容錯性和可擴充套件性,即 storm 可以用來處理源源不斷流進來的訊息,處理之後將結果寫入某個儲存中。2 持續計算 contin...