spark在hadoop肩膀上可以讓大資料飛的更高。
hadoop就是儲存海量資料和分析海量資料的工具,是專為離線和大規模資料分析而設計的,其核心部件是hdfs與mapreduce。
hdfs為海量的資料提供了儲存。可以理解為乙個分布式的,有冗餘備份的,可以動態擴充套件的用來儲存大規模資料的大硬碟。
mapreduce為海量的資料提供了計算。可以理解成為乙個計算引擎,按照mapreduce的規則編寫map計算/reduce計算的程式,可以完成計算任務。
hadoop集群的搭建
無論是在windows上裝幾台虛擬機器玩hadoop,還是真實的伺服器來玩,說簡單點就是把hadoop的安裝包放在每一台伺服器上,改改配置,啟動就完成了hadoop集群的搭建。
上傳檔案到hadoop集群,實現檔案儲存
hadoop集群搭建好以後,可以通過web頁面檢視集群的情況,還可以通過hadoop命令來上傳檔案到hdfs集群,通過hadoop命令在hdfs集群上建立目錄,通過hadoop命令刪除集群上的
C 入門教程筆記
1.c string api substring 擷取字串,接受兩個引數,第乙個是偏移量,第二個是擷取長度 replace 替換字串,接受兩個引數,第乙個指定被替換的字串,第二個指定被替換的字串 indexof 返回指定字元在字串中的位置,從0開始 乙個過載tostring 方法案例 format將...
CSS入門教程
css是 cascading style sheets 的簡稱,中文翻譯為 串接樣式表 也有人翻譯為 樣式表 css用以作為網頁的排版和風格設計,在web標準建站中,對css的熟悉和使用是相當重要的乙個內容。css的作用是彌補html的不足,讓網頁的設計更為靈活。這個文章只是為您介紹css的基礎應用...
CSS入門教程
css是 cascading style sheets 的簡稱,中文翻譯為 串接樣式表 也有人翻譯為 樣式表 css用以作為網頁的排版和風格設計,在web標準建站中,對css的熟悉和使用是相當重要的乙個內容。css的作用是彌補html的不足,讓網頁的設計更為靈活。這個文章只是為您介紹css的基礎應用...