配置hadoop_home
配置完成後可以直接通過hadoop中的命令執行以下操作
hdfs開啟namenode、datanode
格式化檔案系統：
$ bin/hdfs namenode -format
啟動服務：
$ sbin/hadoop-daemon.sh start namenode
$ sbin/hadoop-daemon.sh start datanode
上傳檔案測試：
在hdfs系統中建立目錄存放上傳檔案 ：
$ bin/hdfs dfs -mkdir /input
儲存檔案：
$ bin/hdfs dfs -put wc.txt /input
檢視檔案：
$ bin/hdfs dfs -cat /output/wc.txt
刪除hdfs中的檔案或者資料夾
hadoop fs -rm -r /aaa
檢視hdfs中的檔案或資料夾
hadoop fs -tail -f test.txt
(建立輸入流
/bin/hadoop fs -mkdir /input
檔案放入到input
./bin/hadoop fs -put test.txt /input
檔案輸出
./bin/hadoop fs -cat /output/*)
web控制台瀏覽器： http://hadoop01:50070/
yarn開啟resourcemanager、nodemanager
$ sbin/yarn-daemon.sh start resourcemanager
$ sbin/yarn-daemon.sh start nodemanager
啟動yarn $ sbin/yarn-daemon.sh start resourcemanager
$ sbin/yarn-daemon.sh start nodemanager
web控制台
日誌檔案：
啟動historyserver服務
$ sbin/mr-jobhistory-daemon.sh start historyserver
重新執行wordcount，檢視日誌，需要重新指定輸出目錄
$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input/ /output2
---報錯---- warn security.usergroupinformation: priviledgedactionexception as:johnny (auth:******) cause:org.apache.hadoop.mapred. filealreadyexist***ception: output directory hdfs://bigdata01:8020/out01 already exists org.apache.hadoop.mapred.filealreadyexist***ception: output directory hdfs://bigdata01:8020/out01 already exists ---解決：因為hdfs上面存在著相同的目錄，輸出目錄每次要不相同(不存在)
idea配置SpringBoot專案熱部署
人工智慧，零基礎入門！第一步 新增依賴使用spring boot devtools提供的開發者工具 spring boot專案中pom.xml引入如下依賴 org.springframework.boot spring boot devtools 第二步 開啟自動編譯1 idea開啟專案自動編譯，進...
GitLab搭建以及配置
gitlab搭建以及配置 作者區域 作者 tsyeyuanfeng關注使用者按鈕 關注文章資料資訊 如果是當前作者，加入編輯按鈕 文章內容 一 系統環境 二 安裝版本 三 安裝方式 以前試過原始碼安裝，過程痛苦無比。此次選擇官方提供的gitlab ce omnibus安裝包。gitlab官網上有詳細...
kafka配置以及安裝
rm f consumer.properties server.properties producer.properties zookeeper.properties vi kafka config server.properties 修改broker.id 1,host.name kafka02 ...