1， 解壓檔案
安裝在 cd /usr/local/
tar -zxvf logstash-
6.2.1
.tar.gz
配置檔案1: ******.conf檔案
input
}output
}
[root@localhost config]
# ../bin/logstash -f ******.conf
hello
world
sending logstash's logs to /usr/local/logstash-6.3.2/logs which is now configured via log4j2.properties
[2018-08-30t11:55:33,463][warn ][logstash.config.source.multilocal] ignoring the 'pipelines.yml' file because modules or command line options are specified
[2018-08
-30t11:55:33
,949
][info ]
[logstash.runner ]
starting logstash
[2018-08
-30t11:55:36
,606
][info ]
[logstash.pipeline ]
starting pipeline
[2018-08
-30t11:55:36
,711
][info ]
[logstash.pipeline ] pipeline started successfully
the stdin plugin is now waiting for input:
[2018-08
-30t11:55:36
,824
][info ]
[logstash.agent ] pipelines running
[2018-08
-30t11:55:37
,240
][info ]
[logstash.agent ] successfully started logstash api endpoint
input
}output
}
--乙個視窗執行
echo ' ***x'
>>
data
.txt
--另乙個視窗看輸出資料
tail -f logstash_data/data_out.tx
input
}output
}
oracle匯入大資料時日誌問題
這兩天匯入百萬級得大資料表時，oralce出現匯入停止問題，最後通過增大歸檔日誌空間解決。1 增大日誌歸檔空間 可以通過下面的方法來調整系統的回閃恢復區大小 首先是關閉資料庫 以sys身份鏈結到oracle，執行 shutdown immediate 啟動資料庫到mount狀態 startup mo...
大資料實時推薦系統的思考
昨晚思考了實時數倉的問題，對下列案例進行了如下思考.這個肯定不是實時推薦。那麼在拼多多中買了東西，馬上在小公尺瀏覽器中有京東的推薦，這個是不是實時？是實時推薦，但是不是大資料實時推薦。嚴格來講，談不上推薦。因為這種只是根據你買的東西a，推薦了類似商品名稱的商品給你。大資料實時推薦指的是，你買了a，我...
新冠肺炎疫情大資料實時平台
目錄 一 簡介 本開源程式將逐步停止維護，將開設新的專案，資料來源以中國cdc為準。新增全球疫情資料 國內資料 各省市自治區資料 二 目錄結構介紹 bin 專案的底層核心，路由配置檔案 controller 控制器目錄 node modules 專案中依賴的包 public 公共資源放的目錄 rou...