0. 準備mysql的驅動
1. logstash配置檔案 mysql.conf
input
}output "
hosts => ["es:9200"]}}
2. 引數配置說明：
dbc_driver_library：
資料庫驅動路徑，這裡我填寫的是絕對路徑，可自行嘗試相對路徑；
jdbc_driver_class：
驅動名稱；
jdbc_connection_string：
資料庫的連線字串；
forelk為資料庫名；
?autoreconnect=true&usessl=false自動重連並禁用ssl；
jdbc_user：
資料庫使用者名稱；
jdbc_password：
資料庫密碼；
schedule：
重複執行匯入任務的時間間隔；
jdbc_default_timezone：
預設時區設定；
statement：
匯入的表（查詢sql，可以過濾資料）
index:
索引名稱（類似資料庫名稱）；
document_type：
型別名稱（類似資料庫表名）；
document_id：
類似主鍵；
hosts：
要匯入到的elasticsearch所在的主機；
3. 執行匯入
cd bin
./logstash -f mysql.conf
4.執行查詢
5.準備mysql資料，建庫forelk 建表elktable
create database `forelk` /*!40100 default character set utf8 collate utf8_bin */;
create table `elktable` (
`elkid` int(11) not null,
`elkname` varchar(45) collate utf8_bin default null,
`elkage` int(11) default null,
`elk***` tinyint(4) default null,
`elkbirth` date default null,
primary key (`elkid`)
) engine=innodb default charset=utf8 collate=utf8_bin;
insert into `forelk`.`elktable`
(`elkid`,
`elkname`,
`elkage`,
`elk***`,
`elkbirth`)
values
(111,
aa,11,
1,2006);
insert into `forelk`.`elktable`
(`elkid`,
`elkname`,
`elkage`,
`elk***`,
`elkbirth`)
values
(222,
bb,22,
0,1995);
Logstash同步MySQL資料到ES
資料放在mysql上不好進行分析，且查詢的還比較慢。就想著把資料同步到es上，利用es的高效查詢功能進行資料分析。一 logstash配置mysql資料來源接入create table t ex deal deal id varchar 50 not null,back decimal 36,18 ...
Logstash同步sql資料到Es
安裝好elasticsearch和logstash 把mysql驅動放到logstash的bin目錄下新建的資料夾mysq test下 在mysql test資料夾下面建立mysql.config檔案 input jdbc filter output stdout mysql.sql檔案如下 sel...
mysql同步資料 MySQL同步資料
mysql dump工具用於匯出現有資料，匯出結果為sql檔案 目前dump工具支援整庫dump以及單錶dump。下面為單錶dump操作過程 1 選擇匯出目標目錄 確保該目錄有足夠的儲存空間。mkdir opt bas backup 2 使用mysqldump命令匯出表資料 mysqldump u ...