logstash同步mysql数据到elsticsearch
一、 安装logstash
在官网下载最新的安装包：
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.2.4.tar.gz
解压并转移目录：
tar zxvf logstash-6.2.4.tar.gz
mv ./logstash-6.2.4 /usr/local/logstash
1.安装插件
由于这里是从mysql同步数据到elasticsearch，所以需要安装jdbc的入插件和elasticsearch的出插件：logstash-input-jdbc、logstash-output-elasticsearch
cd /usr/local/logstash/bin
./logstash-plugin install logstash-input-jdbc
./logstash-plugin install logstash-output-elasticsearch
2.下载mysql连接库
由于logstash是ruby开发的，所以这里要下载mysql的连接库jar包，从官网下载，我这里下载的是：mysql-connector-java-5.1.46.jar
将下载好的mysql-connector-java-5.1.46.jar，放至/usr/local/logstash/config/目录下。
下载地址：
3.修改配置文件
在config目录下，创建配置文件（logstash-mysql-es.conf）
jdbc_connection_string =& "jdbc:mysql://192.168.234.1:3306/lxj?useUnicode=true&characterEncoding=utf-8&useSSL=false"
jdbc_user =& "root"
jdbc_password =& ""
jdbc_driver_library =& "./config/mysql-connector-java-5.1.46.jar"
jdbc_driver_class =& "com.mysql.jdbc.Driver"
jdbc_paging_enabled =& true
jdbc_page_size =& "50000"
jdbc_default_timezone =&"Asia/Shanghai"
statement =& "select * from lxj_resource where update_time &= :sql_last_value"
schedule =& "* * * * *"
use_column_value =& true
tracking_column =& "update_time"
tracking_column_type =& "timestamp"
last_run_metadata_path =& "./logstash_capital_bill_last_id"
clean_run =& false
lowercase_column_names =& false
elasticsearch {
hosts =& "192.168.234.130:9200"
index =& "resource"
document_id =& "%{id}"
template_overwrite =& true
codec =& json_lines
（1）jdbc_driver_library
mysql-connector-java-5.1.46.jar的存放目录，这个一定要配置正确，支持全路径和相对路径。如果配置不对，将会报“can ”错误。
（2）sql_last_value
标志目前logstash同步的位置信息（类似offset）。比如id、updatetime。logstash通过这个标志，可以判断目前同步到哪一条数据。
（3）statement、statement_filepath
statement：执行同步的sql语句，可以同步部分数据。
statement_filepath：存储执行同步的sql语句。不和statement同时使用。
（4）schedule
定时器，表示每隔多长时间同步一次数据。格式类似crontab。
（5）tracking_column、tracking_column_type
tracking_column：表示表中哪一列用于判断logstash同步的位置信息。与sql_last_value比较判断是否需要同步这条数据。
tracking_column_type：racking_column指定列的类型。支持两种类型：numeric（默认）、timestamp。注意：如果列是时间字段（比如updateTime），一定要指定这个类型为timestamp。我就踩了这个大坑。。。一直同步不成功！！！
（6）last_run_metadata_path
存储sql_last_value值的文件名称及位置。
（7）document_id
生成elasticsearch的文档值，尽量使用同步的数据中已有的唯一标识。比如同步订单数据，可以使用订单号。
在根目录下，执行命令
cd /usr/local/logstash/
nohup bin/logstash -f config/logstash-mysql-es.conf & logs/logstash.out &
查看日志文件
cat /usr/local/logstash/logs/logstash-plain.log
Logstash实时同步mysql数据库至elastic
logstash增量同步mysql数据到elasticsearch
logstash同步mysql到elasticsearch
logstash同步mysql到es 配置
Logstash的logstash-input-jdbc插件mysql数据同步ElasticSearch及词库
linux环境下mysql数据库的数据通过logstash导入elasticsearch 6.x
logstash 安装导入mysql数据至ElasticSearch
用LogStash同步MySQL数据至ES
logstash-input-jdbc实现mysql 与elasticsearch实时同步深入详解
没有更多推荐了，新免费青青草在线视频
404 Not Found
The requested URL was not found on this server.
您要找的内容已被删除扫一扫体验手机阅读
共5000条记录DR450T--0-C300-0111,婕冲窞榧庢櫉杈捐嚜鍔ㄥ寲璁惧?鏈夐檺鍏?徃==www.ic37.com
<META content="DR450T--0-C300-0111,婕冲窞榧庢櫉杈捐嚜鍔ㄥ寲璁惧?鏈夐檺鍏?徃, 错误 ''
/news/str.asp，行 199}