博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
LogStash如何通过jdbc 从mysql导入elasticsearch
阅读量:6577 次
发布时间:2019-06-24

本文共 1277 字,大约阅读时间需要 4 分钟。

input {    stdin {    }    jdbc {      # mysql jdbc connection string to our backup databse      jdbc_connection_string => "jdbc:mysql://localhost:3306/userdb?useUnicode=true&characterEncoding=utf-8&useSSL=false"      # the user we wish to excute our statement as      jdbc_user => "user"      jdbc_password => "pass"      # the path to our downloaded jdbc driver      jdbc_driver_library => "mysql-connector-java-5.1.40-bin.jar"      # the name of the driver class for mysql      jdbc_driver_class => "com.mysql.jdbc.Driver"      jdbc_paging_enabled => "true"      jdbc_page_size => "50000"      statement_filepath => "mysqltestsql.sql"      schedule => "* * * * *"      type => "jdbc"      use_column_value => true      tracking_column => id      last_run_metadata_path => "C:\logstash-5.2.0\bin\last_run_metadata_path\last_run_metadata_path"    }}filter {    json {        source => "message"        remove_field => ["message","_id"]    }}output {      elasticsearch {        action => "index"        hosts => ["http://localhost:9200"]         index => "mysqltestdb2"        #index => "user"        workers => 1    }     #stdout {
#codec => rubydebug #codec => json_lines #}}

 

 mysqltestsql.sql

select id, name from userinfo WHERE id > :sql_last_value

 

转载地址:http://hmyno.baihongyu.com/

你可能感兴趣的文章
Unique Binary Search Trees II
查看>>
【深度学习系列】用PaddlePaddle和Tensorflow实现经典CNN网络GoogLeNet
查看>>
(转)如何动手打造属于自己的智能家居
查看>>
重载、重写、覆盖
查看>>
极简生活法则—读书笔记
查看>>
使用ASP.NET AJAX异步调用Web Service和页面中的类方法(10):服务器端和客户端数据类型的自动转换:以XML方式序列化数据、小结...
查看>>
深入理解JavaScript系列(11):执行上下文(Execution Contexts)
查看>>
[zz]Ubuntu下设置自己的“超级计算机集群”
查看>>
[转]Asp.net中GridView使用详解
查看>>
人防工程空调设计规范
查看>>
sql server 2005 通过代理定时备份数据库
查看>>
Android 实现全屏 无标题栏
查看>>
Android的横竖屏切换
查看>>
关于linux上cron服务的python封装工具
查看>>
MFC学习之Radio---MFC Radio按钮组的使用例子
查看>>
十五套专为开发人员打造的PHP资源库
查看>>
Elasticsearch 文件目录解释
查看>>
AngularJS 学习笔记值post传值
查看>>
深入理解display属性
查看>>
Android下基于SDL的位图渲染(二)理论篇
查看>>