mac系统通过logstash将mysql数据导入ES(elasticsearch)



第一步:下载logstash软件,

    我这里用的是logstash-7.15.2.  各位自己百度搜一下,下载解压到自己目录里面

第二步:下载mysql的驱动,各位自己百度搜一下,名称如下,放到logstash目录下面:

mysql-connector-java-8.0.27.jar

第三步:进入目录config里面,找到配置文件 logstash-sample.conf,复制一份后填写相关的配置。

配置参考:

input{
    stdin{}
    jdbc{
        #数据库连接地址 
        jdbc_connection_string=>"jdbc:mysql://193.112.XXX.XXX:XXX/XXXX?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone = GMT"
        ##数据库连接账号密码;
        jdbc_user=>"root"
        jdbc_password=>"XXXX"
        ##MySQL依赖包路径;
        jdbc_driver_library=>"/Volumes/TF-songlin/down/logstash/mysql/mysql-connector-java-8.0.27.jar"
        ##thenameofthedriverclassformysql
        #jdbc_driver_class=>"com.mysql.jdbc.Driver"
        jdbc_driver_class=>"com.mysql.cj.jdbc.Driver"
        
        ##数据库重连尝试次数
        connection_retry_attempts=>"3"
        ##判断数据库连接是否可用,默认false不开启
        jdbc_validate_connection=>"true"
        ##数据库连接可用校验超时时间,默认3600S
        jdbc_validation_timeout=>"3600"
        ##开启分页查询(默认false不开启);
        jdbc_paging_enabled=>"true"
        ##单次分页查询条数(默认100000,若字段较多且更新频率较高,建议调低此值);
        jdbc_page_size=>"1000"
        ##statement为查询数据sql,如果sql较复杂,建议配通过statement_filepath配置sql文件的存放路径;
        ##sql_last_value为内置的变量,存放上次查询结果中最后一条数据tracking_column的值,此处即为ModifyTime;
        ##执行SQL文件的路径
        ##statement_filepath=>"/Volumes/TF-songlin/down/logstash/mysql/jdbc.sql"
        statement=>"select id,tag,siteid from qj_tag where id > :sql_last_value"
        ##是否将字段名转换为小写,默认true(如果有数据序列化、反序列化需求,建议改为false);
        lowercase_column_names=>false
        ##Valuecanbeanyof:fatal,error,warn,info,debug,默认info;
        sql_log_level=>warn
        ##
        ##是否记录上次执行结果,true表示会将上次执行结果的tracking_column字段的值保存到last_run_metadata_path指定的文件中;
        record_last_run=>true
        ##需要记录查询结果某字段的值时,此字段为true,否则默认tracking_column为timestamp的值;
        use_column_value=>true
        ##需要记录的字段,用于增量同步,需是数据库字段
        tracking_column=>"id"
        ##Valuecanbeanyof:numeric,timestamp,Defaultvalueis"numeric"
        tracking_column_type=>numeric
        ##record_last_run上次数据存放位置;
        last_run_metadata_path=>"/Volumes/TF-songlin/down/logstash/mysql/last_run_tag"
        ##是否清除last_run_metadata_path的记录,需要增量同步时此字段必须为false;
        clean_run=>false
        ##
        ##同步频率(分时天月年),默认每分钟同步一次;
        #schedule=>"* * * * 1"
        ##索引类型
        #type=>"_doc"
    }
}
output{
    elasticsearch{
        hosts=>["https://XXXX-XXXX.XXXX.tencentelasticsearch.com:XXX"]
        user=>XXX
        password=>XXXXX
        index=>"XXX_tag"
        document_id=>"%{id}"
    }
    stdout{
        codec=>json_lines
    }
}


第四步:启动logstash,开始导数据

命令:logstash目录/bin/logstash -f 配置文件位置

/Volumes/TF-songlin/down/logstash/bin/logstash -f /Volumes/TF-songlin/down/logstash/bin/mysql_xxx.conf


这样数据就同步好了,这是mack的同步,服务器端做同步是一样的操作,可以设置定时自动同步


图片.png

添加回复:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。