第一步:下载logstash软件,
我这里用的是logstash-7.15.2. 各位自己百度搜一下,下载解压到自己目录里面
第二步:下载mysql的驱动,各位自己百度搜一下,名称如下,放到logstash目录下面:
mysql-connector-java-8.0.27.jar
第三步:进入目录config里面,找到配置文件 logstash-sample.conf,复制一份后填写相关的配置。
配置参考:
input{ stdin{} jdbc{ #数据库连接地址 jdbc_connection_string=>"jdbc:mysql://193.112.XXX.XXX:XXX/XXXX?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone = GMT" ##数据库连接账号密码; jdbc_user=>"root" jdbc_password=>"XXXX" ##MySQL依赖包路径; jdbc_driver_library=>"/Volumes/TF-songlin/down/logstash/mysql/mysql-connector-java-8.0.27.jar" ##thenameofthedriverclassformysql #jdbc_driver_class=>"com.mysql.jdbc.Driver" jdbc_driver_class=>"com.mysql.cj.jdbc.Driver" ##数据库重连尝试次数 connection_retry_attempts=>"3" ##判断数据库连接是否可用,默认false不开启 jdbc_validate_connection=>"true" ##数据库连接可用校验超时时间,默认3600S jdbc_validation_timeout=>"3600" ##开启分页查询(默认false不开启); jdbc_paging_enabled=>"true" ##单次分页查询条数(默认100000,若字段较多且更新频率较高,建议调低此值); jdbc_page_size=>"1000" ##statement为查询数据sql,如果sql较复杂,建议配通过statement_filepath配置sql文件的存放路径; ##sql_last_value为内置的变量,存放上次查询结果中最后一条数据tracking_column的值,此处即为ModifyTime; ##执行SQL文件的路径 ##statement_filepath=>"/Volumes/TF-songlin/down/logstash/mysql/jdbc.sql" statement=>"select id,tag,siteid from qj_tag where id > :sql_last_value" ##是否将字段名转换为小写,默认true(如果有数据序列化、反序列化需求,建议改为false); lowercase_column_names=>false ##Valuecanbeanyof:fatal,error,warn,info,debug,默认info; sql_log_level=>warn ## ##是否记录上次执行结果,true表示会将上次执行结果的tracking_column字段的值保存到last_run_metadata_path指定的文件中; record_last_run=>true ##需要记录查询结果某字段的值时,此字段为true,否则默认tracking_column为timestamp的值; use_column_value=>true ##需要记录的字段,用于增量同步,需是数据库字段 tracking_column=>"id" ##Valuecanbeanyof:numeric,timestamp,Defaultvalueis"numeric" tracking_column_type=>numeric ##record_last_run上次数据存放位置; last_run_metadata_path=>"/Volumes/TF-songlin/down/logstash/mysql/last_run_tag" ##是否清除last_run_metadata_path的记录,需要增量同步时此字段必须为false; clean_run=>false ## ##同步频率(分时天月年),默认每分钟同步一次; #schedule=>"* * * * 1" ##索引类型 #type=>"_doc" } } output{ elasticsearch{ hosts=>["https://XXXX-XXXX.XXXX.tencentelasticsearch.com:XXX"] user=>XXX password=>XXXXX index=>"XXX_tag" document_id=>"%{id}" } stdout{ codec=>json_lines } }
第四步:启动logstash,开始导数据
命令:logstash目录/bin/logstash -f 配置文件位置
/Volumes/TF-songlin/down/logstash/bin/logstash -f /Volumes/TF-songlin/down/logstash/bin/mysql_xxx.conf
这样数据就同步好了,这是mack的同步,服务器端做同步是一样的操作,可以设置定时自动同步