此设置没有默认值。 值将被跟踪的列use_column_value设置为true tracking_column_type 值可以是任何的:numeric,timestamp 默认值为"numeric" 跟踪列的类型。目前仅“数字”和“时间戳” use_column_value 值类型为布尔值 默认值为false 设置为时true,将定义的tracking_column值用作:sql_last_value。设置为时false...
其中 :sql_last_value 取得就是该文件中的值,这个last_time会以文件形式存在 last_run_metadata_path => "E:\logstash-7.8.0\bin\last_time" #如果use_column_value为真,需配置此参数. 指定增量更新的字段名。当然该字段必须是递增的,比如id或date字段。 tracking_column => "updateTime" # tracking_colum...
use_column_value => true # 记录上一次追踪的结果值 last_run_metadata_path => "/usr/local/logstash-6.4.3/sync/blog_track_time" # 如果 use_column_value 为true, 配置本参数,追踪的 column 名,可以是自增id或者时间 tracking_column => "updated_time" # tracking_column 对应字段的类型 tracking_...
record_last_run:记录最后运行结果 use_column_value:记录字段 tracking_column:记录字段名,这里就是id last_run_metadata_path:记录数据保存位置 sql_last_value:下次在执行同步的时候会将这个值,赋给sql_last_value 启动Logstash后,以后就是根据查询条件增量同步数据了。 到此,使用Logstash同步Mysql数据到Es就算完...
#当 use_column_value 取值为 false 时,sql_last_value 默认取值为 last_run_metadata_path 中记录 Path to file with last run timelast_run_metadata_path=>"/usr/local/service/logstash/temp/.my-pipeline-sql_last_value.yml"# 手动指定该值需要赋予正确的值,文件必须是 yml格式,且父级目录必须存在,...
use_column_value: 使用递增列的值 tracking_column_type: 递增字段的类型,numeric 表示数值类型, timestamp 表示时间戳类型 tracking_column: 递增字段的名称,这里使用 update_time 这一列,这列的类型是 timestamp last_run_metadata_path: 同步点文件,这个文件记录了上次的同步点,重启时会读取这个文件,这个文件可...
use_column_value=>"true"# 跟踪列类型,默认是numeric。tracking_column_type=>"timestamp"# 同步频率schedule=>"*/5 * * * * *"# 指定SQL语句statement=>"SELECT * FROM user WHERE update_time > :sql_last_value AND update_time < NOW()"# 是否清除last_run_metadata_path记录,默认为false。如果...
use_column_value => true tracking_column_type => "numeric" schedule => "*/5 * * * * *", statement => "SELECT *, UNIX_TIMESTAMP(modification_time) AS unix_ts_in_secs FROM es_table WHERE (UNIX_TIMESTAMP(modification_time)) > :sql_last_value AND modification_time < NOW() ORDER ...
# 是否记录上次执行结果,true表示会将上次执行结果的tracking_column字段的值保存到last_run_metadata_path指定的文件中; record_last_run => true # 需要记录查询结果某字段的值时,此字段为true,否则默认tracking_column为timestamp的值; use_column_value => true ...
input { jdbc { jdbc_driver_library => "mysql-connector-java-5.1.47.jar" jdbc_driver_class => "com.mysql.jdbc.Driver" jdbc_connection_string => "jdbc:mysql://xxxx:3306/databaese" jdbc_user => "username" jdbc_password => "password" use_column_value => true tracking_column => "...