我用NiFi(一个实例) CaptureMySQLChange(binlog) + EvaludateJsonPath + JoltTransformJSON + PutDatabaseRecord
将数据从一个表同步到另一个,这两个表是在不同的数据库,但是,相同的MySQL实例。 我用insert into table_a select * from table_b limit 5000;
批量插入5000行,nifi需要约7分钟同步所有5000行,是正常或慢于nifi? 如果慢,我应该怎么做才能提高性能?
JVM设置:
java.arg.2=-Xms4g java.arg.3=-Xmx8g
处理器设置: timer-driven scheduling, concurrent tasks=1(to re-execute sql in order), Run Schedule=0 sec, Penalty Duration=10 sec, Yield Duration=1 sec
队列设置: Back Pressure Object Threshold=100_000, Size Threshold=2g FirstInFirstOutPrioritizer