如何提高nifi性能时,在MySQL同步数据(how to improve nifi perform

2019-10-29 18:42发布

我用NiFi(一个实例) CaptureMySQLChange(binlog) + EvaludateJsonPath + JoltTransformJSON + PutDatabaseRecord将数据从一个表同步到另一个,这两个表是在不同的数据库,但是,相同的MySQL实例。 我用insert into table_a select * from table_b limit 5000; 批量插入5000行,nifi需要约7分钟同步所有5000行,是正常或慢于nifi? 如果慢,我应该怎么做才能提高性能?

JVM设置:

java.arg.2=-Xms4g java.arg.3=-Xmx8g

处理器设置: timer-driven scheduling, concurrent tasks=1(to re-execute sql in order), Run Schedule=0 sec, Penalty Duration=10 sec, Yield Duration=1 sec

队列设置: Back Pressure Object Threshold=100_000, Size Threshold=2g FirstInFirstOutPrioritizer

文章来源: how to improve nifi performance when sync data in mysql
标签: apache-nifi