如何优化kettle导入数据的效率?

2019-01-03 01:10发布

一开始每秒10+个

给表增加了主键后,变成每秒100+

还有什么可以增加效率的方法

 

标签: kettle etl
1条回答
混吃等死
2楼-- · 2019-01-03 01:25

学习了几个月后我自己对这个问题有了一些理解

影响导入速度的因素

  1. 网络
  2. 目标表的查询或连接字段,是否有索引(因为我用的插入更新组件,除了第一次导入是插入,之后就都是更新了,更新就需要对比,对比的时候如果没有索引就会非常的慢)
  3. 源表的的查询或连接字段,是否有索引(如果没有索引,表输入的SQL查询速度就会很慢,影响输入速度,间接影响输出速度)
查看更多
登录 后发表回答