在SSIS增量加载的最佳方式(Best way for incremental load in ss

我从我的日常源获得60万行，我需要他们转储到SQL Server目标，这将是一个渐进的负载。

现在，作为目标表的大小很可能是由日这将是增量负载的最佳方法增加一天。 我在我的脑海几个选项：

1. 查找任务
2. 合并连接

3. SCD

   等等..

请建议我将在增量加载以及执行的最佳选择。

Answer 1:

看看安迪·伦纳德的优秀阶梯集成服务系列或托德McDermid的关于如何使用免费的视频SSIS维度合并SCD组件双方将讨论如何做正确远胜于我可以在此框中枚举。

Answer 2:

合并连接是一个巨大的性能问题，因为它需要的前期所有记录的整理，不应该被用于此目的。

我们每天一般处理许多百万的记录文件将它们放置在一个临时表，做一个散列比较，在我们更改数据跟踪表中的数据，看看数据是从什么是对PROD，然后只加载新的原稿或不同这是不同的。 因为我们做我们的生产数据库之外的比较，我们有becasue检查数百万对督促记录uinstead PROD上的影响非常小，我们只处理，它实际上需要有247。 事实上，对于我们最忙的服务器，所有这些处理都不同的是去督促的最后一步一个单独的服务器上。

Answer 3:

如果你只需要插入它们，它并不真正重要。 如果你需要检查类似，如果存在，否则更新插入，我建议创建在您查询您的600.000行，并检查他们是否与现有数据源的查找工作存在的oleDbSource。 由于现有的数据源是（或倾向于）巨大的，小心你配置缓存模式的方式。 我会与你正在寻找了ID订购了一些内存限制部分缓存走（这detais是非常重要的基础途中缓存的工作）

文章来源: Best way for incremental load in ssis