我有我需要从两个不同来源的数据合并到一个目标表中的数据流,也只想插入唯一值并忽略现有的值。
该行键是由两列,我变成了一个SHA1哈希值,使其更容易合并组成。
我做的方式,“NOT EXISTS”是通过“左外连接”合并连接,我得到正确的加入,后来我用一个有条件的分裂只拿到了空值。
每个源是由哈希排序。 现有的数据源是多播到两个连接检查现有的价值观,我只希望新的。
我遇到的问题是,即使,至少对我来说,一切看起来OK我仍然得到唯一键冲突(包括源1以及源产生完全不同的密钥和数据集的键是唯一的),我不能跟踪问题。
我试图通过增加更多的种类,甚至之后的“现有数据”源完成它仍然会产生独特的键冲突的一切放缓。