Informatica的的PowerCenter VS定制的Perl ETL作业?(informat

2019-09-21 09:25发布

我的大多数公司使用的PowerCenter Informatica的数据库间提取 - 转换 - 负载类型的数据移动作业。

然而项目我是有一个大的自定义Perl的工作有一些Java抛出的良好措施,以移动数据和引发一些其他更新。

有重写使用的PowerCenter,而不是事情的说法,什么是人们对这样的项目经验,是否有意义? 好像你要这样的“现成的”解决方案展销会很大的灵活性,但在ETL工具给你买很多在例如生产率方面?

Answer 1:

Informatica的是良好的的运营团队。 它允许非技术人员来监视能力,并重新运行作业。 然而,它使任何任务要复杂得多它需要。 这是一个巨大的软件部分,并需要一段时间来学习,这是在变换它可以无需编程进行有限的。 我肯定会使用Perl或编程语言中的任何一天在一个“企业ETL”的工具。



Answer 2:

我们有Informatica和Tibco公司从2001年开始,人们能够很容易地拾起Informatica的(基本任务),但Tibco的是一个痛苦。 TIBCO现在已经不复存在了,而Informatica的足迹逐渐发展壮大,它的代码现在由连业务分析师看..

一旦你熟练,你可以得到很多迅速完成(我做了3代事实表和来自多个来源的12个尺寸在一周内,一名财务和PO数据集市),并更改代码,调度时,过渡到更容易维护另一家开发商等具有较少的会议和您的组织的文书工作的乐趣,更多的时间的时间。

我们使用它的数据集市,数据移动,和平均价格的接口。

如果你想要做的事完全自定义的,而不是编译的C程序它现在有一个Java转换。



Answer 3:

在你的情况我会转换为Informatica的原因有两个:影响分析(SLA)和修的(监测,单ETL工具)。 可重用性是另一个加分。

具体到Informatica的:具有影响分析是一个伟大的工具:它可以防止许多紧急修复,帮助你保持你的SLA。 对我来说,提高了服务水平协议是上述的灵活性。 在Informatica的监控功能也是非常有帮助的。

一般情况下:如果你的公司正在以一个单一的ETL工具,将这项工作会更容易维护。 这也是更有效和可靠的支持团队来监控一个工具。 希望贵公司试图使对象可重复使用,这使得转换更容易,并提高未来的生产力(你可以在转换过程中创建新的可重用的对象)。

慎用一个字:转换任务实际上是很难估计。 使此,如果你能一个独立的项目(不是一个更大的交付的一部分)。



Answer 4:

编码为您提供了极大的灵活性。 无论是Perl,Python和C#,Java和SQL - 不管。 您可以快速,方便地建立一些数据转换。 为什么会有人懒得连看ETL软件,对不对?

让我们假设你已经得到了整体解决方案做好准备。 你在你所选择的语言的所有脚本都在那里。 现在有几个问题:

  • 如果数据量的增长,你可以不适合在内存中的一切,其中的缓存中创建? 你可以控制它?
  • 如何创建的所有日志? 你已经创建了?
  • 什么错误处理? 在错误的情况下(如磁盘空间问题,连接问题,ETS)的根本原因是很容易显示?
  • 你怎么做监控? 是否有任何动态仪表板?
  • 即集群可能与您的解决方案?
  • 是否有可能在多个线程中运行的一些数据转化,使其运行速度更快?
  • 故障转移:你如何处理失败? 是否有可能重新从故障点工作?
  • 连接:一个新的数据源显示出来 - 说,Salesforce的 - 多少时间做你需要增强脚本进行读/写呢?
  • 您可以连接到ERP系统,如SAP?
  • 你可以得到的数据沿袭和影响分析出来的脚本?

所有这些 - 甚至更多 - 你当你使用一些血统ETL软件。 有人一直在努力,并为年处理所有这些麻烦和得到一些GUI它。 这就是区别。

现在,如果你需要的东西,以一个文件中,而一次加载到一个数据库 - 随便什么都行。 但是,如果你的计划有很多的的ETL软件是值得考虑的。 如果Informatica的是已经存在在你的公司,那么为什么pother和重新发明轮子呢?



Answer 5:

如果您有人们不能代码ETL工具,如Informatica的买你的生产力(和漂亮的图片)。 这是有道理的,如果有任何人可以维护代码。 对于有人能够代码,它就像雇佣500磅重的大猩猩移动小题大做。

另请参见: 这个职位和这个职位在这个线程

它是那种很好的自动登录的工作(你不必考虑要记录什么......这一切都非常为你做)和运行监控工具(沿多远是我的工作流程,并在这样做是失败?)。



文章来源: informatica powercenter vs custom perl ETL job?