我们可以使用HDInsight服务的ATS?(Can we use HDInsight Servic

2019-09-28 21:20发布

我们称为X跟踪日志记录系统。 我们用这个系统来进行转储,异常痕迹等在SQL Azure数据库。 行动小组则利用这些数据进行调试,SCOM目的。 考虑到SQL Azure的具有我们正在考虑使用HDInsight(大数据)服务的150 GB限制。

  1. 如果我们转储Azure Table中存储的数据,将HDInsight服务工作对苯丙胺类兴奋剂?

  2. 或者,它只会工作对Blob存储,这意味着日志记录需要作为Blob存储文件被创建?

    1. 最后一个问题。 考虑到我上面所解释的情况下,这是一个很好的候选人使用HDInsight服务?

Answer 1:

HDInsight是要消费内容从HDFS,或从经由Azure存储库(ASV),这有效地提供了关于BLOB存储的顶部上的HDFS层映射到HDFS Blob存储。 后者是推荐的方法,因为你可以有写入Blob存储内容的显著量,这很好地映射成可以通过您的HDInsight工作后消耗的文件系统。 这对于像日志/跟踪工作的伟大。 想象一下,写日志,每小时一个特定的容器内分开的斑点。 然后,你必须创建了HDInsight集群,连接到同一个存储帐户。 然后,它变得非常简单的指定输入目录中,它被映射到文件的指定存储容器内,和您去。

您还可以将数据存储在Windows Azure中的SQL数据库(传统的命名:“SQL Azure的”),并使用一个名为Sqoop来直接从SQL数据库数据导入到HDFS进行加工的工具。 但是,你有你在你的问题中提到的150GB极限。

有从表存储到HDFS没有内置的映射; 你需要创建一些类型的转换,从表存储读取和写入文本文件处理(但我认为直接写入文本文件时会更有效,跳过需要做的读/写在用于制备大宗您HDInsight处理)。 当然,如果你正在做不HDInsight查询你的记录数据,那么它可能确实是有益的最初存储到表存储,然后提取你需要随时启动您HDInsight作业的具体数据。

这里也有一些HDInsight文档的Azure的门户网站,提供各地HDFS + Azure存储库更详细了。



Answer 2:

上面的答案是关于Azure的表存储部件sligthly误导。 这是没有必要先写ATS内容为文本文件,然后处理文本文件。 取而代之的是标准的Hadoop InputFormat或蜂巢StorageHandler可写,从ATS直接读取。 有可用的至少2个实现在这个时间点:

  • ATS InputFormat和蜂房StorageHandler由MS雇员书面
  • ATS蜂巢StorageHandler西蒙写球


文章来源: Can we use HDInsight Service for ATS?