如何配置弗林克了解Azure的数据湖文件系统?(how to configure flink to

2019-10-29 07:16发布

我使用弗林克读取来自Azure的数据lake.But弗林克的数据不能够找到Azure的数据湖的文件系统。 如何配置弗林克了解Azure的数据文件湖边有人system.Could引导我在这?

Answer 1:

弗林克具有连接到任何兼容的Hadoop文件系统的能力(即实现org.apache.hadoop.fs.FileSystem)。 看到这里的解释: https://ci.apache.org/projects/flink/flink-docs-release-0.8/example_connectors.html

在核心-site.xml中,您应添加特定ADLS配置。 您还需要在类路径中的ADL罐等。无论在弗林克代理运行。

它基本上是相同的概念,在这个博客概述,除了适应弗林克。 https://medium.com/azure-data-lake/connecting-your-own-hadoop-or-spark-to-azure-data-lake-store-93d426d6a5f4



文章来源: how to configure flink to understand the Azure Data Lake file system?