卡夫卡:是否汇合的HDFS连接器支持的Snappy压缩?(Kafka: Does Confluent

2019-11-04 15:11发布

我没有看到对HDFS连接器文档压缩的任何配置https://docs.confluent.io/current/connect/connect-hdfs/docs/configuration_options.html 。

  • 它支持压缩?
  • 如果是的话,我需要什么,在属性中添加文件?

Answer 1:

活泼的压缩是最近加入到HDFS连接器Avro的。 要启用它,你需要设置的属性avro.codecsnappy

随着木地板它从一开始就一直有效,并且是出口实木复合地板文件时使用的编解码器。

下面是添加它Avro的公关:

https://github.com/confluentinc/kafka-connect-hdfs/pull/255

此配置属性将在即将到来的4.1.0版本连接器变得可用。 这也是当链接到文档将被更新以反映这一加法。



文章来源: Kafka: Does Confluent’s HDFS connector support Snappy compression?