卡夫卡Connect和卡夫卡经纪人版本兼容性(Kafka Connect and Kafka Bro

2019-10-29 07:50发布

我们有一个“Kerberos的卡夫卡集群”运行的代理版本的Apache卡夫卡0.11.This集群由不同的团队管理,我们没有在这个任何控制。

我们现在正在努力我们自己的K8S群集上安装卡夫卡连接集群。

我们下面这个兼容性矩阵https://docs.confluent.io/current/installation/versions-interoperability.html

根据这一点,我们必须坚持的汇合平台架构Registry和卡夫卡连接荚3.3.3图像,因为经纪人的版本是0.11

此外,我们要启用这是在这里实现连接JMX指标: https://cwiki.apache.org/confluence/display/KAFKA/KIP-196%3A+Add+metrics+to+Kafka+Connect+framework

根据该文件,这些JMX指标在卡夫卡1.0.0支持

问题是:

1)我们可以使用最新的汇合图像(例如:版本5.2.0)与卡夫卡经纪人0.11版本?

2)随着当前设置(3.3.3汇合)我已启用所有JMX指标,但是我们没有看到任何基于卡夫卡连接器的指标。 我看到一般卡夫卡连接指标,但不是每个每个连接器(例如,源库指标)指标。是的,因为我们使用旧CP版本?

Answer 1:

中包含的汇合平台3.2和更高卡夫卡连接工人受到被包括在汇合平台3.0和更高任何卡夫卡经纪人兼容

注:卡夫卡Connect是不是一个融合的平台功能,是建立在普通的Apache卡夫卡API。 因此,使用卡夫卡1.0和2.0的客户端库连接实例仍与卡夫卡工作0.11经纪人用于基本通信协议

如果您遇到Kerberos问题时,这些都有可能无关

我看到一般卡夫卡连接指标,但不是每个每个连接器指标

在一般情况下,每个连接器都有指标没有这样的如“的记录数读取/写入数据库”,或者至少,如果实际的连接器实现自己的指标,将在很大程度上取决于,但肯定的,3.3.x版本是所有基于卡夫卡0.11,而不是1.0,其中加入更多连接API度量



文章来源: Kafka Connect and Kafka Broker version compatibility