提问者:小点点

Kafka-Confluent Hub-仅利用其中的一部分


我已经在SO看到过类似的问题,但没有明确回答我的疑问。

我们有不同的Kafka集群和围绕它的许多利用操作习惯。我们有自己的方法来启动/停止集群,许多有助于维护集群的漏洞利用脚本等。

现在我们想使用Kafka connect连接器来满足新需求,但据我所知,Kafka connect与confluent-hub非常耦合。就像我甚至不能在不安装完整操作的confluent-hub的情况下使用连接器一样。

这使得我们很难使用Kafka连接器,我知道confluent-hub可能是一个帮助运行这些连接器的框架,但就像我们甚至不能使用分离的Kafka集群(一个没有被confluent-hub利用的集群…)。

但也许我错过了什么…

您知道是否有任何方法可以在已经存在的Kafka集群(完全独立于confluent-hub)上正确使用Kafka连接器吗?

编辑:

更多的是关于confluent-hub和Kafka-connect之间的高耦合行为的问题。Kafka connect附带的所有功能(处理不同故障转移场景的分布式工作人员等)在没有confluent-hub的情况下都无法使用,因此“需要”让Kafka集群专门通过confluent-hub运行,当您已经有一个现有的大型Kafka集群并且上面有很多OPS习惯时,这不是一件容易的事情。


共1个答案

匿名用户

Kafka Connect是Apache Kafka的一部分。它是一个可插拔的框架,用于在进出Kafka的系统之间进行流式集成。

要使用Kafka Connect,您需要用于要集成的特定技术的连接器。例如,S3接收器、Elasticsearch接收器、JDBC源或接收器等。

连接器API是Apache Kafka的一部分,任何想要开发连接器的人都可以使用。

连接器由不同的人和组织编写,并以不同的方式提供。如何获得连接器取决于您想要的连接器、它的许可方式以及作者如何将其用于分发。可以是您访问github,克隆repo并构建JAR。也可以是您可以直接下载JAR。

Confluent Hub所做的就是在一个地方为您提供大量这些连接器,易于搜索,并使用可选的CLI工具为您安装它们。

你必须使用Confluent Hub吗?不,一点也不。它会让你更容易找到你想要使用的连接器,并且更容易安装它们吗?希望:)

免责声明:我为Confluent工作。