卡夫卡将来事件的数据存储(Kafka as a data store for future even

2019-10-21 16:48发布

我具有从基于该源数据的变化的源接收消息卡夫卡集群。 在某些情况下,这些消息意味着在将来进行处理。 所以,我有2种选择:

  1. 消费正在以不同的主题(在主题名称日期)意味着将来回卡夫卡的所有消息和发布消息,并有一个风暴的拓扑结构,看起来与它在该日期的名称主题。 这将确保消息仅在它的意思一天处理。
  2. 它存放在一个单独的数据库,并建立一个调度,只有在未来的日子读取邮件和公告卡夫卡。

选项1是比较容易执行,但我的问题是:卡夫卡是一个持久的数据存储? 和任何人做这种卡夫卡事件触发的? 是否有设计中的任何大洞?

Answer 1:

您可以配置的时候你的邮件保留在卡夫卡(log.retention.hours)的量。

但是,请记住,卡夫卡是为了作为您的生产者和消费者的,不耐用的数据存储之间的“实时缓存”。 我不认为卡夫卡+风暴将是您的使用情况下,适当的工具。 为什么不只是写在一些分布式文件系统的信息,并安排工作(MapReduce的,星火...)来处理这些事件?



文章来源: Kafka as a data store for future events