Kafka

Apache Kafka — це розподілена платформа для потокової передачі подій, розроблена для створення конвеєрів даних у реальному часі та потокових додатків. Вона функціонує як високомасштабована, відмовостійка та надійна система обміну повідомленнями за моделлю publish-subscribe. Основна архітектура обертається навколо 'topics', які є категоріями або потоками записів. Producers публікують записи до topics, а Consumers підписуються на topics, щоб читати ці записи. Kafka brokers, що утворюють кластер, надійно зберігають ці записи та надають їх споживачам. Записи організовані в partitions в межах topics, що дозволяє паралельну обробку та високу пропускну здатність. Кожен partition є впорядкованою, незмінною послідовністю записів. Реплікація між брокерами забезпечує відмовостійкість; якщо брокер виходить з ладу, інша репліка може взяти на себе його функції. Надійність Kafka забезпечується записом записів на диск. Ключові компоненти включають Producers, Consumers, Brokers та ZooKeeper (для координації кластера, хоча новіші версії рухаються до KRaft). Компроміси включають операційну складність управління розподіленим кластером, особливо щодо залежностей від ZooKeeper, та необхідність ретельного планування потужностей. Однак, він пропонує неперевершену пропускну здатність, низьку затримку та гарантії сильної надійності, що робить його ідеальним для потоків даних з великим обсягом.