Apache Kafka 3.4. New Features Improvements

KIP 866 (0:20) — Улучшения для перехода от существующих кластеров ZooKeeper к новым кластерам, обеспечивая более безопасную миграцию с двойной записью метаданных. KIP 830 и KIP 881 (0:47) — Введение новых возможностей для работы с репортерами и распределением разделов, что позволяет пользователям оптимизировать хранение данных и доступ к ним в зависимости от географического расположения. KIP 876 (1:08) — Обновления связанные с моментальными снимками метаданных, которые теперь могут запускаться с учётом времени, что облегчает управление резервными копиями данных. KIP 8504 (1:35) — Разработка новых идентификаторов для производителей и транзакций, что повышает эффективность транзакционных операций и снижает нагрузку на память. KIP 837 (3:03) — Улучшения в Kafka Streams, позволяющие пользователям более гибко управлять передачей записей результатов в каждый раздел нисходящего потока. Введена функциональность для удаления записей результатов без их отправки. Kafka Connect и MirrorMaker 2 (3:40) — Обновления для Kafka Connect, особенно для MirrorMaker 2, улучшающие управление ресурсами и облегчающие интеграцию с федеративными решениями и инфраструктурой в виде кода. Новый KIP 787 позволяет запускать пользовательские реализации для Kafka Resource Manager, улучшая интеграцию с собственными экосистемами.