Никита Рьянов — Как мы построили самобалансирующийся мониторинг обработки топиков Kafka с помощью самой Kafka
Ближайшая конференция:
#java #jokerconf #jpoint #IT #conference #jugrugroup
Задачи, связанные с потоковой обработкой данных, встречаются довольно часто. Какими инструментами сейчас их принято решать? В большинстве случаев это будет Apache Spark Streaming или Apache Flink, но всегда ли нужно использовать такие массивные фреймворки для решения не самых сложных задач? Перед нами как раз стояла задача организация мониторинга, которую мы хотели решить, используя что-то легковесное.
Одним из вариантов был Kafka Streams. Зная особенность Kafka Streams в части создания внутренних топиков с состоянием, что приводит к увеличению числа данных, мы, взвесив все «за» и «против» классических решений, решили дать библиотеке шанс. Немного ее доработав, нам удалось сократить число системных топиков до их минимально необходимого количества и обеспечить нужную нам устойчивость и масштабируемость, что в итоге позволило решить поставленную задачу.
Мониторинг — лишь частный пример подобных задач. Однако этот пример показывает, что задачи, в которых есть джоины топиков 1:N, можно успешно решать с помощью Kafka Streams, а не Spark/Flink, при этом обеспечивая простоту и сохраняя эффективность решения.
Будет интересно разработчикам, архитекторам, ETL-разработчикам.
Технологии: Quarkus, Kafka, Kafka Streams, Queryable State store.
Скачать презентацию с сайта —
9 views
159
30
2 weeks ago 00:01:53 5
MiyaGi & Эндшпиль - Дама | На Пианино
2 months ago 00:12:12 7
Почему дядя Никиты Михалкова служил в войсках СС? “Упыри“. Лица тех кто служил немцам. Фото.
3 months ago 00:00:12 4
Видео от Инны Кустова (Артамоненко)
3 months ago 00:00:31 3
А ещё Никита усердно трудился
7 months ago 00:02:48 21
Наши футбольные фанаты (в отличии от футболистов, хотя есть исключение из бывших) не только клипы крутые делают, но и на защиту
7 months ago 00:45:33 15
Никита Рьянов — Как мы построили самобалансирующийся мониторинг обработки топиков Kafka с помощью самой Kafka
8 months ago 00:26:25 1
Иакинф Бичурин: Труженик ревностный и неудачник
1 year ago 01:29:13 5
ЗАТЕРЯННЫЙ ОСТРОВ: играем в настольную игру
1 year ago 00:12:12 1
Почему дядя Никиты Михалкова служил в войсках СС Упыри. Лица тех кто служил немц
3 years ago 00:42:33 1
Града Костромы усердный заступниче (Никита Костромской)
4 years ago 02:52:03 723
«Сибирский цирюльник» (“Le barbier de Siberie“), Россия-Франция-Италия-Чехия, 1998 г.
5 years ago 00:04:14 1
Японская Методика Преодоления Лени
6 years ago 00:05:03 1
Никита Михалков поделился впечатлениями от матча на стадионе «Нижний Новгород»
8 years ago 00:00:34 48
Никита Ретивов - Live
8 years ago 00:42:32 6
Града Костромы усердный заступниче. Прп. Никита Костромской. ТК “Кадр“, 2016
9 years ago 00:42:32 434
Града Костромы усердный заступниче (Прп. Никита Костромской) (ТК “Кадр“, 2016) HD