Обзор архитектуры быстрого сборщика логов на Go — Владимир Витковский / Ural Digital Weekend

«Обзор архитектуры быстрого сборщика логов на Go» — Владимир Витковский (Ozon, руководитель направления разработки Observability-платформы) Доклад с конференции Ural Digital Weekend 2022 (8 июля 2022) Владимир в своем докладе рассказал о лучших практиках, на которых основан очень быстрый сборщик логов, используемый в Ozon. А также о том, как c помощью этого инструмента сократили издержки на сбор логов в 10 раз по CPU и добились 100% доставляемости логов. Затронуты следующие темы: * как организована общая архитектура сборщика логов; * как написать быстрый плагин для чтения логов из файлов; * как оптимизировать внутреннюю обработку потока логов; * как правильно распараллелить обработку; * как гарантировать доставку. Ссылка на презентацию из доклада: Сайт конференции — Сайт Spectr — Организатор конференции — Spectr () Организационный партнер — Тэглайн () Официальный сайт конференции — Официальный канал конференции — Нанять команду Spectr — #udweek #udw #ural_digital_weekend #digital #tagline #тэглайн #spectr #digitalspectr #мероприятие #golang #dev #go #backend 00:00 Спикер о себе, компании и теме доклада 02:09 Что такое сборщик логов. Требования к сборщику 04:37 Почему в Ozon решили сделать свое решение. 07:05 Производительность — какой результат? 07:44 Примеры кода 09:50 Архитектура — общая схема. Плагины 11:24 Pipeline — что это? 12:15 Как Pipeline выглядит внутри. Event Pool 19:10 Как Pipeline выглядит внутри. Streams 20:33 Как Pipeline выглядит внутри. Processors 21:34 Гарантия доставки 23:32 Боремся с дубликатами 24:34 Чтение из файлов 30:25 Какие есть плюсы и минусы у решения Ozon. 32:20 Анонс на будущее 34:48 Вопросы из зала