Владимир Верстов: DSL для ETL в DMP или чего нам не хватило в Airflow или другом готовом решении?
Data Fest Online 2020
SysML track
В open source мире существует множество инструментов для запуска, шедулинга и управления ETL процессами: Airflow, Luigi, Metaflow, ... Все они сосредоточены на описании зависимостей между тасками и графами, но не на том, что непосредственно происходит с данными внутри этих тасков и графов. Мы пошли от обратного и прежде всего выделили основные сущности любого ETL процесса: это таблицы и таски, которые читают данные, их преобразуют и прогружают в таблицы. Мы разработали свой DSL на python для единообразного описания таблиц в YT (in-house аналог Hadoop, Greenplum и ClickHouse) и тасков для MapReduce, Spark, разных SQL-диалектов (3 штуки) и голого python.
В докладе я расскажу:
- почему мы решили писать свой “велосипед“
- что находится “под капотом“ нашего ETL фреймворка
- некоторые особенности ETL процессов в DMP Такси, Еды и Лавки, которые ежеминутно, ежечасно и ежедневно трудятся во благо аналитики и управленческой отчетности
Посмотреть эфир и список треков и организаторов:
Зарегистрироваться на фест и получить доступ к трекам:
Вступить в сообщество:
Соцсети Data Fest:
19 views
145
29
1 week ago 00:01:40 10
💡 Отпугиватель для крыс и мышей купить в СПб ⚠ Отпугиватель крыс где купить ☑
2 weeks ago 01:18:47 29
Декабрьское заседание краеведов 2024
2 weeks ago 00:01:18 26
Пьяная дама не смогла объехать бетонный столб
2 weeks ago 00:00:53 1
Утро в Ханты-Мансийске началось бодро
3 weeks ago 00:00:40 618
Видео от 5 вёрст Владимир Центральный парк
3 weeks ago 00:01:59 2
5 Вёрст Центральный Парк г.Владимира
4 weeks ago 00:19:56 5.1K
Елена Дробышева в военной драме “Встреча перед разлукой“ (1985)
4 weeks ago 00:08:33 553
Забор из профлиста \ Бетонируем столбы \ Сварка проф трубы \ Грунтовка 3 в 1 \ Монтаж профлиста (май 2020)
4 weeks ago 00:01:40 6
⭐ Прибор от тараканов купить в Томске 🔥 Отпугиватель грызунов ультразвуковой своими руками схемы
4 weeks ago 00:13:53 48.1K
Красноярские Столбы: скалы подобные титанам, загадки сибирской природы
1 month ago 00:02:57 13
Не смотри на то, что отзвенели, отшумели вешние деньки ...
1 month ago 00:01:00 9
Наш КОТоЛЁТ разбился на горе “Кольцо“
1 month ago 00:03:01 17
Троицкий собор, Александро-Свирский монастырь (смартфон, фрагмент будущего фильма)
1 month ago 00:43:42 13
Александро-Свирский монастырь, Лодейное поле и Свирьстрой - день 8-ой Круиза “Северная Венеция“
1 month ago 00:21:44 9
Путешествие на Селигер, часть 2-ая: Монастырь Нило-Столобенская пустынь
1 month ago 00:24:37 15
Селигер, часть 12-ая: На лодке вёсельной по Селигеру. Закат Солнца над Ниловой пустынью.
1 month ago 00:26:09 5
Усьва река, столбы, “Палец Чёрта“ и Друзья Пармы. Пермский край ()
1 month ago 00:13:58 16
СТАРАЯ САРЕПТА, Волгоград - Родина русской горчицы
1 month ago 00:08:59 59
Авто-Путешествие по Алтаю: село Иня, “Цаплинский“ мост, столбы и Ленин на чудо-постаменте
1 month ago 00:01:40 1
Отпугиватель для мышей ультразвуковой 🚫
1 month ago 00:04:05 13
Песня из фильма “Москва-Кассиопея“
1 month ago 00:18:01 91
Летняя кухня\Баня из керамзитного блока\Двухскатная крыша\Кирпичная облицовка столбов (июль 2020)
1 month ago 00:14:31 154
А.П. Чехов “Свидание хотя и состоялось, но...“ (1955)
1 month ago 00:01:40 6
Отпугиватель для насекомых в огороде 🚫 Ультразвуковой отпугиватель грызунов в Томске