Иван Клименко — CDC от источника до хранилища: как в банке Синара построили CDC с применением продуктов Arenadata

Ближайшая конференция SmartData: #SmartData #DataEngineering #IT #conference #jugrugroup Change Data Capture от популярных источников (Oracle, PostreSQL) с применением Debezium, построенном на Kafka Connect, трансформациями в Apache NiFi и сохранением в начальный слой хранилища Greenplum. Почему именно CDC, а не прямые выгрузки? Обсудим сложности при внедрении, связанные с информационной безопасностью и нагрузкой на транспортные системы, варианты решений по трансформациям и доставке данных до хранилища, варианты разбора данных на хранилище до stage-слоя. Будет интересно архитекторам хранилищ данных, разработчикам интеграционных решений. Демонстрация — на продуктах Arenadata: ADS — Kafka, Kafka Connect, NiFi и ADB — Arenadata Database. Скачать презентацию с сайта —