Безносов Николай - MLOps в билайн: как катить машинное обучение в production без ML-инженеров

Расскажу о том, как были устроены наши процессы и инфраструктура, когда команда была небольшой. Какие при этом были проблемы. И что мы поменяли, чтобы сделать наш процесс вывода ML решений в production эффективнее. Отдельный акцент будет сделан на масштабировании процессов и инфраструктуры на большое количество команд в условиях Agile разработки, на том, как адаптировать некоторые знакомые всем Open Source инструменты под корпоративные стандарты безопасности, а также на важности простых вещей - понятных процессов, документации, коммуникаций с пользователями, а не одной лишь инфраструктуры. Наш стек – Hadoop, Spark, S3, K8S, JupyterHub, MLFlow, Airflow, Argo, Docker, Cookiecutter, Great Expectations и т.д.