Sentence-level pretraining – Борис Зубарев

Борис Зубарев рассказывает о том, как ему удалось повысить f1 на 7 пунктов в многоклассовой классификации на 5-ти тысячах размеченных примерах за счет использования предтренировки и чего-то среднего между аугментациями и proxy labelling. Как и многие, он не может использовать большие модели типа BERT для инференса, примеров мало и tf-idf логистическая регрессия выглядит довольно неплохим вариантом, пока не добыты еще данные. Но когда важны метрики прямо сейчас, можно найти выход получше, особенно если есть неразмеченные данные, итоговая модель evolved transformer inception и она влезла в 20 мс инференса на CPU. Секция NLP Moscow Data Science Major Презентации – Соц сети серии мероприятий Data Fest: