Weight Squeezing: наш новый подход для компрессии моделей / Никита Балаганский

VK Lab Talks, 18 февраля 2021. Последний год мы работали над очень крупной статьёй о компрессии больших NLP-моделей. Наконец рассказываем о результатах исследования 💣 Никита Балаганский — студент четвёртого курса бакалавриата ФПМИ. В Лаборатории он уменьшает модели NLP: например, использует технику дистилляции знаний, когда модель-«учитель» передаёт знания «ученику». На семинаре Никита рассказал, как работает наш новый метод, и поделился итогами экспериментов, которые мы проводили.