slimIPL: Итеративная псевдо-разметка без использования лингвистической модели

Спикер: Татьяна Лихоманенко, Facebook AI Research, Менло-Парк, Калифорния, США. О вебинаре: В последнее время псевдо-разметка для обучения с частичным учителем продемонстрировала свою эффективность для распознавания речи. Было также показано, что итеративная псевдо-разметка (IPL), которая учит непрерывно одну модель с помощью псевдо-разметки, итеративно сгенерированной в течение обучения этой модели, далее улучшает качество распознавания речи. В текущей работе мы улучшили IPL алгоритм: во время обучения модели мы итеративно генерируем транскрипцию для аудио с помощью hard меток (наиболее вероятностный токен) без использования лингвистической модели. Один из ключевых компонентов предложенного алгоритма slimIPL - это динамический кэш для псевдо-разметки, который уменьшает чувствительность к гиперпараметрам псевдо-разметки и стабилизирует обучение. slimIPL очень эффективен и требует меньше вычислительных ресурсов для обучения чем другие state-of-the-art методы. При использовании только 10 часов разм