Transformer, explained in detail | Igor Kotenkov | NLP Lecture (in Russian)

Ссылка на презентацию: !AlnN0aqNwShslRdcd7-WsY9oUm50 Мой телеграм канал: Список всех моих образовательных материалов, статей, лекций итд: В этой вводной лекции о трансформерах мы рассмотрим базовые понятия, алгоритмы и методы, используемые в современных языковых моделях. Мы начнем с базовых знаний о NLP, поговорим про концепцию векторов и эмбеддингов, их смысле. Затем подробно обсудим ткокенизацию и то, почему она столь важна. Мы разберем архитектуру трансформера, включая FeedForward, SelfAttention, CrossAttetntion, а еще постараемся понять роль позиционного кодирования в моедели и разных регуляризаторов и оптимизаций. Мы также подробно рассмотрим декодер и маскированный Attention и процедуру обучения таких моделей. Лекция была прочитана онлайн для сообщества Singularis, и по ходу было сделано 5 пауз для Q&A секиций - вполне возможно, что вопрос, появившийся у вас, будет отвечен в лекции!