ERRATA:
- In slide 23, the indices are incorrect. The index of the key and value should match (j) and theindex of the query should be different (i).
- In slide 25, the diagram illustrating how multi-head self-attention is computed is a slight departure from how it’s usually done (the implementation in the subsequent slide is correct, but these are not quite functionally equivalent). See the slides PDF below for an updates diagram.
In this video, we discuss the self-attention mechanism. A very simple and powerful sequence-to-sequence layer that is at the heart of transformer architectures.
slides:
course website:
Lecturer: Peter Bloem
1 view
399
103
2 months ago 01:22:52 1
Сатсанг “Клеши - стадии неведения“, Свами Вишнудевананда Гири
2 months ago 04:00:46 1
FRANC-MAÇONNERIE : La FIN du SILENCE / Les Témoignages que la Loge Redoute...
2 months ago 01:29:52 1
Питание красноармейцев в годы Великой Отечественной войны. Буранов Никита Романович.
2 months ago 03:17:36 5
Александр I Благословенный (1777-1825) | Курс Владимира Мединского | XIX век
2 months ago 01:01:51 1
Фундаментальные знания древних — Книга о создании вселенной
2 months ago 01:33:10 1
«Триумф в Заполярье: 75-летие Петсамо-Киркенесской операции. Исаев Алексей Валерьевич.
2 months ago 02:01:58 1
De la fraude du nom à la conscience de soi | Les carnets de Jeremiah
2 months ago 00:20:13 1
SATAN LE DIEU CACHÉ DES SUMÉRIENS ET DES ÉGYPTIENS
2 months ago 00:04:16 1
Open Your Energy Gate. The Bubbling Spring. Tao Basics☯️✨
2 months ago 01:16:08 1
Vagus Nerve Hacks: Powerful Techniques to Enhance Health and Well-Being
2 months ago 01:19:27 3
Блистательная победа Паскевича-Эриванского на Кавказе в 1829 году. Перелыгин Сергей Игоревич.
2 months ago 00:09:25 1
Why Do People Become Abusive?
2 months ago 01:44:42 1
Быт и питание русского солдата в Первую Мировую войну. Буранов Никита Романович
2 months ago 00:35:07 1
The Different Types Of Trim Sheets & How They Are Used In Games (Part 1)
2 months ago 01:16:21 1
Кризис мировой системы: какие конфликты нам грозят. Кагарлицкий Борис Юльевич. - YouTube
2 months ago 03:40:12 1
🛑 Durood Shareef | Zikr Allah | Live from Los Angeles w/ Shaykh Nurjan Sufi Meditation Center 101724
2 months ago 00:00:00 1
KUA 2024 (DAY 2) 76th Annual Meeting of The Korean Urological Association ’Online Lecture’
2 months ago 00:44:39 1
From zero to $380M in 2 years | How Nikita Shamgunov built Neon
2 months ago 00:52:25 1
Glenn Gould’s U.S. Television Debut: Bernstein Conducting Bach’s Keyboard Concerto No. 1 in D minor
2 months ago 01:15:49 1
Серия 2. Александр I (часть 2). “Государь всея Европы“ (1804-1815)
2 months ago 01:07:12 1
Серия 8. Неизвестный Грибоедов – гусар, дуэлянт, дипломат
2 months ago 00:31:08 5
L-07. Sand Production Prediction
2 months ago 00:01:29 1
Taikonauts teach class on water buoyancy in absence of gravity
2 months ago 01:42:23 1
Актеры-фронтовики. Неизвестное об известных. Разин Сергей Андреевич.