MIT : Recurrent Neural Networks, Transformers, and Attention
MIT Introduction to Deep Learning : Lecture 2
Recurrent Neural Networks
Lecturer: Ava Amini
2023 Edition
For all lectures, slides, and lab materials:
Lecture Outline
0:00 - Introduction
3:07 - Sequence modeling
5:09 - Neurons with recurrence
12:05 - Recurrent neural networks
13:47 - RNN intuition
15:03 - Unfolding RNNs
18:57 - RNNs from scratch
21:50 - Design criteria for sequential modeling
23:45 - Word prediction example
29:57 - Backpropagation through time
32:25 - Gradient issues
37:03 - Long short term memory (LSTM)
39:50 - RNN applications
44:50 - Attention fundamentals
48:10 - Intuition of attention
50:30 - Attention and search relationship
52:40 - Learning attention with neural networks
58:16 - Scaling attention and applications
1:02:02 - Summary
Subscribe to stay up to date with new deep learning lectures at MIT, or follow us @MITDeepLearning on Twitter and Instagram to stay fully-connected!!
1 view
499
100
5 years ago 00:07:41 9
Goldtröpfchenkuchen mit Birnen/ Tränenkuchen mit Birnen/ Пирог “Слёзы Ангела“
5 years ago 00:19:35 77
#RucksackRieke nähen mit kostenlosem Schnittmuster
6 years ago 00:16:03 22
Rucksack nähen mit Schnittmuster
4 years ago 00:02:10 15
Martinsfeier mit Laternenumzug in Mariazell
10 years ago 00:09:36 49
Stricken mit eliZZZa * Strickmuster “CrissCross“ reversi mit verkreuzten Hebemaschen
4 years ago 00:06:44 113
Karabinertuch nähen mit Ösen - DIY Eule
6 years ago 00:04:43 20
Ösen einschlagen - mit Anna von einfach nähen (mit Outtake)
5 years ago 00:06:45 49
Aprikosen-Hefekuchen mit Streuseln /абрикосовый пирог
6 years ago 00:02:11 1.1K
Endlosbündchenstreifen mit der Overlockmaschine schneiden
5 years ago 00:10:56 137
Ösen Patches Annähen - Nähen mit Einfach Spitze
5 years ago 00:12:56 39
Rainbow mit einem Noob | Rainbow Six Siege
12 years ago 00:05:03 55
MIT Gangnam Style (MIT 강남스타일)
6 years ago 00:16:25 164
#BauchtascheBabsi Sommer-Edition mit Flaschenhalter und Rückfach nähen
4 years ago 00:16:26 18
#RolltopRonja nähen – robuster Rolltop-Rucksack mit Reißverschluss
6 years ago 00:11:33 69
“Tunnelzugeingang mit Ösen oder Knopfloch“ DIY Näh-Tutorial
4 years ago 00:01:04 30
MIT Autonomous Bicycle Project
6 years ago 00:27:26 61
Anleitung Kosmetiktasche nähen - mit Fächern, zum Aufhängen und Zusammenfalten
4 years ago 00:06:41 33
Karte mit Teelicht mit stampin up
4 years ago 00:21:29 26
Laptop Rucksack nähen #OilskinOlli nähen mit kostenlosem Schnittmuster
4 years ago 00:01:56 215
Minecraft mit RTX | Blocktoberfest
5 years ago 00:18:37 64
Nähanleitung Pullover mit Schalkragen/ Wickelkragen - schnell und perfekt genäht!
6 years ago 00:35:38 113
Eine Kapuzen-Sweatjacke nähen - mit Tasche und Reißverschluss
8 years ago 00:09:23 222
Häkeln: Granny Square Spirale * Granny Square mit Ringelpietz