Eduard Gorbunov - “MARINA: Faster Non-Convex Distributed Learning with Compression“ | MoCCA’20
The talk “MARINA: Faster Non-Convex Distributed Learning with Compression“ by Eduard Gorbunov on the Moscow Conference on Combinatorics and Applications at MIPT.
Annotation:
We develop and analyze MARINA: a new communication efficient method for non-convex distributed learning over heterogeneous datasets. MARINA employs a novel communication compression strategy based on the compression of gradient differences which is reminiscent of but different from the strategy employed in the DIANA method of Mishchenko et al (2019). Unlike virtually all competing distributed first-order methods, including DIANA, ours is based on a carefully designed biased gradient estimator, which is the key to its superior theoretical and practical performance. To the best of our knowledge, the communication complexity bounds we prove for MARINA are strictly superior to those of all previous first order methods. Further, we develop and analyze two variants of MARINA: VR-MARINA and PP-MARINA. The first method is desi
1 view
2901
997
2 months ago 00:03:47 1
SLAVA KAMINSKA - Slava Bogu | Official video
3 months ago 00:03:23 1
Шулер / The Cardsharp. Трейлер. StarMedia. Криминальная Драма
4 months ago 00:03:39 1
Basiaga (Премьера клипа 2020)
5 months ago 00:38:47 2
“Двойная жизнь“ документальный фильм о современном театре мюзикла “Эндорфин“
5 months ago 00:00:43 1
Тохтахунов (Тайванчик) о дружбе с Софией Ротару
6 months ago 00:05:51 1
Новиков о том, как избил депутата Госдумы
7 months ago 01:26:13 16
Отчетный концерт Детской музыкальной школы им. Н.С. Голованова
7 months ago 00:04:04 1
Мотор-Роллер - Какими нас запомнят (рок-мюзикл “Три дома окнами во двор“)
8 months ago 00:02:34 1
324 полк Чечня 1996г
8 months ago 00:04:42 1
МОТОР-РОЛЛЕР - Такой страны больше нет (рок-мюзикл “Три дома окнами во двор“)
9 months ago 00:02:43 1
Черномырдин: Когда Югославию стали бомбить, Милошевич попросился в состав России
9 months ago 00:09:08 12
Белые Медведи – Омские Ястребы | МХЛ Обзор Кубка Харламова 2024 | Матч №1 | 1/4 финала
9 months ago 01:07:33 1
Ненависть (1977)
10 months ago 00:02:13 1
Калугин о том, благодаря чему Путин до сих пор держится на плаву
10 months ago 01:35:57 1
СТУДЕНТЫ МГУ ПОПАЛИ В КЛАССИЧЕСКИЙ ЛЮБОВНЫЙ КВАДРАТ! Мы умрем вместе. ВСЕ СЕРИИ. Мелодрама
10 months ago 01:59:52 1
Группа «Артерия», Концерт-презентация альбома ZNAKИ в клубе «Театръ» .
10 months ago 00:04:45 1
Мотор-Роллер - Песня про советское детство (рок-мюзикл “Три дома окнами во двор“)
10 months ago 01:47:56 1
Светлана Сурганова и Театр Дождей. Концерт ко Дню снятия блокады Ленинграда. Часть 2
10 months ago 00:05:20 7
МОТОР-РОЛЛЕР - Первые цветы (рок-мюзикл “Три дома окнами во двор“)
11 months ago 00:04:53 1
МОТОР-РОЛЛЕР - Три кита (рок-мюзикл “Три дома окнами во двор“)
11 months ago 03:34:02 94
Амурский правовой форум “Мировая юстиция: время новых возможностей“ (, г. Благовещенск)
11 months ago 00:02:49 1
МОТОР-РОЛЛЕР - Опоздавший герой рок-н-ролла (рок-мюзикл “Три дома окнами во двор“)
11 months ago 00:03:32 1
МОТОР-РОЛЛЕР - Разговор с собой сквозь время (рок-мюзикл “Три дома окнами во двор“)