DuoAttention : эффективный метод для работы с длинными контекстами в LLM
DuoAttention : эффективный метод для работы с длинными контекстами в LLM.
DuoAttention - метод, который решает проблему LLM при работе с длинными текстами. Эта неэффективность проявляется в большом потреблении памяти и замедлении работы модели. DuoAttention позволяет сократить использование памяти и ускорить обработку длинных текстов без ущерба для точности модели.
Он основан на разделении attention heads в LLM на два типа: «Retrieval Heads» и «Streaming Heads»:
Retrieval Heads - это небольшая часть attention heads, критически важная для обработки длинных контекстов, которым требуется полное внимание ко всем токенам.
Streaming Heads, напротив, составляют большинство attention heads и фокусируются преимущественно на последних токенах и так называемых “точках притяжения“ внимания (attention sinks).
DuoAttention использует эту дихотомию, применяя полный KV-кэш только к Retrieval Heads, а для Streaming Heads использует облегченный KV-кэш постоянной длины, который хранит только “точки притяжения“ и последние токены.
Проведенные эксперименты показывают, что DuoAttention может снижать использование памяти до 2,55 раз для моделей MHA и 1,67 для моделей GQA, а также ускоряет декодирование в 2,18 раз для моделей MHA и 1,50 для моделей GQA.
В сочетании с квантованием DuoAttention позволяет модели Llama-3-8B декодировать текст с длиной контекста 3,3 млн. токенов на одном GPU A100, это примерно 6,4-кратное увеличение емкости по сравнению со стандартным развертыванием FP16 с полным вниманием.
Модели, которые поддерживают инференс с
1 view
16
5
3 weeks ago 00:01:00 1
DuoAttention : эффективный метод для работы с длинными контекстами в LLM
4 weeks ago 00:05:26 1
FCL - It’s You (Alex Wann Remix)
4 weeks ago 00:05:16 1
FCL - It’s You (Red D & Lady Linn Live Mix)
1 month ago 00:54:30 1
Сборник красивой музыки души на скрипке и пианино...Beautiful soul music on violin and piano.
1 month ago 00:13:54 16
Russia’s Next NHL Superstar | The Best Of Matvei Michkov | Hockey Highlights | HD
1 month ago 00:02:57 1
Bassjackers & Wasback - Set Me Free (Visualizer)
1 month ago 00:04:17 1
Vincent (Starry, Starry Night) - MonaLisa Twins (Don McLean Cover) // MLT Club Duo Session
1 month ago 00:02:29 1
Outmatched at the Strip Club - Key & Peele
2 months ago 00:01:38 1
Terminator 7: Final War - Teaser Trailer Arnold Schwarzenegger, Linda Hamilton
2 months ago 00:04:07 1
VAV - Give me more (Un Poco Mas) (Feat. De La Ghetto & Play-N-Skillz) MV
2 months ago 00:01:32 154
[KH Studio] FAST X: Part 2 (2025) - First Trailer | Paul William Walker, Vin Diesel
2 months ago 00:02:17 9
The Everly Brothers - Bye Bye Love - Platengala 1984 • TopPop
2 months ago 00:02:31 2
The Everly Brothers - On The Wings Of A Nightingale - Platengala 1984 - 13-10-1984 • TopPop
2 months ago 00:02:01 3
The Everly Brothers - Wake Up Little Susie • TopPop
2 months ago 00:02:23 10
Billy Joel & The Hassles - You’ve Got Me Hummin’ - Vjoew 13-05-1968 - Toppop
2 months ago 00:03:30 12
The Everly Brothers - All I Have To Do Is Dream - Live in 1984! • TopPop
2 months ago 00:04:36 26
The Everly Brothers - Lucille - Live in 1984 • TopPop
2 months ago 00:02:34 22
The Everly Brothers - On The Wings Of A Nightingale - Live in 1984 • TopPop
2 months ago 00:25:05 51
The Everly Brothers - Live concert 1984 • TopPop
2 months ago 00:02:59 22
The Everly Brothers - Bye Bye Love - Live in 1984 • TopPop
2 months ago 00:02:01 38
The Everly Brothers - Wake Up Little Susie - Live in 1984 • TopPop
2 months ago 00:03:00 8
The Everly Brothers - You Make It Seem So Easy - Platengala (1984-10-13) • TopPop
2 months ago 00:03:29 8
The Everly Brothers - Walk Right Back - Live in 1984! • TopPop
2 months ago 00:02:29 15
The Everly Brothers - Cathy’s Clown - Live in 1984 • TopPop