DuoAttention : эффективный метод для работы с длинными контекстами в LLM
DuoAttention : эффективный метод для работы с длинными контекстами в LLM.
DuoAttention - метод, который решает проблему LLM при работе с длинными текстами. Эта неэффективность проявляется в большом потреблении памяти и замедлении работы модели. DuoAttention позволяет сократить использование памяти и ускорить обработку длинных текстов без ущерба для точности модели.
Он основан на разделении attention heads в LLM на два типа: «Retrieval Heads» и «Streaming Heads»:
Retrieval Heads - это небольшая часть attention heads, критически важная для обработки длинных контекстов, которым требуется полное внимание ко всем токенам.
Streaming Heads, напротив, составляют большинство attention heads и фокусируются преимущественно на последних токенах и так называемых “точках притяжения“ внимания (attention sinks).
DuoAttention использует эту дихотомию, применяя полный KV-кэш только к Retrieval Heads, а для Streaming Heads использует облегченный KV-кэш постоянной длины, который хранит только “точки притяжения“ и последние токены.
Проведенные эксперименты показывают, что DuoAttention может снижать использование памяти до 2,55 раз для моделей MHA и 1,67 для моделей GQA, а также ускоряет декодирование в 2,18 раз для моделей MHA и 1,50 для моделей GQA.
В сочетании с квантованием DuoAttention позволяет модели Llama-3-8B декодировать текст с длиной контекста 3,3 млн. токенов на одном GPU A100, это примерно 6,4-кратное увеличение емкости по сравнению со стандартным развертыванием FP16 с полным вниманием.
Модели, которые поддерживают инференс с
1 view
16
5
4 days ago 00:01:00 1
DuoAttention : эффективный метод для работы с длинными контекстами в LLM
1 week ago 00:05:26 1
FCL - It’s You (Alex Wann Remix)
1 week ago 00:05:16 1
FCL - It’s You (Red D & Lady Linn Live Mix)
2 weeks ago 00:54:30 1
Сборник красивой музыки души на скрипке и пианино...Beautiful soul music on violin and piano.
3 weeks ago 00:13:54 12
Russia’s Next NHL Superstar | The Best Of Matvei Michkov | Hockey Highlights | HD
3 weeks ago 00:02:57 1
Bassjackers & Wasback - Set Me Free (Visualizer)
3 weeks ago 00:04:17 1
Vincent (Starry, Starry Night) - MonaLisa Twins (Don McLean Cover) // MLT Club Duo Session
3 weeks ago 00:02:29 1
Outmatched at the Strip Club - Key & Peele
1 month ago 00:01:38 1
Terminator 7: Final War - Teaser Trailer Arnold Schwarzenegger, Linda Hamilton
1 month ago 00:04:07 1
VAV - Give me more (Un Poco Mas) (Feat. De La Ghetto & Play-N-Skillz) MV
2 months ago 00:01:32 77
[KH Studio] FAST X: Part 2 (2025) - First Trailer | Paul William Walker, Vin Diesel
2 months ago 00:02:17 8
The Everly Brothers - Bye Bye Love - Platengala 1984 • TopPop
2 months ago 00:02:31 2
The Everly Brothers - On The Wings Of A Nightingale - Platengala 1984 - 13-10-1984 • TopPop
2 months ago 00:02:01 2
The Everly Brothers - Wake Up Little Susie • TopPop
2 months ago 00:02:23 6
Billy Joel & The Hassles - You’ve Got Me Hummin’ - Vjoew 13-05-1968 - Toppop
2 months ago 00:02:59 17
The Everly Brothers - Bye Bye Love - Live in 1984 • TopPop
2 months ago 00:02:34 20
The Everly Brothers - On The Wings Of A Nightingale - Live in 1984 • TopPop
2 months ago 00:03:30 10
The Everly Brothers - All I Have To Do Is Dream - Live in 1984! • TopPop
2 months ago 00:25:05 44
The Everly Brothers - Live concert 1984 • TopPop
2 months ago 00:04:36 23
The Everly Brothers - Lucille - Live in 1984 • TopPop
2 months ago 00:02:01 35
The Everly Brothers - Wake Up Little Susie - Live in 1984 • TopPop
2 months ago 00:03:00 7
The Everly Brothers - You Make It Seem So Easy - Platengala (1984-10-13) • TopPop
2 months ago 00:03:29 4
The Everly Brothers - Walk Right Back - Live in 1984! • TopPop
2 months ago 00:02:29 12
The Everly Brothers - Cathy’s Clown - Live in 1984 • TopPop