Ny metod minskar beräkningsbehov för diffusions-LLM
Forskare har utvecklat Dynamic-dLLM, en metod som effektiviserar inferensen för diffusions-LLM (dLLM) genom dynamisk allokering av cache-resurser och adaptiv parallell avkodning.
Vad har hänt
En ny forskningspublikation introducerar Dynamic-dLLM, ett ramverk för att påskynda diffusionsbaserade stora språkmodeller (dLLM). Dagens dLLM:er har en beräkningskomplexitet som skalas med kuben av sekvenslängden, L³ (L är sekvenslängden). Detta presenterar hinder för applikationer som kräver långa sekvenser eller operationer i realtid. Dynamic-dLLM är träningsfri och innehåller två huvudkomponenter: Dynamic Cache Updating (DCU) och Adaptive Parallel Decoding (APD).
Snabbfakta
| Publikationsdatum | 26 juni 2026 |
|---|---|
| Beräkningskomplexitet | L³ (kubik av sekvenslängden) |
| Huvudkomponenter | DCU och APD |
| Modelltyp | Diffusionsbaserade stora språkmodeller (dLLM) |
”Diffusion Large Language Models (dLLMs) offer a promising alternative to autoregressive models, excelling in text generation tasks due to their bidirectional attention mechanisms. However, their computational complexity scales on the order of L cubed with the sequence length L.”
Varför det spelar roll
Problemet med befintliga diffusions-LLM:er är deras inkompatibilitet med key-value caching och den icke-autoregressiva naturen hos brusreduceringsstegen, vilket gör dem beräkningsmässigt tunga. Static caching och parallella avkodningsstrategier hanterar inte heller den dynamiska variationen i tokenegenskaper. Dynamic-dLLM adresserar detta genom att anpassa cache-uppdateringar baserat på token-dynamik per lager samt genom adaptiv parallell avkodning, vilket kan förbättra modellens prestanda utan omträning.
Vem påverkas
Utvecklare och forskare inom generativ AI, särskilt de som arbetar med eller utforskar diffusionsmodeller för textgenerering, påverkas. Även företag som använder eller planerar att implementera dLLM i realtidsapplikationer eller för långa textsekvenser kan dra nytta av denna effektivisering.
EU-status
Ej relevant för EU-status.
Mer att veta
Metoden som presenteras är träningsfri, vilket betyder att den kan implementeras på befintliga dLLM:er utan behov av att träna om modellen från grunden.
Snabba svar om den här nyheten
Vad har hänt?
När hände det?
Varför spelar det roll?
Vilka fördelar har Dynamic-dLLM?
Länken öppnar i nytt fönster och leder till utgivarens egen sida.
Källan har spårats automatiskt från utgivaren via Fronts signalkedja.