Ny Transformer-arkitektur introducerar kontextualisering

Vad har hänt

En ny arkitektur, "Context-Ready Transformer", har introducerats. Denna arkitektur skiljer sig från standard Transformers genom att pre-kontextualisera varje token via ett korrigeringsnätverk. Korrigeringsnätverket kombinerar den tidigare positionens utdata – en summering av tidigare kontext – med den nuvarande token-inbäddningen. Detta innebär att varje token kommer in i Transformer-blocket redan kontextualiserad istället för som en rå inbäddning.

Varför det spelar roll

Denna arkitektur omvandlar Transformer-modellen till ett rekurrent neuralt nätverk vid sekventiell inferens genom korrigeringskedjan. Under träning kan korrigeringsprocessen rullas ut flera gånger över hela sekvensen, vilket möjliggör parallell bearbetning av alla positioner vid varje steg. Befintliga Transformer-modeller kan även konverteras till denna nya arkitektur genom att lägga till ett nollställt korrigerings-FFN och sedan finjusteras.

Vem påverkas

Forskare och utvecklare inom naturlig språkbehandling (NLP) som arbetar med Transformer-modeller och rekurrenta neurala nätverk påverkas. Specifikt kan de som sysslar med effektivare inferens och anpassning av existerande modeller finna denna forskning relevant.

EU-status

Ej relevant för EU-status.

Mer att veta

Den presenterade arkitekturen har utvärderats avseende bredd, djup, blockstorlekar samt på två datamängder, med jämförelser mot standard Transformers och varianter. Forskningen fokuserar på den teoretiska och experimentella grunden för arkitekturen.