Svaghet i AI-logik: Modeller ändrar svar beroende på ordningsföljd

Vad har hänt

Ett nytt benchmark-test visar att stora språkmodeller (LLM) lider av omfattande 'position bias', vilket innebär att de ändrar sitt utlåtande beroende på i vilken ordning information presenteras. I testet jämfördes två snarlika versioner av samma berättelse två gånger med skiftad ordningsföljd. Medianmodellen ändrade sitt beslut i 45 procent av fallen, vilket tyder på en bristande logisk stabilitet.

Varför det spelar roll

Att AI-modeller uppvisar inkonsekvens vid enkla ordningsskiften ifrågasätter deras förmåga att agera objektiva bedömare. Om en modell ger olika svar på samma fråga beroende på vilket alternativ som nämns först, minskar dess värde för kritiska affärsbeslut. Resultatet att toppmodeller som GPT-4.5 presterar sämre än genomsnittet understryker att ökad skalning inte automatiskt löser fundamentala logiska brister.

Vem påverkas

Detta påverkar primärt utvecklare som använder AI för automatiskt beslutsfattande, juridisk granskning eller innehållsmoderering. Även slutanvändare som förlitar sig på AI för att jämföra alternativ eller utvärdera texter riskerar att få godtyckliga svar baserat på formatering snarare än innehåll.

EU-status

Resultaten belyser vikten av EU:s AI-förordning (AI Act) gällande krav på transparens och tillförlitlighet för stora språkmodeller som används som beslutsstöd. Studien understryker behovet av oberoende granskningar av de modeller som verkar på den europeiska marknaden.

Mer att veta

Studien är baserad på ett nytt benchmark-test delat via forskningscommunityn. Särskilt anmärkningsvärt är att GPT-4.5, trots sin avancerade arkitektur, uppvisade en av de högsta felmarginalerna i testet.