Studie: Samaband mellan ämnessentiment och upplevd ideologi i nyheter
En ny studie undersöker om ämnessentiment påverkar uppfattningen av politisk ideologi i nyhetsartiklar, genom att jämföra mänskliga bedömare och stora språkmodeller (LLM).
Vad har hänt
Forskare har undersökt om sentimentet kring ett ämne (positivt/negativt) har en kausal effekt på hur en artikels politiska ideologi uppfattas. Studien använder artiklar från AllSides och jämför bedömningar av ideologi gjorda av mänskliga experter, GPT-4o-mini (både baslinje och finjusterad version) samt Llama-3.3-70B. Sentimentanalysen utfördes med Llama-3.3-70b-versatile.
Snabbfakta
| Publikationsdatum | 2026-06-06 |
|---|---|
| Högst klassificeringsnoggrannhet (F1) | 72.48 |
| Använda LLM:er | GPT-4o-mini, Llama-3.3-70B, Llama-3.3-70b-versatile |
| Källa till artiklar | AllSides |
”Fine-tuned GPT-4o-mini achieves the highest classification accuracy (F1=72.48) and is the only annotator paradigm that produces significant community-level treatment effects and significant natural direct effects (NDEs) in mediation.”
”We interpret this as evidence of shortcut learning: fine-tuning on ideology-labeled data causes the model to internalise a spurious sentiment--ideology coupling.”
Varför det spelar roll
Resultaten indikerar att mänskliga bedömare inte uppvisar någon signifikant kausal effekt av ämnessentiment på upplevd ideologi på samhällsnivå. Däremot visade den finjusterade versionen av GPT-4o-mini högst klassificeringsnoggrannhet (F1=72.48) och var den enda som visade signifikanta effekter, vilket tolkas som att modellen lär sig "genvägar" vid finjustering på ideologimärkt data.
Vem påverkas
Studien påverkar forskare inom AI och maskininlärning som arbetar med språkmodeller och sentimentanalys. Vidare berörs medieanalytiker och företag som använder LLM för att klassificera eller analysera politisk information. Användare av AI-system som bidrar till partiskhet eller snedvridna analyser påverkas indirekt.
EU-status
Ej relevant för EU-status.
Mer att veta
Studien belyser en viktig aspekt av hur språkmodeller kan internalisera och förstärka skevheter i träningsdata, vilket är relevant för utvecklingen av mer rättvisa och objektiva AI-system.
Snabba svar om den här nyheten
Vad har hänt?
När hände det?
Varför spelar det roll?
Vilka modeller användes?
Länken öppnar i nytt fönster och leder till utgivarens egen sida.
Källan har spårats automatiskt från utgivaren via Fronts signalkedja.