OpenAI pausar nytt AI-verktyg – anses för farligt för allmänheten

Vad har hänt

OpenAI har presenterat resultaten från småskaliga tester av den nya tekniken Voice Engine, som kan klona en persons röst med endast 15 sekunders ljudmaterial. Trots teknikens framsteg har företaget valt att inte släppa verktyget till allmänheten på grund av betydande säkerhetsrisker. Fokus ligger nu på att förstå farorna med röstförfalskning innan tekniken distribueras bredare.

Varför det spelar roll

Röstkloning innebär stora risker för bedrägerier, identitetsstöld och spridning av falsk information i politiska sammanhang. Genom att avvakta med lanseringen markerar OpenAI vikten av ansvarsfull AI-utveckling framför snabb marknadsetablering. Detta sker i en tid då kapaciteten att skilja på artificiellt och mänskligt tal snabbt eroderar.

Vem påverkas

Beslutet påverkar främst andra AI-utvecklare som följer OpenAI:s säkerhetsstandarder samt potentiella användare. Det har även en direkt koppling till säkerhetsarbetet inför stora demokratiska val där röstkloning kan användas för desinformation.

EU-status

Verktyget omfattas av EU:s kommande AI-förordning (AI Act), som ställer höga krav på transparens och säkerhet för system som kan generera djupt förfalskat innehåll. För närvarande finns inga planer på en lansering i Europa.

Mer att veta

Tekniken bakom Voice Engine utvecklades ursprungligen i slutet av 2023 men har hållits under strikt uppsikt sedan dess. OpenAI har ännu inte satt något datum för när, eller om, en bredare lansering kan ske.