Anthropic hejdar ny AI-modell – för bra på att hacka programvara

Vad har hänt

AI-bolaget Anthropic har valt att begränsa lanseringen av sin nya kraftfulla modell, Claude Mythos, efter att interna tester visat på oroväckande förmågor. Modellen presterar bättre än de flesta människor på att identifiera och utnyttja sårbarheter i programvara. Företaget väljer därför en stegvis utrullning för att minimera riskerna för storskaliga cyberattacker.

Varför det spelar roll

När AI-modeller överträffar mänsklig expertis inom cyberattacker ökar risken för automatiserade och sofistikerade hackningsförsök radikalt. Att Anthropic själva bromsar releasen markerar ett skifte mot större fokus på 'AI safety' framför snabb marknadsexpansion, vilket ses som en seger för förespråkare av striktare reglering.

Vem påverkas

Beslutet påverkar främst säkerhetsforskare och utvecklare som får vänta på full tillgång till modellen. På lång sikt berörs alla internetanvändare då målet är att förhindra att AI används som ett verktyg för cyberkriminalitet.

EU-status

EU-kommissionens AI-kontor välkomnar Anthropics beslut som ett ansvarsfullt steg helt i linje med de säkerhetsprinciper som etableras genom EU:s nya AI-förordning (AI Act).

Mer att veta

Anthropic har tidigare visat en försiktig inställning till EU-marknaden på grund av regulatorisk osäkerhet, men detta samarbete tyder på en förbättrad dialog med europeiska myndigheter.