Meta lanserar Llama 3: Kraftfullaste öppen källkods-modellen
Meta har släppt Llama 3, nästa generation av sina stora språkmodeller med öppen källkod. De nya modellerna på 8B och 70B parametrar sätter nya prestandarekord.

Vad har hänt
Meta har lanserat Llama 3, uppföljaren till sin serie av stora språkmodeller (LLM) med öppen källkod. Initialt kommer två versioner med 8 miljarder och 70 miljarder parametrar. En större modell med över 400 miljarder parametrar är under träning. Llama 3 tränades på 24K GPU-kluster och använde 15 biljoner tokens data, vilket är sju gånger mer data än Llama 2:s träningsmängd.
Snabbfakta
| Lanseringsdatum | 19 april 2024 |
|---|---|
| Modellstorlekar | 8B och 70B parametrar (initialt) |
| Träningsdata | 15 biljoner tokner (7x Llama 2) |
| GPU-kluster | 24K GPU:er |
| Största modell (under utveckling) | Över 400B parametrar |
”Meta官方博客写道,“得益于预训练和后训练的改进,我们的预训练和指令微调模型是目前 8B 和 70B 参数尺度下最好的模型。””
Varför det spelar roll
Llama 3 strävar efter att erbjuda den mest kraftfulla öppna källkodsmodellen på marknaden. Målet är att driva innovation och konkurrens inom AI-området genom att tillgängliggöra avancerad teknologi för utvecklare och forskare. Metas satsning på omfattande träningsdata och förbättrad arkitektur syftar till att leverera toppmodern prestanda för en mängd olika tillämpningar.
Vem påverkas
Llama 3 riktar sig främst till utvecklare, forskare och företag som bygger AI-applikationer. De som dra nytta av modeller med öppen källkod för att undvika inlåsningseffekter eller för att anpassa modeller lokalt kommer att påverkas. Användare av AI-verktyg som bygger på Llama-modellerna kan förvänta sig förbättrad prestanda och nya funktioner i framtiden.
EU-status
Llama 3 är tillgänglig globalt som en öppen källkodsmodell. Tillgängligheten i EU innebär att europeiska utvecklare och företag kan använda och anpassa tekniken. Eventuella framtida EU-regleringar, som AI Act, kan påverka hur modellen används och implementeras inom unionen, särskilt gällande transparens och säkerhet.
Mer att veta
Den större modellen med över 400 miljarder parametrar kommer att vara multimodell med kapacitet att hantera olika datatyper, samt ha ett kontextfönster på 128K tokens.
Snabba svar om den här nyheten
Vad har hänt?
När hände det?
Varför spelar det roll?
Påverkar det EU?
Länken öppnar i nytt fönster och leder till utgivarens egen sida.
Källan har spårats automatiskt från utgivaren via Fronts signalkedja.