Mistral har gjort de tränade vikterna för Large 4 tillgängliga för nedladdning, så att organisationer kan köra modellen själva, men lanseringen gör inte AI i framkant billig, helt transparent eller riskfri.
Så blev vikterna tillgängliga
Lanseringen skedde i två steg. Den 6 oktober öppnade Mistral en offentlig förhandsversion via sitt API och meddelade att vikterna skulle släppas före månadens slut. Företaget höll tillbaka den nedladdningsbara versionen medan det testade modellen tillsammans med cybersäkerhetsföretag, myndigheter och andra samarbetspartner. Den 29 oktober publicerade företaget en förbättrad version och uppgav att ytterligare tre veckors förstärkningsinlärning och användarfeedback hade förbättrat modellens förmåga inom programmering och defensiv cybersäkerhet. Det här är Mistrals påståenden, inte någon garanti för att resultaten gäller för alla organisationers uppgifter.
Vad öppna modellvikter låter användare göra
Öppna modellvikter är de numeriska värden som en modell lär sig under träningen. Utvecklare kan använda dem för att köra Large 4 utan att skicka varje förfrågan till Mistral. Modellen tar emot text och bilder och kan hantera upp till en miljon token i sitt kontextfönster. Konstruktionen innebär att bara en del av nätverket används för varje token. I Mistrals dokumentation anges 1,05 biljoner parametrar totalt och 52 miljarder aktiva parametrar; Hugging Face anger 49 miljarder aktiva parametrar, utan att räkna in inbäddningar och utgångslager. Organisationer kan köra modellen på sina egna system, behålla känsliga promptar på plats och sätta driftsättningsregler som passar deras behov.
Lanseringen innehåller inte allt som krävs för att återskapa modellen från grunden. Mistral publicerade en sammanfattning av träningsinnehållet, men inte de fullständiga träningsdata och hela träningsprocessen. Licensen sätter också gränser: Hugging Face beskriver den som baserad på MIT-licensen, men med krav på en separat kommersiell licens för tjänster där modellen erbjuds som en tjänst. Att köra modellen på egna servrar innebär inte att en organisation fritt kan sälja en konkurrerande, värdbaserad modell.
Varför det krävs omfattande hårdvara för att köra modellen
Det totala antalet parametrar säger inte allt om hårdvarubehoven. Large 4 använder färre parametrar för varje beräkning än en modell som använder alla sina parametrar varje gång, men den större samlingen experter behöver ändå finnas tillgänglig på hårdvaran. Med en byte per parameter skulle det krävas cirka 1,05 terabyte för att lagra 1,05 biljoner parametrar, utöver det extra minne som behövs för att köra systemet. Mistral och Hugging Face listar också en version med lägre precision, NVFP4, som minskar lagringsbehovet för vikterna avsevärt. Oavsett vilket kräver modellen många sammankopplade servrar, inte en vanlig stationär dator. Mistral uppger att företaget tränade Large 4 på 3 800 Nvidia Grace Blackwell-GPU:er i sina europeiska datacenter; det beskriver träningsresurserna, inte vad som krävs för inferens.
Kontroll medför cyberrisker
Mistral framställer modellen som ett alternativ till slutna AI-tjänster, där en leverantör kontrollerar åtkomst, regler och infrastruktur, och till kraftfulla modeller med öppna vikter från Kina. Argumentet för oberoende är särskilt starkt inom cybersäkerhet: säkerhetsteam kan behöva undersöka en sårbarhet eller hantera en incident även när en värdbaserad tjänsts säkerhetsfilter blockerar förfrågan. Mistral uppger att lokal drift kan hålla data inom organisationen och förhindra att en leverantör stänger av åtkomsten. Lanseringen kan också stärka Mistrals profil och locka kunder till företagets API och verktyg för företag. Användarna får viss kontroll, samtidigt som Mistral förblir en kommersiell leverantör.
Samma verktyg som hjälper försvarare att återskapa och åtgärda sårbarheter i programvara kan också hjälpa angripare att förstå dem. Mistral uppgav att testerna av förhandsversionen visade att modellen vägrade medverka till angrepp mot aktiva mål, men medgav att den ändå kan öka förmågan att genomföra verkliga angrepp. Skyddsåtgärder följer med de nedladdade vikterna, men senare ändringar av Mistrals hanterade API uppdaterar inte automatiskt redan nedladdade kopior. Organisationer som kör sådana kopior måste själva hantera övervakning, åtkomstkontroller och uppdateringar.
Vad organisationer behöver testa härnäst
Företag och myndigheter behöver testa om Large 4:s rapporterade prestanda inom programmering och cyberförsvar håller för deras egna arbetsuppgifter, och om de har råd med hårdvaran och personalen som krävs för att köra modellen. Mistral uppger att företaget kommer att fortsätta justera skyddsåtgärderna för sitt API och framtida versioner; de som ansvarar för driften behöver uppdatera nedladdade kopior separat. Det som visar om lanseringen sprider AI-makten är inte hur många som laddar ner modellen, utan hur många som kan använda den säkert och till en överkomlig kostnad. Organisationer som inte klarar det kan fortfarande vara beroende av en molnleverantör, även när vikterna finns tillgängliga.