Mistral on julkaissut Large 4:n koulutetut painot ladattaviksi, joten organisaatiot voivat ajaa mallia itse, mutta julkaisu ei tee huipputason tekoälystä halpaa, täysin läpinäkyvää tai riskitöntä.
Miten painot julkaistiin
Julkaisu eteni kahdessa vaiheessa. Lokakuun 6. päivänä Mistral avasi julkisen esiversion API-rajapintansa kautta ja kertoi, että painot julkaistaisiin kuun loppuun mennessä. Ladattava versio pidettiin toistaiseksi poissa julkisuudesta, kun mallia testattiin kyberturvallisuusyritysten, viranomaisten ja muiden kumppaneiden kanssa. Lokakuun 29. päivänä Mistral julkaisi parannetun version ja kertoi, että kolme lisäviikkoa vahvistusoppimista ja käyttäjäpalautetta oli parantanut mallin koodaus- ja puolustuksellisia tietoturvavalmiuksia. Nämä ovat Mistralin väitteitä, eivät takuu siitä, että tulokset pätevät kaikkien organisaatioiden tehtäviin.
Mitä avoimet painot mahdollistavat
Avoimet painot ovat numeerisia arvoja, jotka malli oppii koulutuksen aikana. Kehittäjät voivat käyttää niitä Large 4:n ajamiseen lähettämättä jokaista pyyntöä Mistralille. Malli hyväksyy tekstiä ja kuvia, ja sen kontekstikoko voi olla enintään miljoona tokenia. Mallin rakenteessa käytetään kunkin tokenin käsittelyyn vain osaa verkosta. Mistralin dokumentaation mukaan mallissa on yhteensä 1,05 biljoonaa parametria, joista 52 miljardia on aktiivisia; Hugging Face ilmoittaa aktiivisten parametrien määräksi 49 miljardia, kun upotuksia ja tulostekerroksia ei lasketa mukaan. Organisaatiot voivat ylläpitää mallia omissa järjestelmissään, pitää arkaluonteiset kehotteet omissa tiloissaan ja määrittää käyttöönoton säännöt tarpeidensa mukaan.
Julkaisu ei sisällä kaikkea, mitä mallin luomiseen alusta asti tarvittaisiin. Mistral julkaisi yhteenvedon koulutuksessa käytetystä aineistosta, mutta ei koko koulutusaineistoa tai koulutusprosessia. Myös lisenssi asettaa rajoituksia: Hugging Face kuvailee sitä MIT-lisenssiin perustuvaksi, mutta mallin tarjoaminen palveluna edellyttää erillistä kaupallista lisenssiä. Mallin ylläpito omissa järjestelmissä ei siis tarkoita, että organisaatio voisi vapaasti myydä kilpailevaa mallia isännöitynä palveluna.
Miksi ajaminen vaatii tehokasta laitteistoa
Parametrien biljoonamäärä ei yksin kerro kaikkea laitteistotarpeista. Large 4 käyttää kussakin laskutoimituksessa vähemmän parametreja kuin malli, joka käyttää joka kerta kaikkia parametrejaan, mutta sen laajemman asiantuntijaverkon on silti oltava käytettävissä laitteistossa. Jos yhtä parametria kohti tarvitaan yksi tavu, 1,05 biljoonan parametrin tallentaminen veisi noin 1,05 teratavua, minkä lisäksi järjestelmän ajamiseen tarvitaan lisämuistia. Mistral ja Hugging Face listaavat myös pienemmän tarkkuuden NVFP4-version, joka vähentää painojen vaatimaa tallennustilaa huomattavasti. Kummassakin tapauksessa mallin ajamiseen tarvitaan useita toisiinsa kytkettyjä palvelimia, ei tavallista pöytätietokonetta. Mistral kertoo kouluttaneensa Large 4:n eurooppalaisissa datakeskuksissaan 3 800 Nvidia Grace Blackwell -grafiikkasuorittimella; tämä kuvaa koulutukseen käytettyjä resursseja, ei päättelyn vaatimuksia.
Hallintaan liittyy kyberriskejä
Mistral esittää mallin vaihtoehtona suljetuille tekoälypalveluille, joissa palveluntarjoaja hallitsee käyttöoikeuksia, sääntöjä ja infrastruktuuria, sekä Kiinassa kehitetyille tehokkaille avoimien painojen malleille. Itsenäisyyden tarve korostuu erityisesti kyberturvallisuudessa: tietoturvatiimien on ehkä tutkittava haavoittuvuutta tai reagoitava tietoturvapoikkeamaan silloinkin, kun isännöidyn palvelun turvasuodattimet estävät pyynnön. Mistralin mukaan mallin paikallinen käyttöönotto voi pitää tiedot organisaation sisällä ja estää palveluntarjoajaa katkaisemasta käyttöoikeutta. Julkaisu voi myös kasvattaa Mistralin tunnettuutta ja houkutella asiakkaita sen API-rajapinnan ja yritystyökalujen käyttäjiksi. Käyttäjät saavat lisää hallintaa, mutta Mistral pysyy kaupallisena palveluntarjoajana.
Samat työkalut, jotka auttavat puolustajia toistamaan ohjelmistojen haavoittuvuuksia ja korjaamaan niitä, voivat myös auttaa hyökkääjiä ymmärtämään haavoittuvuuksia. Mistral kertoi esiversion testien osoittaneen, että malli kieltäytyi hyökkäysyrityksistä tosielämän kohteita vastaan, mutta myönsi sen voivan silti lisätä kykyä toteuttaa todellisia hyökkäyksiä. Ladattavien painojen mukana tulevat suojatoimet, mutta Mistralin hallinnoimaan API-rajapintaan myöhemmin tehtävät muutokset eivät päivity automaattisesti jo ladattuihin kopioihin. Näitä kopioita käyttävien organisaatioiden on itse huolehdittava valvonnasta, käyttöoikeuksien hallinnasta ja päivityksistä.
Mitä organisaatioiden on seuraavaksi testattava
Yritysten ja julkisten organisaatioiden on selvitettävä, vastaavatko Large 4:n raportoidut koodaus- ja kyberpuolustusvalmiudet niiden omia tehtäviä sekä onko niillä varaa mallin ajamiseen tarvittavaan laitteistoon ja henkilöstöön. Mistral kertoo jatkavansa API-rajapintansa ja tulevien julkaisujen suojatoimien kehittämistä; ladatut kopiot on päivitettävä erikseen. Julkaisun kyky levittää tekoälyn käyttövaltaa ei selviä lataajamäärästä, vaan siitä, kuinka moni pystyy käyttämään mallia turvallisesti ja kohtuuhintaisesti. Ne organisaatiot, jotka eivät tähän pysty, saattavat edelleen olla riippuvaisia pilvipalveluntarjoajasta, vaikka painot olisivat saatavilla.