Salta al contenuto

IA

Inkling di Mira Murati: 975B parametri, solo 41B al lavoro

Thinking Machines Lab lancia il suo primo modello, Inkling, e regala i pesi. Su 975 miliardi di parametri, la maggior parte schiaccia un pisolino: ne lavorano circa 41 miliardi per compito.

TL;DR

  1. Inkling è open-weight: 975 miliardi di parametri totali, circa 41 miliardi attivi per compito.
  2. Addestrato su 45 trilioni di token tra testo, immagini, audio e video; per ora risponde solo con testo.
  3. Thinking Machines Lab, fondata dall'ex CTO di OpenAI Mira Murati, dice che ragiona su tutte e quattro le modalità.

Cosa è successo

Thinking Machines Lab, la startup fondata dall'ex CTO di OpenAI Mira Murati, ha rilasciato il suo primo modello sviluppato in casa. Si chiama Inkling ed è arrivato un mercoledì mattina.

Il dato che salta all'occhio è la taglia. Sotto il cofano, Inkling usa un'architettura mixture-of-experts da 975 miliardi di parametri totali. Per ogni singolo compito ne sveglia soltanto circa 41 miliardi. È un trucco di progettazione molto diffuso per rendere i modelli giganti più veloci e meno costosi da far girare.

L'azienda dice che Inkling ragiona in modo nativo su testo, immagini, audio e video. Quello che produce, per ora, è più limitato: solo testo, quindi codice, artefatti formattati e dati strutturati. In pratica può ingoiare l'intero buffet sensoriale, ma risponde a colpi di tastiera. Generazione di immagini e suoni? Non ancora in menu.

Il modello arriva anche dopo un lungo periodo di lavoro sull'infrastruttura a basso profilo. Un'anteprima di ricerca di maggio aveva mostrato gli "interaction models": IA fatte per ascoltare e parlare, perfino interrompere, invece di restare ferme ad aspettare come un chatbot qualsiasi. Inkling è la prima prova pubblica di quello sforzo.

Perché conta

I modelli di punta di OpenAI, Anthropic e Google sono chiusi. Inkling è open-weight: sviluppatori e aziende esterne possono scaricarlo e modificarlo direttamente. È tutta un'altra storia rispetto ad affittare un'API sperando che le condizioni restino cordiali.

Una startup ben finanziata e con una fondatrice famosa che sceglie i pesi aperti regala agli sviluppatori un'altra opzione seria in cima alla classifica delle dimensioni. Più scelta significa più pressione su chi fa pagare a token.

Le cautele, perché abbiamo degli standard. Taglia, dati di addestramento e ragionamento multimodale arrivano tutti dai materiali di rilascio dell'azienda. Qui non ci sono benchmark indipendenti, quindi "quanto è bravo?" resta una domanda aperta finché qualcuno non inizia a metterci le mani.

Pesi aperti vuol dire poter ispezionare e modificare la cosa, invece di limitarsi ad affittarla.

Il mixture-of-experts conta anche in pratica. Un modello che usa circa 41 miliardi di parametri per compito è una bestia molto diversa da servire rispetto a uno che li usa tutti e 975 miliardi ogni volta.

Cosa farne

  • Controlla i pesi.Se i modelli li fai girare in casa, trova il rilascio ufficiale e guarda che hardware richiedono i 975 miliardi di parametri prima di entusiasmarti.
  • Provalo sul tuo lavoro.Lancia Inkling sui tuoi prompt, sul tuo codice e sui tuoi documenti reali: le promesse del fornitore non sono il tuo carico di lavoro.
  • Occhio ai limiti di output.Ragiona su immagini, audio e video ma risponde solo in testo, quindi progetta le pipeline di conseguenza.
  • Segui gli interaction models.L'anteprima di maggio sull'IA che sa interrompere indica dove sta andando Thinking Machines: tienila d'occhio.

Keep up, sapiens. I robot open-weight hanno appena accolto un coinquilino molto grosso.