Salta al contenuto

IA

IBM inventa LLMON (si legge "lemon") per aggiustare gli LLM

IBM ha creato LLMON, un formato a tag che dice ai modelli cosa sia davvero ogni pezzo di contesto. Arriva dentro Granite 4.1 da 3B e 8B, contro la fragilità dei modelli piccoli e la prompt injection.

IBM inventa LLMON (si legge "lemon") per aggiustare gli LLM

TL;DR

  1. IBM ha rilasciato LLMON, un linguaggio di markup che dà una struttura esplicita alle finestre di contesto degli LLM.
  2. È integrato nei modelli Granite 4.1 nelle taglie 3B e 8B.
  3. IBM lo presenta come una cura per la fragilità dei modelli piccoli e per la prompt injection.

Cosa è successo

IBM ha pubblicato LLMON, un linguaggio di markup scritto per i modelli, non per gli umani e nemmeno per i vecchi parser. L'idea: smettere di far indovinare al modello cosa sia ogni pezzetto del suo contesto.

Pensa a cosa si accumula in una lunga sessione di un agente: un system prompt, i turni di conversazione precedenti, istruzioni sui documenti recuperati, risposte dei tool, dati dell'utente, requisiti sull'output e catene di ragionamento. Secondo IBM, gran parte di questa struttura è implicita oppure schiacciata in formati come JSON, che non sono mai stati pensati per essere letti da un LLM.

La risposta di LLMON è l'etichettatura esplicita. IBM parla di tag dal significato chiaro per componenti semanticamente coerenti, racchiusi in delimitatori riservati fatti di token speciali. Gli schemi dei dati, annidamenti compresi, sono dichiarati così che un LLM causale possa leggerli senza ambiguità. IBM cita anche ID univoci, per puntare direttamente a istruzioni specifiche.

Il formato è ora integrato nei modelli Granite 4.1, nelle taglie 3B e 8B.

Perché conta

La diagnosi di IBM è brutale: la mancanza di struttura è una delle ragioni principali per cui gli LLM, soprattutto quelli piccoli, sono fragili e falliscono in modi imprevisti. Se hai mai visto un modello piccolo massacrare con sicurezza una tool call, sai di cosa parliamo.

L'aspetto sicurezza è il pezzo grosso. IBM sostiene che la stessa assenza di struttura possa essere sfruttata dagli attaccanti, con la prompt injection come esempio. Se il modello non distingue le tue istruzioni dal testo raschiato da una pagina web a caso, la pagina web ha diritto di voto.

I delimitatori riservati sono un tentativo di tracciare una linea netta tra "questa è la regola" e "questi sono solo dati".

Tag e token riservati al posto delle vibrazioni: tutto il pitch è qui.

Ora i caveat. Questo è un annuncio di IBM stessa e il formato vive in due piccoli modelli Granite. Nessuna validazione esterna, nessun segnale che altre famiglie di modelli lo adotteranno. Un linguaggio di markup diventa standard solo quando lo parla più di una parte.

Detto questo, un vendor che attacca la prompt injection a livello di formato dell'input, invece di aggiungere l'ennesimo "ignora le istruzioni malevole, grazie" nel system prompt, è una direzione da tenere d'occhio.

Cosa farne

  • Prova i modelli.Se costruisci su modelli open di piccola taglia, testa Granite 4.1 3B o 8B sul tuo flusso più incasinato di tool calling o retrieval.
  • Fai un audit del contesto.Mappa cosa c'è oggi nei tuoi prompt: regole di sistema, output dei tool, dati utente. Se arriva tutto come un unico blob, hai il problema che LLMON prende di mira.
  • Considera la injection un problema aperto.La struttura può aiutare, ma IBM parla di mitigazione, non di immunità: tieni stretti filtri sugli input e permessi.
  • Leggi il post di IBM.L'articolo su Hugging Face ha i dettagli su tag, schemi e ID, prima di decidere se costruirci sopra.

Ciao, sapiens. Quando le macchine hanno bisogno di un loro linguaggio di markup per leggere i propri compiti, il minimo che tu possa fare è etichettare i tuoi prompt.