Salta al contenuto

IA

256 esperti per layer, 8 al lavoro: Amazon licenzia gli sfaccendati

Amazon e Hugging Face presentano HOPE, un metodo per tagliare per sempre gli esperti meno utili dei modelli MoE. In Qwen3.5-122B gli MLP degli esperti occupano il 95% della memoria dei parametri, mentre quasi tutti schiacciano un pisolino.

Foto di copertina: Biodin / CC BY-SA 4.0

TL;DR

  1. Qwen3.5-122B ha 256 esperti per layer, ma per ogni token se ne attivano solo 8.
  2. Gli MLP degli esperti occupano il 95% dei circa 250 GB di quel modello.
  3. HOPE di Amazon e Hugging Face pota gli esperti meno utili, senza bisogno di riaddestrare.

Cosa è successo

Amazon e Hugging Face hanno pubblicato una ricerca su HOPE, acronimo di Higher-Order Pruning of Experts, una tecnica per snellire i modelli linguistici Mixture-of-Experts (MoE). L'idea: rimuovere in modo permanente gli esperti che contano meno, così il modello ha bisogno di meno memoria quando gira.

Il problema è strutturale. I modelli MoE arrivano a centinaia di miliardi di parametri, ma ogni esperto deve restare in memoria al momento dell'inferenza, anche se per un dato token la maggior parte non fa nulla.

L'esempio del post è Qwen3.5-122B. Ha 256 esperti in ciascuno dei suoi 48 layer MoE, eppure per ogni token ne vengono usati solo 8 per layer.

Secondo gli autori, la potatura batte le alternative. Caricare e scaricare dinamicamente gli esperti porta problemi di latenza, mentre la potatura non richiede addestramento e funziona insieme alla quantizzazione.

La parte difficile è scegliere chi tagliare. Stando al post, i metodi esistenti valutano ogni esperto per conto suo. Il titolo originale suggerisce l'angolo di HOPE: gli esperti hanno dei partner, e il metodo è pensato per tenerli insieme invece di giudicarli in isolamento.

Perché conta

Qui il collo di bottiglia è la memoria, non la potenza di calcolo pura. Se quasi tutto l'ingombro di un modello è fatto di pezzi che raramente si attivano per un dato token, tagliare quelli giusti può ridurre ciò che serve per ospitarlo.

La potatura è anche l'opzione più sbrigativa e semplice. Elimini gli esperti deboli, salti il riaddestramento, la sommi alla quantizzazione. Il rovescio della medaglia è l'accuratezza: togli l'esperto sbagliato e il modello peggiora. Scegliere bene è tutta la partita.

Questa è una ricerca, non un prodotto. Non abbiamo numeri di benchmark su quanta qualità HOPE riesca a preservare, quindi leggi l'affermazione principale come una direzione, non come un verdetto.

Cosa farne

  • Leggi il post originale.Il resoconto sul blog di Hugging Face è il posto giusto per vedere metodo e risultati di prima mano.
  • Controlla il conto di memoria del tuo MoE.Se servi un grande modello MoE, verifica quanta parte dell'ingombro sono pesi degli esperti prima di dare per scontato che servano più GPU.
  • Pensa a potatura più quantizzazione.Gli autori dicono che la potatura si combina con la quantizzazione, quindi vale la pena testarle insieme.
  • Valida sui tuoi task.Ogni modello potato ha bisogno di valutazioni sul tuo carico di lavoro reale prima di avvicinarsi alla produzione.

Ciao, sapiens. 248 esperti a riposo per layer, e a te chiedono ancora perché sei arrivato in ritardo.