Pular para o conteúdo

IA

Modelo de 1 trilhão de parâmetros vence o GPT-6 Astra lendo pó

A Periodic Labs diz que o Neon acerta 55.3% em análise de difração de raios X, contra 2.7% do modelo base. O porém: a prova é da própria empresa, e o modelo fica em casa.

Foto de capa: Jernej Furman from Slovenia / CC BY 2.0

TL;DR

  1. O Neon, da Periodic Labs, marca 55.3% no teste interno de difração de raios X; o modelo base fez 2.7%.
  2. A Periodic diz que o Neon supera o GPT-6 Astra e o Claude Fable 5.1 no FrontierXRD, o benchmark da própria empresa.
  3. O Neon é construído sobre o Kimi K2.6; pesos e dados de treino continuam sem divulgação.

O que aconteceu

A Periodic Labs apresentou o Neon, um modelo de um trilhão de parâmetros especializado em analisar experimentos rodados nos seus próprios laboratórios de alto rendimento.

A tarefa-alvo é difração de raios X: você dispara raios X num material em pó, recebe um padrão de picos e descobre quais fases cristalinas você realmente produziu. Com fases sobrepostas, um cientista experiente pode gastar horas nisso.

No FrontierXRD, uma avaliação interna focada em medições de difração, o Neon marca 55.3%. O modelo base marca 2.7%. A Periodic afirma que o Neon também supera o GPT-6 Astra e o Claude Fable 5.1 nesse mesmo teste.

Não é um modelo de fundação feito do zero. A Periodic partiu do Kimi K2.6, uma base de pesos abertos do mesmo tamanho, de um trilhão de parâmetros, e acrescentou midtraining e aprendizado por reforço com dados científicos e de laboratório. A empresa também diz que o Neon chegou lá com relativamente pouco poder computacional.

Por enquanto, o Neon é de uso interno. Nem os pesos nem o corpus de treino foram divulgados.

Por que importa

A proposta é um ciclo. Os laboratórios da Periodic rodam experimentos, os experimentos geram dados, os dados treinam a IA científica, e essa IA orienta os próximos experimentos.

A empresa diz que usa modelos de fronteira enquanto eles dão conta e treina os seus quando eles ficam aquém ou caros demais.

É um argumento discreto contra a história do "um modelo geral gigante faz tudo". Dado proprietário de laboratório é a única coisa que um chatbot não consegue raspar da internet, e a Periodic aposta que isso vale mais do que escala bruta.

Agora a letra miúda, sapiens. O benchmark é da própria Periodic, a comparação é reportada pela empresa e ninguém de fora verificou. E uma nota de 55.3% também significa que o modelo ainda erra muito padrão de pó.

Um especialista treinado com dados privados de laboratório venceu generalistas num teste escrito por quem o fez. Sinal útil, não veredito.

O lado laboratorial, porém, é real: a Periodic diz ter montado laboratórios de alto rendimento em Menlo Park, funcionando 24/7, de olho em novos materiais como supercondutores e ímãs.

O que fazer com isso

  • Leia o benchmark, não a manchete.O FrontierXRD é interno, então trate a vitória sobre o GPT-6 Astra e o Claude Fable 5.1 como alegação até aparecerem testes independentes.
  • Roube o padrão.Se o seu time tem dados incomuns do seu domínio, uma base de pesos abertos ajustada pode sair mais barata do que esperar o próximo lançamento de fronteira.
  • Fique de olho num lançamento.Pesos e dados de treino não foram divulgados, então veja se a Periodic abre alguma coisa antes de planejar qualquer coisa em torno do Neon.
  • Acompanhe a IA de materiais.Se você trabalha com química, baterias ou ímãs, modelos embutidos no laboratório são a parte dessa história para seguir de perto.

Keep up, sapiens. O pó já está sendo lido.