Pular para o conteúdo

IA

NVIDIA lança quatro modelos de 16B e os robôs ganham um mundo de sonho

A NVIDIA liberou quatro novos checkpoints open-weight do Cosmos 3, cada um com 16 bilhões de parâmetros treináveis. Cobrem cenas de direção, fluxos de sensores e braços robóticos, com licença que permite uso comercial.

Foto de capa: Lawrence Systems / CC BY 3.0

TL;DR

  1. A NVIDIA lançou quatro checkpoints open-weight do Cosmos 3 para simulação de mundo, cada um com 16B de parâmetros treináveis.
  2. Os alvos: dados de direção, fluxos de câmera mais LiDAR, do simulador para vídeo e previsão de ações de robôs com dois braços.
  3. A licença OpenMDW1.1 permite uso comercial e não comercial, dentro dos seus termos.

O que aconteceu

A NVIDIA adicionou quatro checkpoints open-weight à família Cosmos 3, parte da plataforma Cosmos para construir modelos de mundo. Todos são versões pós-treinadas do Cosmos 3 Nano, e cada um tem 16 bilhões de parâmetros treináveis.

A escalação é especializada. O Cosmos3-Nano-Transfer-Auto gera dados de direção com várias câmeras, variando clima, iluminação e hora do dia. O Cosmos3-Nano-Sim-Auto transmite observações de câmera e LiDAR sincronizadas para simulação de direção.

O Cosmos3-Nano-Sim-Transfer recebe controles de um simulador mais um prompt de texto e entrega vídeo fotorrealista. O Cosmos3-Nano-Sim-Bimanual prevê vídeo a partir de ações do robô ou da câmera.

A licença é a OpenMDW1.1, que permite uso comercial e não comercial dentro dos seus termos. A NVIDIA também aponta um relatório técnico e demos junto com os downloads.

Por que importa

Um modelo de mundo é, grosso modo, uma máquina que imagina o que acontece a seguir. Para robótica e direção autônoma, isso pesa porque testar no mundo real é lento, caro e de vez em quando custa um para-lama.

A NVIDIA apresenta os checkpoints como complementares. O Sim-Bimanual prevê as consequências visuais das ações, enquanto o Sim-Transfer converte os controles de um simulador de física em observações geradas. Dois caminhos diferentes para o mesmo destino: um mundo falso convincente para treinar.

O checkpoint de clima e iluminação é o queridinho discreto. Chuva à meia-noite é difícil de agendar numa pista de testes e trivial de pedir a um modelo.

Pesos abertos de uma grande fabricante de chips também baixam a barreira para pesquisadores e startups que preferem não negociar uma licença proprietária antes de ensinar um braço a pegar coisas.

O que isso muda na Europa

A Europa tem muitos laboratórios de robótica e programas de direção autônoma, e pesos abertos com permissão comercial são úteis para eles. Nada no lançamento detalha termos, preços ou disponibilidade específicos da UE, então confira o texto da licença contra as suas necessidades de compliance antes de construir qualquer coisa em cima dela.

O que fazer com isso

  • Leia a licença primeiro.A OpenMDW1.1 permite uso comercial dentro dos seus termos, então dê uma olhada neles antes de colocar qualquer coisa no ar.
  • Combine o checkpoint com o trabalho.Times de direção olham para os modelos Auto, times de manipulação para o Sim-Bimanual, usuários de simulador para o Sim-Transfer.
  • Comece pelo relatório técnico.Ele vem com o lançamento e vai te contar mais do que qualquer manchete, inclusive esta.
  • Veja as demos antes de baixar.Julgue a qualidade da saída no seu tipo de cenário, não no vídeo de divulgação.

Ciao, sapiens. Os robôs agora têm um mundo dos sonhos. Você ainda paga aluguel neste aqui.