O que aconteceu
A NVIDIA adicionou quatro checkpoints open-weight à família Cosmos 3, parte da plataforma Cosmos para construir modelos de mundo. Todos são versões pós-treinadas do Cosmos 3 Nano, e cada um tem 16 bilhões de parâmetros treináveis.
A escalação é especializada. O Cosmos3-Nano-Transfer-Auto gera dados de direção com várias câmeras, variando clima, iluminação e hora do dia. O Cosmos3-Nano-Sim-Auto transmite observações de câmera e LiDAR sincronizadas para simulação de direção.
O Cosmos3-Nano-Sim-Transfer recebe controles de um simulador mais um prompt de texto e entrega vídeo fotorrealista. O Cosmos3-Nano-Sim-Bimanual prevê vídeo a partir de ações do robô ou da câmera.
A licença é a OpenMDW1.1, que permite uso comercial e não comercial dentro dos seus termos. A NVIDIA também aponta um relatório técnico e demos junto com os downloads.
Por que importa
Um modelo de mundo é, grosso modo, uma máquina que imagina o que acontece a seguir. Para robótica e direção autônoma, isso pesa porque testar no mundo real é lento, caro e de vez em quando custa um para-lama.
A NVIDIA apresenta os checkpoints como complementares. O Sim-Bimanual prevê as consequências visuais das ações, enquanto o Sim-Transfer converte os controles de um simulador de física em observações geradas. Dois caminhos diferentes para o mesmo destino: um mundo falso convincente para treinar.
O checkpoint de clima e iluminação é o queridinho discreto. Chuva à meia-noite é difícil de agendar numa pista de testes e trivial de pedir a um modelo.
Pesos abertos de uma grande fabricante de chips também baixam a barreira para pesquisadores e startups que preferem não negociar uma licença proprietária antes de ensinar um braço a pegar coisas.
O que isso muda na Europa
A Europa tem muitos laboratórios de robótica e programas de direção autônoma, e pesos abertos com permissão comercial são úteis para eles. Nada no lançamento detalha termos, preços ou disponibilidade específicos da UE, então confira o texto da licença contra as suas necessidades de compliance antes de construir qualquer coisa em cima dela.
O que fazer com isso
- Leia a licença primeiro.A OpenMDW1.1 permite uso comercial dentro dos seus termos, então dê uma olhada neles antes de colocar qualquer coisa no ar.
- Combine o checkpoint com o trabalho.Times de direção olham para os modelos Auto, times de manipulação para o Sim-Bimanual, usuários de simulador para o Sim-Transfer.
- Comece pelo relatório técnico.Ele vem com o lançamento e vai te contar mais do que qualquer manchete, inclusive esta.
- Veja as demos antes de baixar.Julgue a qualidade da saída no seu tipo de cenário, não no vídeo de divulgação.
Ciao, sapiens. Os robôs agora têm um mundo dos sonhos. Você ainda paga aluguel neste aqui.


