
Nvidia heeft het Cosmos World Foundation Model-platform onthuld, speciaal ontworpen voor de ontwikkeling van fysieke AI-systemen zoals autonome voertuigen en robots. Dit platform belooft een revolutionaire stap voorwaarts in de wereld van robotica en autonome systemen, door ontwikkelaars de mogelijkheid te bieden om grote hoeveelheden fotorealistische, fysieks-gebaseerde synthetische data te genereren. Dit zou de kosten en tijd die nodig zijn voor het verzamelen van real-world data en het uitvoeren van tests aanzienlijk kunnen reduceren.
Cosmos bestaat uit state-of-the-art generatieve wereld foundation modellen, geavanceerde tokenizers, guardrails en een versnelde video-verwerkingspipeline. Deze componenten zijn ontworpen om de ontwikkeling van fysieke AI-systemen te versnellen, zoals Nvidia zelf aangeeft. Fysieke AI-modellen zijn vaak kostbaar om te ontwikkelen en vereisen enorme hoeveelheden real-world data en uitgebreide testen. Met Cosmos kunnen ontwikkelaars nu gemakkelijk grote hoeveelheden synthetische data genereren om hun bestaande modellen te trainen en te evalueren. Daarnaast kunnen ze aangepaste modellen bouwen door de Cosmos World Foundation Modellen (WFMs) verder te verfijnen.
De Cosmos-modellen zullen beschikbaar zijn onder een open model licentie, wat de ontwikkeling binnen de robotica- en autonome voertuigen (AV) gemeenschap moet versnellen. Ontwikkelaars kunnen de eerste modellen bekijken via de Nvidia API-catalogus of de familie van modellen en het verfijningsframework downloaden van de Nvidia NGC-catalogus of Hugging Face.
Een aantal bedrijven in de robotica- en automotive-sector, waaronder 1X, Agile Robots, Agility, Figure AI, Foretellix, Fourier, Galbot, Hillbot, IntBot, Neura Robotics, Skild AI, Virtual Incision, Waabi en XPENG, evenals ridesharing-bedrijf Uber, behoren tot de eerste gebruikers van Cosmos.
Jensen Huang, oprichter en CEO van Nvidia, verklaarde: "Het ChatGPT-moment voor robotica staat voor de deur. Net als grote taalmodellen, zijn world foundation-modellen fundamenteel voor de vooruitgang in de ontwikkeling van robots en AV's, maar niet alle ontwikkelaars hebben de expertise en middelen om hun eigen modellen te trainen. We hebben Cosmos gecreëerd om fysieke AI te democratiseren en algemene robotica binnen bereik van elke ontwikkelaar te brengen."
Tijdens zijn openingspresentatie op CES demonstreerde Huang verschillende manieren waarop fysieke AI-ontwikkelaars Cosmos-modellen kunnen gebruiken. Dit omvat:
- Videozoeken en -begrijpen: Ontwikkelaars kunnen specifieke trainingsscenario's, zoals sneeuwrijke wegomstandigheden of opslagcongestie, gemakkelijk vinden in videodata.
- Fotorealistische synthetische datageneratie op basis van fysica: Gebruik Cosmos-modellen om fotorealistische video's te genereren uit gecontroleerde 3D-scenario's ontwikkeld op het Nvidia Omniverse-platform.
- Ontwikkeling en evaluatie van fysieke AI-modellen: Of het nu gaat om het bouwen van een aangepast model op de foundation modellen, het verbeteren van de modellen met behulp van Cosmos voor reinforcement learning, of het testen van hun prestaties in een specifiek gesimuleerd scenario.
- Voorspelling en "multiverse"-simulatie: Gebruik Cosmos en Omniverse om elke mogelijke toekomstige uitkomst te genereren die een AI-model kan nemen, om te helpen het meest accurate pad te selecteren.
De Cosmos WFMs zijn nu beschikbaar onder de Nvidia open model licentie op Hugging Face en de Nvidia NGC-catalogus. Binnenkort zullen de Cosmos-modellen ook beschikbaar zijn als volledig geoptimaliseerde Nvidia NIM-microservices.
Ontwikkelaars kunnen toegang krijgen tot Nvidia NeMo Curator voor versnelde video-verwerking en hun eigen wereldmodellen aanpassen met Nvidia NeMo. Nvidia DGX Cloud biedt een snelle en eenvoudige manier om deze modellen te implementeren, met ondersteuning voor bedrijven beschikbaar via het Nvidia AI Enterprise softwareplatform.
Daarnaast kondigde Nvidia nieuwe Nvidia Llama Nemotron grote taalmodellen en Nvidia Cosmos Nemotron visie-taalmodellen aan, die ontwikkelaars kunnen gebruiken voor enterprise AI-toepassingen in gezondheidszorg, financiële dienstverlening, productie en meer.