Onderzoekers van de School of Engineering and Applied Science van de Universiteit van Pennsylvania (Penn Engineering) hebben onlangs belangrijke kwetsbaarheden ontdekt in AI-gestuurde robots. Deze kwetsbaarheden moeten worden aangepakt om de veiligheid van robots die gebruik maken van kunstmatige intelligentie te waarborgen.
Dit onderzoek, gefinancierd door de National Science Foundation en het Army Research Laboratory, richt zich op het ontwikkelen van oplossingen om de veilige inzet van grote taalmodellen (LLM’s) in robotica te garanderen.
Volgens George Pappas, professor in Electrical and Systems Engineering en Associate Dean for Research bij Penn Engineering, is de huidige staat van AI-modellen in de fysieke wereld nog niet veilig genoeg. Pappas en zijn mede-auteurs waarschuwen in hun nieuwe paper dat een breed scala aan door AI bestuurde robots gemanipuleerd of gehackt kan worden.
Kwetsbaarheden in AI governors
De onderzoekers ontwikkelden een algoritme, RoboPAIR, dat binnen enkele dagen in staat was om 100% van de veiligheidsmechanismen te omzeilen in drie verschillende robotsystemen: de Unitree Go2 (een viervoetige robot), de Clearpath Robotics Jackal (een voertuig op wielen) en de Dolphin LLM (een zelfrijdende simulator van NVIDIA). In de eerste twee gevallen gebruikte de robots de AI governor van OpenAI’s ChatGPT, die kwetsbaar bleek voor zogeheten jailbreak-aanvallen. Deze aanvallen maken het mogelijk om de veiligheidsbeperkingen te doorbreken, wat ernstige gevolgen kan hebben. Bijvoorbeeld, een zelfrijdend AMR zou kunnen worden gemanipuleerd om over een voetgangergedeeklte te rijden zonder te stoppen.
Veiligheid door Red Teaming
Penn Engineering heeft, voordat de bevindingen openbaar werden gemaakt, de betrokken bedrijven op de hoogte gesteld van de kwetsbaarheden in hun systemen. De onderzoekers werken nu samen met deze bedrijven om hun bevindingen te gebruiken als een kader voor verbeterde veiligheidsprotocollen.
“Systemen worden veiliger wanneer je hun zwakheden ontdekt. Dit geldt voor zowel cyberbeveiliging als AI-veiligheid”, zegt Alexander Robey, een recent afgestudeerde Ph.D. van Penn Engineering en de eerste auteur van het paper, in een bericht op de website van Penn Engineering. Robey benadrukt het belang van ‘red teaming’ - een veiligheidspraktijk waarbij AI-systemen worden getest op potentiële bedreigingen en kwetsbaarheden. “Zodra je de zwakheden identificeert, kun je deze systemen testen en trainen om ze te vermijden.”
Een veilige toekomst voor AI
Vijay Kumar, decaan van Penn Engineering en mede-auteur van het paper, wijst op de noodzaak van een safety first-benadering om verantwoorde innovatie mogelijk te maken. “We moeten de inherente kwetsbaarheden aanpakken voordat we AI-gestuurde robots in de echte wereld inzetten. Ons onderzoek ontwikkelt een raamwerk voor verificatie en validatie, waarbij we ervoor zorgen dat robotische systemen alleen handelingen uitvoeren die conform de sociale normen zijn.”