19/06/2023
Door Ad Spijkers
Onderzoekers onder leiding van de University of California San Diego hebben een nieuw model ontwikkeld dat vierpotige robots traint om duidelijker in 3D te zien.
Dankzij het nieuwe model kan een robot autonoom uitdagend terrein te doorkruisen, inclusief trappen, rotsachtige grond en met gaten gevulde paden, terwijl hij obstakels op zijn weg ontwijkt. Door de robot een beter begrip van zijn omgeving in 3D te geven, kan hij worden ingezet in complexere omgevingen in de echte wereld.
De robot is voorzien van een naar voren gerichte dieptecamera op zijn kop. De camera is naar beneden gekanteld in een hoek die hem een goed beeld geeft van zowel het landschap voor hem als het terrein eronder.
3D zicht
Om de 3D-perceptie van de robot te verbeteren, ontwikkelden de onderzoekers een model dat eerst 2D-beelden van de camera haalt en vertaalt naar 3D-ruimte. Dit gebeurt door naar een korte videoreeks te kijken die bestaat uit het huidige frame en een paar eerdere frames. Vervolgens worden stukjes 3D-informatie uit elk 2D-frame geëxtraheerd. Dat omvat informatie over de beenbewegingen van de robot, zoals gewrichtshoek, gewrichtssnelheid en afstand tot de grond. Het model vergelijkt de informatie van de vorige frames met informatie van het huidige frame om de 3D-transformatie tussen het verleden en het heden te schatten.
Het model voegt al die informatie samen, zodat het het huidige frame kan gebruiken om de vorige frames te synthetiseren. Terwijl de robot beweegt, vergelijkt het model de gesynthetiseerde frames met de frames die de camera al heeft vastgelegd. Als ze goed bij elkaar passen, weet het model dat het de juiste weergave van de 3D-scène heeft geleerd. Anders maakt het correcties totdat het goed is.
De 3D-weergave wordt gebruikt om de beweging van de robot te besturen. Door visuele informatie uit het verleden te synthetiseren, kan de robot zich herinneren wat hij heeft gezien, evenals de acties die zijn benen eerder hebben ondernomen. Deze informatie gebruikt de robot om zijn volgende bewegingen te maken. Door deze kan de robot een kortetermijngeheugen van zijn 3D-omgeving opbouwen, zodat hij beter kan handelen.
Voortgang
De nieuwe studie bouwt voort op het eerdere werk van het team, waarbij onderzoekers algoritmen ontwikkelden die computer vision combineren met proprioceptie. Hierbij is het gevoel van beweging, richting, snelheid, locatie en aanraking betrokken. Hierdoor kan een vierpotige robot lopen en rennen op oneffen grond, terwijl hij obstakels vermijdt. Door de 3D-perceptie van de robot te verbeteren (en deze te combineren met proprioceptie), toonden de onderzoekers aan dat de robot uitdagender terrein kan doorkruisen dan voorheen.
De onderzoekers hebben nu één enkel model ontwikkeld dat verschillende soorten uitdagende omgevingen aankan. Dit is een gevolg van het feit dat ze een beter begrip van de 3D-omgeving hebben gecreëerd, waardoor de robot veelzijdiger is in verschillende scenario's.
De aanpak heeft echter zijn beperkingen. Het huidige model leidt de robot niet naar een specifiek doel of bestemming. Bij inzet neemt de robot gewoon een recht pad en als hij een obstakel ziet, ontwijkt hij dat door via een ander recht pad weg te lopen. De robot bepaalt niet precies waar hij naartoe gaat. In toekomstig ontwikkelingswerk willen de onderzoekers meer planningstechnieken gebruiken en de navigatiepijplijn voltooien.
Foto: screenshot University of California San Diego