Meer zicht met behulp van radiosignalen

Amerikaanse onderzoekers hebben een combinatie van sensoren ontwikkeld die leidt tot robuuste perceptiesystemen voor robots.

Het werken bij slecht weer en zware omstandigheden is een hardnekkige uitdaging om dergelijke systemen te ontwikkelen. Traditionele, op licht gebaseerde zichtsensoren zoals camera's of Lidar (Light Detection And Ranging) falen bijvoorbeeld in dichte rook en mist. De natuur heeft echter aangetoond dat zicht niet beperkt hoeft te worden door de beperkingen van licht. Veel organismen hebben manieren ontwikkeld om hun omgeving waar te nemen zonder afhankelijk te zijn van licht. Vleermuizen navigeren met behulp van de echo's van geluidsgolven, terwijl haaien jagen door elektrische velden van de bewegingen van hun prooi te detecteren.

Radiogolven, waarvan de golflengtes ordes van grootte langer zijn dan lichtgolven, kunnen beter door rook en mist heen dringen en kunnen zelfs door bepaalde materialen heen kijken. Dit zijn mogelijkheden die buiten het gezichtsvermogen van de mens liggen. Toch hebben robots traditioneel vertrouwd op een beperkte gereedschapskist: ze gebruiken ofwel camera's en LiDAR, die gedetailleerde beelden leveren maar falen in uitdagende omstandigheden, ofwel traditionele radar die door muren en andere occlusies heen kan kijken maar ruwe, beelden met lage resolutie produceert.

Nieuw zicht

Onderzoekers van de University of Pennsylvania in Philadelphia hebben nu PanoRadar ontwikkeld, een nieuwe tool om robots bovenmenselijk zicht te geven door eenvoudige radiogolven om te zetten in gedetailleerde 3D-weergaven van de omgeving. Hun eerste vraag was of ze het beste van beide sensormodaliteiten konden combineren: de robuustheid van radiosignalen, die bestand zijn tegen mist en andere uitdagende omstandigheden, en de hoge resolutie van visuele sensoren.

PanoRadar gebruikt radiogolven en kunstmatige intelligentie om robots zelfs door de meest uitdagende omgevingen te laten navigeren, zoals gebouwen vol rook of mistige wegen. Het is een sensor die werkt als een vuurtoren die zijn straal in een cirkel beweegt om de hele horizon te scannen. Het systeem bestaat uit een roterende verticale reeks antennes die de omgeving scannen. Terwijl ze draaien, zenden deze antennes radiogolven uit en luisteren ze naar hun reflecties van de omgeving, net zoals de straal van een vuurtoren de aanwezigheid van schepen en kustkenmerken onthult.

Dankzij de kracht van AI gaat PanoRadar verder dan deze simpele scanstrategie. De sensor combineert metingen van alle rotatiehoeken om de beeldresolutie te verbeteren. Hoewel de sensor zelf slechts een fractie kost van de kosten van doorgaans dure Lidar-systemen, creëert de rotatiestrategie een dichte reeks virtuele meetpunten. Hierdoor kan PanoRadar een beeldresolutie bereiken die vergelijkbaar is met die van Lidat.

Uitdagingen

De belangrijkste innovatie zit echter in de manier waarop de onderzoekers deze radiogolfmetingen verwerken. De signaalverwerkings- en machine learning algoritmen kunnen rijke 3D-informatie uit de omgeving halen. Een van de grootste uitdagingen was het ontwikkelen van algoritmen om beelden met een hoge resolutie te behouden terwijl de robot beweegt. Om een met Lidar vergelijkbare resolutie te bereiken met radiosignalen, moesten de onderzoekers metingen van veel verschillende posities combineren met een nauwkeurigheid van minder dan een millimeter. Dit wordt vooral een uitdaging wanneer de robot beweegt, omdat zelfs kleine bewegingsfouten de beeldkwaliteit aanzienlijk kunnen beïnvloeden.

Een andere uitdaging was het leren van het systeem om te begrijpen wat het ziet. Binnenomgevingen hebben consistente patronen en geometrieën. De onderzoekers hebben deze patronen gebruikt om hun AI-systeem te helpen de radarsignalen te interpreteren, vergelijkbaar met hoe mensen leren om te begrijpen wat ze zien. Tijdens het trainingsproces vertrouwde het machine learning model op Lidar-data om zijn begrip te controleren aan de hand van de realiteit en kon het zichzelf blijven verbeteren.

Testen in verschillende gebouwen lieten zien hoe radiodetectie kan excelleren waar traditionele sensoren moeite hebben. Het systeem handhaaft nauwkeurige tracking door rook en kan zelfs ruimtes met glazen wanden in kaart brengen. Dit komt omdat radiogolven niet gemakkelijk worden geblokkeerd door zwevende deeltjes en het systeem zelfs dingen kan 'vangen.' die Lidar niet kan, zoals glazen oppervlakken. De hoge resolutie van PanoRadar betekent ook dat het mensen nauwkeurig kan detecteren, een cruciale functie voor toepassingen zoals autonome voertuigen en reddingsmissies in gevaarlijke omgevingen.

Vervolg

Het onderzoeksteam wil nu onderzoeken hoe PanoRadar kan samenwerken met andere sensortechnologieën zoals camera's en Lidar om robuustere, multimodale perceptiesystemen voor robots te creëren. Het team breidt zijn tests ook uit naar verschillende robotplatforms en autonome voertuigen. Voor taken met hoge inzetten is het cruciaal om meerdere manieren te hebben om de omgeving te detecteren. Elke sensor heeft zijn sterke en zwakke punten. Door ze intelligent te combineren, kunnen robots worden gecreëerd die beter zijn uitgerust om echte uitdagingen aan te gaan.

Foto: Sylvia Zhang