25/07/2024
Door Ad Spijkers
Amerikaanse onderzoekers verbeteren machine vision aan door de natuur na te bootsen en edge computing toe te passen.
Zelfrijdende auto’s maken af en toe brokken omdat hun visuele systemen niet altijd statische of langzaam bewegende objecten in de 3D-ruimte kunnen verwerken. In dat opzicht lijken ze op het monoculaire zicht van veel insecten, waarvan de samengestelde ogen een uitstekende bewegingsregistratie en een breed gezichtsveld bieden, maar een slechte dieptewaarneming.
Dat geldt niet voor de bidsprinkhaan. Bij dit insect overlappen de gezichtsvelden van het linker- en rechteroog elkaar, waardoor binoculair zicht ontstaat met dieptewaarneming in de 3D-ruimte.
Facetogen
Wetenschappers aan de University of Virginia School of Engineering and Applied Science hebben dit inzicht gecombineerd met een aantal handige opto-elektrische technieken en edge computing.. Ze hebben kunstmatige samengestelde ogen ontwikkeld die lastige beperkingen in de manier waarop machines momenteel visuele gegevens uit de echte wereld verzamelen en verwerken, ondervangen. Deze beperkingen omvatten nauwkeurigheidsproblemen, vertragingen in de gegevensverwerking en de behoefte aan aanzienlijke rekenkracht.
Nadat ze hadden bestudeerd hoe de ogen van bidsprinkhaantjes werken, realiseerden ze een biomimetisch systeem dat hun biologische capaciteiten repliceert, waarvoor nieuwe technologieën nodig waren. De zorgvuldig ontworpen 'ogen' van het team bootsen de natuur na door microlenzen en meerdere fotodiodes te integreren. Deze genereren een elektrische stroom wanneer ze worden blootgesteld aan licht. Het team gebruikte flexibele halfgeleidermaterialen om de convexe vormen en gefacetteerde posities in de ogen van de bidsprinkhaan na te bootsen.
Real-time verwerking
Het maken van de sensor in een hemisferische geometrie met behoud van zijn functionaliteit biedt een breed gezichtsveld en uitsekende dieptewaarneming biedt. Het systeem levert in real-time nauwkeurig ruimtelijk inzicht, wat essentieel is voor toepassingen die interactie hebben met een dynamische omgeving.
Een van de belangrijke bevindingen van het team met betrekking tot het prototypesysteem van het laboratorium was een potentiële vermindering van het energieverbruik met meer dan 400 keer vergeleken met traditionele visuele systemen. Als toepassingen voorzien de onderzoekers voertuigen met een laag vermogen, drones, zelfrijdende voertuigen, robotica, bewakings- en beveiligingssystemen en slimme apparaten voor thuisgebruik.
In plaats van cloud computing te gebruiken, kan het systeem visuele informatie in real-time verwerken. Hierdoor worden de tijd- en resourcekosten van data-overdracht en externe berekeningen bijna geëlimineerd, terwijl het energieverbruik wordt geminimaliseerd.
Integratie
De technologische doorbraak van het onderzoek ligt in de integratie van flexibele halfgeleidermaterialen. Ze behouden de exacte hoeken binnen het apparaat en hebben een geheugencomponent in de sensor en nabewerkingsalgoritmen. De sleutel is dat de sensorarray voortdurend veranderingen in de scène in de gaten houdt, identificeert welke pixels zijn veranderd en deze informatie in kleinere datasets codeert voor verwerking.
De aanpak weerspiegelt hoe insecten de wereld waarnemen via visuele signalen, waarbij pixels tussen scènes worden onderscheiden om bewegings- en ruimtelijke gegevens te begrijpen. Net als andere insecten (en ook mensen) kan de bidsprinkhaan bijvoorbeeld snel visuele gegevens verwerken door gebruik te maken van het fenomeen bewegingsparallax, waarbij objecten dichterbij lijken sneller te bewegen dan objecten op afstand. Er is slechts één oog nodig om het effect te bereiken, maar bewegingsparallax alleen is niet voldoende voor nauwkeurige dieptewaarneming.
De combinatie van geavanceerde materialen en algoritmen maakt real-time, efficiënte en nauwkeurige 3D ruimtelijke perceptie mogelijk. Het onderzoek biedt inzichten die andere ingenieurs en wetenschappers zouden kunnen inspireren door een slimme, biomimetische oplossing te demonstreren voor complexe uitdagingen op het gebied van visuele verwerking.
De wetenschappelijke publicatie vindt u hier.
Foto: University of Virginia School of Engineering and Applied Science / Kyusang Lee