26/11/2020
Door Ad Spijkers
Het Fraunhofer-Institut für Produktionstechnik und Automatisierung in Stuttgart heeft samen met projectpartners nieuwe basisvaardigheden voor interactieve servicerobots ontwikkeld.
Wat mensen als vanzelfsprekend beschouwen, vormt een uitdaging voor een servicerobot. Herkennen wat een persoon zou willen doen en welke hulp hij nodig zou kunnen hebben, evenals het aanbieden en uitvoeren van bijbehorende assistentiefuncties in directe interactie met de gebruiker, zijn slechts enkele taken. Om dit te kunnen doen, moet een servicerobot inzicht ontwikkelen in zijn omgeving, bijvoorbeeld mensen en objecten herkennen. Ook moet hij zich er veilig in kunnen bewegen en geschikte handbewegingen kunnen maken in de buurt van mensen.
Het doel van de onderzoeksprojecten Asarob en Ropha was de fundamentele vaardigheden verder te ontwikkelen. De projecten gebruikten de Care-O-bot 4 servicerobot van Fraunhofer IPA, die nu op de markt wordt gebracht door een spin-off van het instituut. De robot diende om de ontwikkelde technologieën te testen in praktische toepassingsscenario's. Dit gebeurde in nauwe afstemming met experts uit de intramurale zorg en op basis van uitgebreide analyses op locaties. Dit zorgde ervoor dat de robotondersteuning ook voldeed aan een specifieke praktische eis.
Projecten om omgevingsinformatie vast te kunnen leggen zijn een essentiële basis voor de robot om autonoom zijn taken uit te kunnen voeren. Daarnaast werd gewerkt aan de integratie van alle benodigde technologieën op de demonstrator en de implementatie van de toepassingsscenario's.
Betrouwbare piloot
Het Asarob-project (Attention Sensitive Robot Assistance) betrof het registreren en evalueren van de aandachtstoestanden van de menselijke tegenhanger met behulp van waarnemingsalgoritmen. Het doel was om de interactie te verbeteren door middel van robotfuncties voor het genereren, sturen en herstellen van aandacht. Hiervoor zijn in het project softwareoplossingen voor omgevings- en persoon- of poseherkenning ontwikkeld.
Mensen interpreteren een scène aan de hand van een grote hoeveelheid informatie zoals taal, geluiden, teksten, ruimtelijke en visuele indrukken. Ze begrijpen aldus zo intuïtief wat de ander doet of van plan is. De bijdrage van de onderzoekers om een robot dit inzicht te geven, was het toevoegen van semantiek aan het omgevingsmodel. Deze semantiek vormt een aanvulling op de betekenis van de omgevingsinformatie, die in eerste instantie alleen als driedimensionale puntenwolk beschikbaar is. De semantiek identificeert individuele objecten zoals stoelen, tafels of planten en biedt zo mogelijke punten van aandacht. Softwaremodules voor het herkennen en classificeren van geometrische vormen en voor het afleiden van overeenkomstige ruimtelijke structuren maken dit begrip mogelijk.
De genoemde technologieën vormen een aanvulling op de bestaande algoritmen voor persoons- en activiteitsherkenning. Samen stellen ze een robot in staat een scène holistisch te begrijpen. De technieken zijn in de praktijk getest in een toepassingsscenario waarin Care-O-bot 4 een persoon veilig en aandachtig door een gebouw begeleidt naar de gewenste bestemming.
Hulp aan de eettafel
Het doel van het Ropha-project (Robuste Perzeption für die interaktive Unterstützung älterer Nutzer im häuslichen Umfeld) was de ontwikkeling van perceptie- en bedieningsfuncties. Ze stellen een robot in staat om hapklare maaltijden te leveren. De ontwikkelde assistentiefuncties moesten in verschillende toepassingen worden getest. In het bijzonder moet de robot verschillende soorten voedsel serveren volgens de keuze van de gebruiker of kunnen helpen bij het snijden en kruiden van het voedsel.
Om de robot hierbij te helpen, heeft Fraunhofer-IPA beeldverwerkingsalgoritmen ontwikkeld voor het segmenteren en classificeren van de gerechten op basis van machine learning methoden. Met behulp hiervan kan de robot zowel de gebruiker als de geselecteerde gerechten op borden herkennen en nauwkeurig lokaliseren."De robot kan met voedsel omgaan en zo mensen met een dwarslaesie ondersteunen bij bijvoorbeeld typische alledaagse taken.
De projectpartners hebben twee series testen uitgevoerd met medewerkers uit de intramurale zorg. Hieruit bleek dat de scenario's betrouwbaar kunnen worden geïmplementeerd. De proefpersonen vonden de interactie met de robot voor het grootste deel prettig. Alleen wat betreft de snelheid van uitvoering was er ruimte voor verbetering. Een ander toepassingsgebied voorzien de onderzoekers in grootkeukens, waar robots bijvoorbeeld routinetaken kunnen ondersteunen of voor autonome en hygiënischer buffetten.
Diverse toepassingsgebieden
Behalve voor de beschreven toepassingsscenario's zijn de beeldverwerkingsoplossingen die in beide projecten zijn ontwikkeld, beschikbaar voor een breed scala aan toepassingen. Dat geldt met name voor omgevingsmodellering en voor voedsel-, persoon- en objectherkenning. De algoritmen kunnen verschillende kleur- en 3D-sensormodaliteiten gebruiken, dus ze zijn niet beperkt tot specifieke sensoren. Dankzij hun modulaire ontwerp kunnen ze gemakkelijk worden overgezet naar nieuwe toepassingen.
Foto: Rainer Bez, Fraunhofer IPA