16/05/2024
Door Ad Spijkers
Assistentierobot Garmi van de TU München kan specifieke vaardigheden direct combineren en senioren de hele dag ondersteunen.
Met behulp van een digitale tweeling, kunstmatige intelligentie en ChatGPT voert de zorgassistent van de Technische Universität München (TUM) zorgtaken uit. Zo kan hij water en ontbijt aan het bed brengen, medische afspraken maken en telemedische onderzoeken opzetten en faciliteren. De robot helpt zorgvragers ook om uit bed te komen en revalidatieoefeningen te doen.
Mens-robot interactie
De assistentierobot wordt steeds veelzijdiger en intelligenter. Niet alleen begrijpt de robot verschillende commando's via ChatGPT. Hij implementeert en voert ook autonoom een breed scala aan taken en vaardigheden uit, zoals het grijpen van objecten, veilig manoeuvreren en communiceren met patiënten. Garmi kan nu de verschillende individuele vaardigheden die hem de afgelopen jaren zijn geleerd, veilig en on-demand uitvoeren via ChatGPT.
Om dit te bereiken, combineren de onderzoekers verschillende technologische innovaties. Voordat menselijke interacties in de echte wereld worden geprobeerd, wordt een digitale tweeling gebruikt om botsingen te voorkomen en ervoor te zorgen dat de bewegingen van de robot veilig zijn. Kunstmatige intelligentie (AI) helpt Garmi kopjes en glazen te begrijpen en over te dragen zonder vloeistof te morsen. ChatGPT fungeert als schakel tussen robot, patiënten, fysiotherapeuten en artsen.
De onderzoekers trekken een parallel tussen innovaties in Garmi en autonoom rijden. Voordat een nieuwe functie als autonome parkeerhulp beschikbaar komt voor echte bestuurders, zijn er veel ontwikkelingsstappen nodig. Hetzelfde geldt voor zorgrobotica: omdat deze technologie gebruikt gaat worden waar mensen aanwezig zijn, moet ze 100% veilig en betrouwbaar zijn. De onderzoekers in München hebben aanzienlijke vooruitgang geboekt, vooral op drie gebieden.
1. Behendigheid
Ze hebben een camera, een robotarm met zeven gewrichten, een kunstmatige hand en kunstmatige intelligentie gecombineerd. Hiermee kan Garmi de manier simuleren waarop mensen objecten vasthouden. Eerst maakt de camera een foto van het te grijpen object en identificeert dit met behulp van neurale netwerken. Omdat de camera het object slechts vanaf één kant ziet, voegt het systeem niet-zichtbare gebieden toe. Dat gebeurt door wat het ziet te vergelijken met andere beelden en een compleet 3D-object te reconstrueren.
De onderzoekers gebruiken een op kleur gesorteerde hittekaart die de waarschijnlijkheid aangeeft dat verschillende representaties van het object overeenkomen met hoe het er in werkelijkheid uitziet. Dit maakt het mogelijk om de ideale positie van de hand te bepalen om bijvoorbeeld een kopje vast te pakken. Het complexe systeem slaagt er inmiddels in om dit negen van de tien keer correct te doen. Nadat het met één beker heeft gewerkt, kan het systeem de methodologie overbrengen naar alle andere vormen van bekers.
Experimenten
De onderzoekers bedachten een speciale experimentele opstelling om te onderzoeken of artsen via telechirurgie met patiënten kunnen samenwerken. Ze tekenden eenvoudige vormen op een grafisch tablet. Garmi was uitgerust met een pen in de ene hand en een camera in de andere. Een kamer verderop was het de taak van Garmi om de tekeningen van de onderzoekers op een scherm over te brengen. Met andere woorden, hij moest een eenvoudige tekening in een complex robotsysteem projecteren.
Het bleek dat de beste cirkels, vierkanten en driehoeken ontstonden toen Garmi de camera autonoom gebruikte. Deze bevinding zal in de toekomst worden meegenomen in de samenwerking tussen artsen en patiënten. Zo is het bijvoorbeeld essentieel om ultrasone sondes zo nauwkeurig mogelijk te positioneren en bewegingen correct uit te voeren tijdens revalidatieoefeningen.
Ook lieten de onderzoekers zien hoe gereedschappen rond objecten kunnen worden gemanoeuvreerd. De uitdaging is om afstanden in de gaten te houden en tegelijkertijd de mobiliteit van de robotarm met al zijn gewrichten correct te kunnen inschatten. Als dit lukt, kan de robot zelfs ballen ontwijken die naar hem worden gegooid.
2. Veiligheid
Garmi verwerkt informatie met een cyclustijd van 1 ms. Dit geldt zowel voor perceptie, interactie als navigatie. De krachtsensoren op de robotarmen registreren het geringste contact en reageren onmiddellijk. Als een mens per ongeluk tegen de arm van de robot botst, stopt deze om veiligheidsredenen binnen 1 ms.
Mens en robot ontmoeten elkaar aanvankelijk als digitale tweeling in een virtuele omgeving om ongelukken uit te sluiten. Dit is essentieel omdat de assistentierobot in een verzorgingshuis theoretisch snelheden tot 20 km/u kan halen. In de computersimulatie gebruikt Garmi de Safety Motion Unit om via sensoren te registreren en te vertragen als een persoon te dichtbij is. Wanneer de persoon weggaat, versnelt Garmi weer.
3. ChatGPT
AI-tool ChatGPT functioneert als vertaler tussen technologie en mens. Het heeft verschillende commando's geleerd, zoals 'Start revalidatie', 'Laat me het weer voor morgen zien' of 'Bel de dokter'. Garmi gebruikt dit hulpmiddel om met patiënten te communiceren. De onderzoekers hebben momenteel een lijst met vijftien tot twintig commando's die bepaalde acties activeren. Potentieel kunnen ze het zo veel uitbreiden als ze willen.
Het vervolg
De nieuwe universele Garmi is nu actief in een modelappartement in Garmisch-Partenkirchen. Het belangrijkste onderzoeksgebied zal de verdere ontwikkeling zijn van handen die nog verfijndere taken kunnen uitvoeren. Het zal nog enkele jaren duren voordat Garmi eindelijk in verzorgingshuizen wordt gebruikt. Er is al veel vooruitgang geboekt, maar er ontbreken nog een paar details voordat de universele robot klaar is voor de menselijke omgeving.
Foto: TU München