29/04/2024
Door Ad Spijkers
Onderzoekers aan de TU München (TUM) gebruiken ChatGPT om choreografieën voor drone-zwermen te ontwikkelen die passen bij de betreffende muziek.
De onderzoekers aan de Technische Universität München bewijzen voor het eerst dat Large Language Models (LLM’s) zoals ChatGPT fundamenteel kunnen worden gebruikt in de robotica. Prof. Angela Schoellig gebruikt ChatGPT om choreografieën voor drone-zwermen te ontwikkelen die passen bij de betreffende muziek. Een extra veiligheidsfilter voorkomt dat de vliegende robots in de lucht botsen.
De webinterface is eenvoudig te gebruiken. Een van de onderzoekers kiest een muziektitel en vult in een tekstveld in dat het systeem hem een choreografie moet voorstellen. Via een andere 'prompt' in de ChatGPT-tool kunnen aanvullende instructies aan de drone-zwerm worden gegeven voordat een algoritme controleert of deze trajecten haalbaar zijn.
Laboratorium
In het Learning Systems and Robotics Lab is een gesimuleerd vliegveld op het scherm te zien, waarbij zes drones in cirkels vliegen om bij de muziek te passen. Als de betreffende onderzoeker deze choreografie leuk vindt, logt hij deze in en korte tijd later stijgen zes drones ter grootte van een handpalm op vanaf de vloer van het roboticalab. De choreografie met drie vliegende robots is na vijf minuten klaar
In het laboratorium van prof. Schoellig installeerde het onderzoeksteam zes camera's aan het plafond in een kamer van ongeveer 40 m2 en 3 m hoog. Kruisen op de grond zijn gemarkeerd met isolatietape: de startposities van de drones. Zodra de computer een mogelijke choreografie heeft geverifieerd, kan de vlucht beginnen. De camera's detecteren 200 keer per seconde de positie van de quadrocopters, die zijn uitgerust met vier propellers en motoren. Het systeem vergelijkt deze met de gewenste positie.
De vliegshows in het lab, waar het onderzoeksteam inmiddels met negen drones werkt, zijn 100 procent veilig. Zonder het speciale veiligheidsfilter vindt slechts één op de vier demonstraties plaats zonder ongelukken.
SwarmGPT
Voor de 'Dans van de Vliegende Robots' combineerde prof. Schoellig ChatGPT met het beveiligingsfilter. De AI-tool ChatGPT is in de eerste plaats gemaakt om teksten te genereren, maar kan ook choreografieën voorstellen. Het weet echter in eerste instantie niets over de eigenschappen van drones en fysieke grenzen aan vliegroutes. Het is dus duidelijk dat ChatGPT fouten maakt. Het aanvullende veiligheidsalgoritme dicht dit gat en plant de vliegroutes voor de voorgestelde choreografie precies zo dat de drones in de lucht niet met elkaar in botsing komen. Hierdoor is het zelfs mogelijk dat twee drones die elkaar naderen diagonaal vliegen.
Prof. Schoellig noemt het totaalconcept van ChatGPT en beveiligingsfilter dat is ontworpen voor het gebruik van verschillende vliegende robots, SwarmGPT. De tool genereert enerzijds de processen in de lucht en dient anderzijds als interface tussen robot en mens, waarvoor geen specialistische kennis nodig is.
Sprong voorwaarts
Toen prof. Schoellig bijna vijftien jaar geleden haar onderzoek naar drones begon, werden choreografieën met de hand ontwikkeld. Het duurde ruim drie jaar voordat de eerste zes choreografieën voor zes drones ontwikkeld en functionerend waren. ChatGPT heeft een grote sprong voorwaarts mogelijk gemaakt. De afgelopen drie maanden experimenteerden de onderzoekers met ruim dertig choreografieën voor maximaal negen drones.
Tegenwoordig hebben onderzoekers slechts ongeveer vijf minuten nodig om met drie drones een veilige choreografie te ontwikkelen voor individuele muziekfragmenten van 30 seconden. Hoe meer drones worden toegevoegd, des te langer moet ChatGPT rekenen en des te langer het duurt om een choreografie voor te stellen. Maar Schoellig is er zeker van dat het concept schaalbaar is.
Interface
Kunnen andere robots met een dergelijke interface ook via ChatGPT worden gebruikt? Voor robots die via stembesturing dingen pakken, kabels leggen of deuren openen, bedraagt het slagingspercentage van de scenario’s momenteel slechts 63%, 56% en 80%. Tot nu toe is er weinig vertrouwen in het gebruik ervan in andere robotica-scenario's. Voor prof. Schoellig is dit een stimulans, ze gaat ervan uit dat de aanpak steeds beter zal werken met andere scenario’s.
Stofzuig- en industriële robots kunnen binnenkort wellicht eenvoudig worden geherprogrammeerd met behulp van gesproken instructies, zonder deskundigheid en programmeerkennis.
De wetenschappelijke publicatie vindt u hier.
Foto: Astrid Eckert / TUM