16/07/2024
Door Ad Spijkers
Het robotsysteem combineert vision-technologie, motorische proprioceptie, zachte tactiele sensoren en een nieuw algoritme.
Er zijn mensen die een bloedhekel hebben aan het inpakken van boodschappen in de supermarkt. Zij zouden graag zien dat robots boodschappen zorgvuldig inpakken en kwetsbare items als brood en eieren nooit onder zwaardere items plaatsen. Onderzoekers aan MIT CSAIL in Cambridge (Massachusetts) hebben een zacht robotsysteem ontwikkeld dat geavanceerde vision-technologie, op motoren gebaseerde proprioceptie, zachte tactiele sensoren en een nieuw algoritme combineert.
RoboGrocery
Doel van het robotsysteem is, dat het een continue stroom van onvoorspelbare objecten verwerkt die langs een transportband bewegen. De uitdaging is het nemen van onmiddellijke beslissingen over het al dan niet inpakken van een item. Dat geldt vooral omdat het systeem geen aannames doet over het object wanneer het over de lopende band komt. Het RoboGrocery systeem meet elk item, besluit of het delicaat is en verpakt het direct of plaatst het in een buffer om het later in te pakken.
In de experimentele opstelling selecteerden onderzoekers tien items uit een reeks nooit eerder aangeboden realistische boodschappenartikelen. Ze plaatsten de boodschappen in willekeurige volgorde op een lopende band. Dit proces werd drie keer herhaald en de evaluatie van 'slechte pakketten' werd uitgevoerd door het aantal zware voorwerpen te tellen dat op delicate voorwerpen was geplaatst.
Het zachte robotsysteem toonde zijn lichte aanraking door negen keer minder manoeuvres uit te voeren die voorwerpen beschadigen dan de sensorloze basislijn. Deze was uitsluitend afhankelijk van voorgeprogrammeerde grijpbewegingen zonder sensorische feedback. Ook voerde het robotsysteem 4,5 keer minder bewegingen uit dan de 'alleen vision' benadering, waarbij gebruik werd gemaakt van camera's om items te identificeren. Deze benadering miste tactiele detectie.
Voorbeeld
Hoe werkt RoboGrocery? Stel een tros druiven en een blik soep komen langs de lopende band. Eerst detecteert de RGB-D-camera de druiven en de soep en schat de maten en posities in. De grijper pakt de druiven op; de zachte tastsensoren meten de druk en vervorming, wat aangeeft dat ze kwetsbaar zijn. Het algoritme kent de druiven een hoge delicatessescore toe en plaatst deze in de buffer. Vervolgens gaat de grijper naar binnen voor de soep. De sensoren meten minimale vervorming, wat 'niet delicaat' betekent, dus kent het algoritme een lage delicatessescore toe en stopt het direct in de krat of kartonnen doos.
Zodra alle niet-delicate artikelen zijn verpakt, haalt RoboGrocery de druiven uit de buffer en plaatst ze er voorzichtig bovenop, zodat ze niet worden geplet. Gedurende het hele proces verwerkt het brein van de robot alle sensorische gegevens en voert het inpakbeslissingen in real-time uit.
De onderzoekers testten verschillende kruidenierswaren om de robuustheid en betrouwbaarheid te garanderen. Er waren delicate items zoals brood, clementines, druiven, boerenkool, muffins, chips en crackers. Ze testten ook niet-delicate items zoals soepblikken, pakken gemalen koffie, kauwgom, kaasblokken, kant-en-klare maaltijden, ijsbakken en zuiveringszout.
Techniek
Traditioneel zijn bin picking taken in de robotica gericht op stijve, rechthoekige objecten. Deze methoden kunnen niet omgaan met objecten met verschillende vormen, afmetingen en stijfheid. RoboGrocery daarentegen telt een mix van RGB-D-camera's, servomotoren met gesloten regelkring en zachte tactiele sensoren.
De camera's bieden diepte-informatie en kleurenbeelden om nauwkeurig de vormen en afmetingen van het object te bepalen terwijl het langs de transportband beweegt. De motoren bieden nauwkeurige controle en feedback, waardoor de grijper zijn greep kan aanpassen op basis van de kenmerken van het object. Ten slotte meten de sensoren, geïntegreerd in de vingers van de grijper, de druk en vervorming van het object en leveren ze gegevens over stijfheid en kwetsbaarheid.
Ondanks de goede werking is er altijd ruimte voor verbetering. De huidige heuristiek om te bepalen of een item delicaat is, is enigszins grof en kan worden verfijnd met geavanceerdere sensortechnologieën en betere grijpers. Zo kan bijvoorbeeld een fijnere grijptechniek tot aanzienlijke verbeteringen leiden. Ook het bepalen van de optimale grijprichting om mislukte pogingen te minimaliseren kan worden verbeterd. Verder zijn items die in ongunstige richtingen op de transportband zijn geplaatst, efficiënter te behandelen. Een platliggende doos met ontbijtgranen kan bijvoorbeeld te groot zijn om van bovenaf vast te pakken, maar als hij rechtop staat, kan hij prima hanteerbaar zijn.
Vooruitblik
Het project bevindt zich nog in de onderzoeksfase, maar de potentiële toepassingen ervan kunnen verder reiken dan het inpakken van boodschappen. Het team voorziet gebruik in verschillende online verpakkingsscenario's, zoals inpakken voor een verhuizing of in recyclingfaciliteiten, waar de volgorde en eigenschappen van objecten onbekend zijn. Hoewel roboGrocery nog niet helemaal klaar is voor commerciële inzet, toont het onderzoek de kracht aan van de integratie van meerdere detectiemodaliteiten in zachte robotsystemen.
Foto: screenshot video MIT CSAIL