28/05/2024
Door Ad Spijkers
Met klassieke beeldherkenning en deep learning zijn ook doorzichtige kunststof zakken te detecteren en positioneren
Om pick-and-place toepassingen te automatiseren, moeten robots veilig gevormde of doorschijnende objecten en objecten met complexe oppervlakken veilig kunnen vastgrijpen. Dit wordt mogelijk gemaakt door krachtige machine vision software die gebruik maakt van deep learning. Tekvisa Engineering in O Porriño (bij Vigo, Spanje) implementeerde een dergelijke veeleisende toepassing met de ondersteuning van de Halcon machine vision-software van MVTec in München.
Probleemstelling
Kunststof zakken met bevestigingsaccessoires kunnen veel verschillende vormen hebben. Dit maakt de nauwkeurige identificatie en het geautomatiseerd grijpen van dergelijke zakken moeilijk, vooral als ze doorschijnend zijn of wanordelijk liggen. Machine vision helpt de productiviteit te verhogen, zelfs bij dergelijke complexe pick-and-place-taken. Dit is wat er gebeurde met een systeem ontwikkeld door Tekvisa Engineering.
Dit bedrijf, met vestigingen in Spanje en Portugal, ontwikkelt digitale inspectiesystemen voor kwaliteitscontrole en procesautomatisering op basis van industriële beeldverwerkingstechnologieën. Sinds de oprichting wil de onderneming gebruiksvriendelijke en geavanceerde systemen ontwikkelen voor een breed scala aan industrieën, zoals de automobiel- en voedingsmiddelenindustrie. Behalve op deep learning gebaseerde inspectieoplossingen ontwikkelt Tekvisa Engineering ook geavanceerde robotica en bin picking-toepassingen.
Identificeren en positioneren
Voor een fabrikant van kantoorwandpanelen heeft de automatiseringsspecialist een door een robot ondersteund picksysteem ontwikkeld op basis van industriële beeldverwerking met deep learning-algoritmen. De oplossing moet kunststof zakken met accessoires voor de wandplanken nauwkeurig detecteren, zodat robots deze veilig kunnen pakken. Tot nu toe werd deze taak handmatig uitgevoerd, wat veel tijd kostte en het hele proces verlengde. Om de productiviteit te verhogen, moest de gehele workflow worden geautomatiseerd. Ook wilde de klant medewerkers ontlasten van het eentonige positioneren van zakken, zodat ze zich kunnen wijden aan veeleisendere activiteiten.
Bij het ontwikkelen van een automatiseringsoplossing moest er rekening mee worden gehouden dat de zakken een verscheidenheid aan verschillende soorten accessoires bevatten. Denk hierbij aan schroeven, moeren en pluggen, pennen en markeerstiften om op de witte wandplanken te schrijven, pinnen voor de kurken wandpanelen of zelfs sponzen om de wandoppervlakken af te vegen. Hierdoor kunnen de zakken variëren in formaat en gewicht en verschillende verschijningsvormen hebben. Bovendien zijn ze willekeurig gevormd en kunnen ze door hun elasticiteit ook worden samengedrukt, uit elkaar getrokken of op andere wijze vervormd.
Beheersing met machine vision
Deze productvariatie stelde de ingenieurs van Tekvisa Engineering voor grote uitdagingen. Het doel was om op basis van machine vision een flexibele oplossing te ontwikkelen die op betrouwbare wijze alle denkbare typen en uitvoeringen van accessoiretassen herkent en zo veilige grijpprocessen mogelijk maakt. Belangrijk is dat het systeem op basis van hun positie en oriëntatie de zakken op de transportband moet identificeren die het beste door de robotarm kunnen worden opgepakt. Vanaf het begin was duidelijk dat de oplossing alleen kon bestaan uit een combinatie van klassieke beeldverwerkingsmethoden en technologieën gebaseerd op kunstmatige intelligentie zoals deep learning.
De opstelling bestaat uit een kleurencamera met hoge resolutie en speciale verlichting, die reflecties minimaliseert en zo de weg vrijmaakt voor nauwkeurige detectie van de betreffende zakinhoud. Het hart van de applicatie is een innovatief machine vision systeem. Dit identificeert de kunststof zakken op de transportband, zodat een robot ze nauwkeurig kan pakken. De zakken worden vervolgens kort voor het uiteindelijke verpakkingsproces nauwkeurig op de betreffende wandplaat geplaatst.
Beeldverwerking en deep learning
Op basis van de verschijningsvormen en posities van de zakken selecteert de beeldverwerkingsoplossing de optimale kandidaten voor het picken. Er wordt gebruik gemaakt van de standaard machine vision-software Halcon van MVTec. De software heeft een bibliotheek met meer dan 2.100 operators, waaronder moderne en krachtigste deep learning methoden. De deep learning-methode 'Objectdetectie' voldoet aan de vereisten van Tekvisa. Met behulp van de algoritmen die hier in zitten, wordt het systeem eerst uitgebreid getraind met voorbeeldbeelden. Zo leert de software de verschillende kenmerken van de zakken.
Dit leidt tot een robuust herkenningspercentage met een vrijwel oneindige variatie in de objecten. De zakken die niet zijn geselecteerd voor grijper worden gesorteerd en vervolgens teruggevoerd in het systeem. Door ze te herpositioneren, komen ze in een gunstiger positie op de transportband terecht, waardoor de robot ze beter kan oppakken en plaatsen voor verzending. Op deze manier kunnen ook overlappende en gestapelde zakken gepickt en gepickt worden. Het systeem kan tot zestig zakken per minuut analyseren en nauwkeurig identificeren met behulp van de geïntegreerde beeldverwerkingssoftware.
Camera en robot
Behalve deep learning technologieën zijn klassieke beeldverwerkingsmethoden verantwoordelijk voor de robuuste herkenningspercentages. Ook deze methoden zijn integraal onderdeel van Halcon. Behalve beeldopname en diverse tools voor het voorbewerken van de beelden is hand-oogkalibratie een belangrijk kenmerk. Dit is vooraf nodig zodat de robot tijdens bedrijf de zakken, die door een stationaire 2D-camera worden waargenomen, nauwkeurig kan vastpakken en plaatsen.
Tijdens hand-oogkalibratie wordt een kalibratieplaat aan de grijparm van de robot bevestigd en in het gezichtsveld van de camera gebracht. Vervolgens worden er meerdere afbeeldingen met verschillende posities van de robot gemaakt en berekend met de asposities van de robot. Het resultaat is een 'gemeenschappelijk' coördinatensysteem voor camera en robot. Hierdoor kan de robot de componenten pakken op de posities die direct eerder door de camera werden gedetecteerd. Door de objectpositie te bepalen met een nauwkeurigheid van 0,1 mm kan tijdens het grijpproces een trefferpercentage van 99,99% worden bereikt.
De hoge herkenningspercentages bij de grote verscheidenheid aan objecten maken de weg vrij voor end-to-end automatisering van het gehele proces rondom het verpakken van wandpanelen. Tekvisa Engineering profiteert ook van een verhoogde productiviteit en flexibiliteit om verschillende scenario’s binnen dezelfde applicatie in kaart te kunnen brengen.
Foto: Tekvisa