14/02/2023
Door Ad Spijkers
De door AI aangestuurde robot Frida van Carnegie Mellon University in Pittsburgh werkt samen met mensen om schilderijen te maken.
Frida is een robotarm met een verfkwast als gereedschap. Hij wordt gebruikt kunstmatige intelligentie om met mensen samen te werken aan kunstwerken. Vraag Frida om een schilderij te schilderen en hij gaat aan de slag om het penseel op het canvas te zetten. De robot is genoemd naar de Mexicaanse surrealistische kunstschilderes Frida Kahlo. Frida staat hier voor Framework and Robotics Initiative for Developing Arts.
Geen kunstenaar
Frida is een robotachtig schildersysteem, maar Frida geen kunstenaar, aldus de ontwikkelaars. De robot genereert niet de ideeën om te communiceren. Het is een systeem waarmee een artiest zou kunnen samenwerken. De artiest kan doelen op hoog niveau specificeren voor Frida en deze kan ze vervolgens uitvoeren.
Frida is een project dat de kruising van menselijke en robotcreativiteit onderzoekt, aldus de ontwikkelaars. De robot gebruikt het soort AI-modellen dat is ontwikkeld om dingen te doen zoals bijschriften en de inhoud van scènes te begrijpen en toe te passen op dit artistieke generatieve probleem.
Het hoofddoel van het Frida-project is niet dat Frida de banen van kunstenaars gaat overnemen. De onderzoekers willen de menselijke creativiteit promoten via Frida. Kunstenaars kunnen samenwerken met Frida om hun ideeën uit te drukken in de schilderkunst.
AI en ML
Gebruikers kunnen Frida sturen door een tekstbeschrijving in te voeren, andere kunstwerken in te dienen om de stijl ervan te inspireren, of een foto te uploaden en te vragen er een weergave van te maken. Het team experimenteert ook met andere ingangen, waaronder audio. Ze speelden 'Dancing Queen' van Abba en vroegen Frida om het te schilderen.
De robot maakt gebruik van AI-modellen die vergelijkbaar zijn met tools zoals OpenAI's ChatGPT en DALL-E 2, die respectievelijk tekst of een afbeelding genereren als reactie op een vraag. Frida simuleert hoe het een afbeelding schildert met penseelstreken en gebruikt machine learning (ML) om de voortgang te evalueren terwijl het werkt.
De eindproducten zijn impressionistisch en grillig, de penseelstreken zijn vet. Ze missen de precisie die zo vaak wordt gezocht bij robotinspanningen. Als Frida een fout maakt, riffs het erop en neemt de dwalende verfvlek op in het eindresultaat.
Tools
Frida maakt tijdens haar artistieke proces meerdere keren gebruik van AI en machine learning. Ten eerste besteedt het een uur of langer aan het leren gebruiken van zijn penseel. Vervolgens gebruikt het grote vision-taalmodellen die zijn getraind op grote datasets die tekst en afbeeldingen koppelen die van internet zijn geschraapt, zoals OpenAI's Contrastive Language-Image Pre-Training (CLIP), om de input te begrijpen. AI-systemen gebruiken deze modellen om op basis van een vraag nieuwe tekst of afbeeldingen te genereren.
Andere tools voor het genereren van afbeeldingen, zoals DALL-E 2 van OpenAI, gebruiken grote vision-taalmodellen om digitale afbeeldingen te produceren. Frida gaat nog een stap verder en gebruikt zijn belichaamde robotsysteem om fysieke schilderijen te maken.
Een van de grootste technische uitdagingen bij het produceren van een fysiek beeld is het verkleinen van de kloof tussen simulatie en werkelijkheid, het verschil tussen wat Frida in simulatie samenstelt en wat het op het canvas schildert. De robot gebruikt een idee dat bekend staat als 'real2sim2real'. De eigenlijke penseelstreken van de robot worden gebruikt om de simulator te trainen om de fysieke mogelijkheden van de robot en het schildermateriaal te weerspiegelen en na te bootsen.
Het team van Frida probeert ook enkele van de beperkingen van de huidige grote visie-taalmodellen aan te pakken door de modellen die ze gebruiken voortdurend te verfijnen. Het team gaf de modellen de koppen van nieuwsartikelen om het een idee te geven van wat er in de wereld gebeurde en trainde ze verder met afbeeldingen en tekst die meer representatief waren voor diverse culturen om Amerikaanse of westerse vooringenomenheid te vermijden.Daarbij is gebruik gemaakt van trainingsdata uit China, Japan, Zuid-Korea, Mexico, Nigeria, Noorwegen, Vietnam en andere landen.
Penseel en verf
De menselijke gebruiker van Frida specificeert een concept op hoog niveau van het schilderij dat hij of zij wil maken. De robot gebruikt machine learning om de simulatie te maken en een plan te ontwikkelen om een schilderij te maken om de doelen van de gebruiker te bereiken. Frida toont een kleurenpalet op een computerscherm dat een mens kan mixen en aan de robot kan geven. Automatische verfmenging wordt momenteel ontwikkeld.
Gewapend met penseel en verf zal Frida haar eerste slagen maken. Om de zoveel tijd gebruikt de robot een camera boven het hoofd om een beeld van het schilderij vast te leggen. De afbeelding helpt Frida de voortgang te evalueren en, indien nodig, haar plan te verfijnen. Het hele proces duurt uren.
De wetenschappelijke publicatie vindt u hier (link opent een PDF).
Foto: Carnegie Mellon University