20/06/2024
Door Ad Spijkers
Nieuwe, nauwkeurigere 3D-reconstructies geschikt voor autonoom rijden en bescherming van monumenten.
Onderzoekers van de Technische Universität München (TUM) zijn erin geslaagd nauwkeurige 3D-reconstructies van objecten te maken met behulp van beelden vanuit slechts twee cameraperspectieven. De objecten kunnen worden vastgelegd in hun natuurlijke omgeving. Tot nu toe waren hiervoor honderden cameraperspectieven of laboratoriumomstandigheden nodig. De op camera gebaseerde reconstructies kunnen worden gebruikt bij autonoom rijden of bij het behoud van historische monumenten.
Minder datapunten, nauwkeuriger beeld
De afgelopen jaren zijn neurale methoden voor op camera gebaseerde reconstructie populair geworden. Hiervoor zijn echter meestal honderden cameraperspectieven nodig. Aan de andere kant zijn er klassieke fotometrische methoden die nauwkeurige reconstructies berekenen vanuit een paar perspectieven, zelfs van objecten met een lage oppervlaktetextuur. Maar deze methoden werken doorgaans alleen in gecontroleerde laboratoriumomgevingen.
Het onderzoeksteam heeft een methode ontwikkeld die beide combineert processen. Hiertoe combineren de onderzoekers een neuraal netwerk van het oppervlak met een nauwkeurig model van het verlichtingsproces. Het houdt rekening met de afname van het licht met de afstand tussen het object en de lichtbron. Om te bepalen hoe het oppervlak is uitgelijnd met het licht en hoe ver het is verwijderd van de lichtbron kan de helderheid in de afbeeldingen worden gebruikt.
Hierdoor kunnen de onderzoekers objecten nauwkeuriger nabootsen uit een kleine hoeveelheid data dan met eerdere methoden mogelijk was. Ze kunnen de natuurlijke omgeving gebruiken voor hun reconstructies en ook objecten met slechts een lichte oppervlaktetextuur nabootsen.
Toepassing
Het proces kan worden gebruikt om historische monumenten te behouden of museumobjecten te digitaliseren. Als deze in de loop van de tijd worden vernietigd of vergaan, is het mogelijk om ze met behulp van foto's te reconstrueren en getrouw weer op te bouwen.
Het onderzoeksteam ontwikkelt ook op neurale camera's gebaseerde reconstructiemethoden voor autonoom rijden. Hier wordt de omgeving gefilmd met een camera. Een autonoom voertuig kan de omgeving in real-time nabootsen, een driedimensionaal begrip van de scène ontwikkelen en op basis hiervan beslissingen nemen.
Het proces is gebaseerd op neurale netwerken die 3D-puntenwolken van de wereld voorspellen voor individuele beelden van een video, die vervolgens worden samengevoegd tot een grootschalig model van de omgeving waar doorheen wordt gereisd.
Foto: Technische Universität München