10/11/2022
Door Ad Spijkers
Vijf Fraunhofer-instituten ontwikkelen gezamenlijk een energetisch zuinige en intelligente sensor voor de volgende generatie autonome systemen.
Momenteel gaat de trend voor complexe, veeleisende toepassingen zoals autonoom rijden richting mobiele supercomputers met een aanzienlijk toenemend energieverbruik. Vooral bij mobiele systemen leidt dit tot kortere gebruiksperioden of bereiken. Volgens de huidige voorspellingen zal het energieverbruik de komende decennia zelfs de grenzen van de wereldwijde energieproductie naderen.
Om een dergelijke escalatie tegen te gaan, vertrouwen de Fraunhofer-onderzoekers op gedecentraliseerde intelligentie die is afgestemd op de betreffende sensor en op nieuwe benaderingen voor energie-efficiënte gegevensverwerking. In het NeurOSmart stuurproject werken vijf instituten samen aan zo'n sensor. Na een projectduur van bijna een jaar presenteren ze het verwachte sensorsysteem en de hybride, neuromorfe dataverwerkingspijplijn op de vakbeurs Electronica (15-18 november in München).
LiDAR
Het basisidee van het ambitieuze project is om de dataverwerking zoveel mogelijk rechtstreeks in de sensor te integreren en door op elkaar afgestemde componenten zo zuinig mogelijk met energie om te laten gaan.
Het gewenste resultaat is een afstandssensor (LiDAR), die objecten detecteert en classificeert op basis van individuele pixels in een gezichtsveld van 90° x 90° op werkafstanden tot 12 m. Dit alles gebeurt in real-time, met verversingsfrequenties van meer dan 20 Hz en met een energieverbruik van enkele tientallen Watts. Dit systeem kan worden gebruikt als een veiligheidssysteem voor de samenwerking tussen mens en industriële robots en in de toekomst ook voor mobiele toepassingen.
De prestatie wordt mogelijk gemaakt door een groot aantal innovaties op het gebied van dataverwerking en sensortechnologie, die in dit project zijn gecombineerd.
Zuinig met energie
De onderzoekers willen met name de nadruk leggen op de voorbereiding en voorbewerking van ruwe data. Dit biedt een geïntegreerde oplossing voor de energetisch efficiënte berekening van AI-algoritmen op embedded hardware in real-time. Dit gebeurt via de verbinding van het RISC-V veelkerncluster AIRISC-N met het ingebedde AI-framework AIfES. Op deze manier wordt de hoeveelheid te interpreteren gegevens met een factor tien verminderd en is het mogelijk om alleen delen van de scène (regio van belang) te observeren. Dit vermindert opnieuw het energieverbruik en verhoogt de responstijden.
Behalve beeldverwerkingstoepassingen (LiDAR, thermische beeldvorming, zichtbaar) worden ook tijdreeksanalyses (akoestische monitoring, medische technologie) en AI-gebaseerde voorspellingen (predictive maintenance, storingsvoorspelling) ondersteund door middel van voorgeconfigureerde extensies. AIRISC Core en AI Framework AIfES zijn gratis beschikbaar via GitHub en kunnen worden gedownload als een vooraf geconfigureerd systeem uit de Intel Pathfinder Shop.
Versneller
De verdere data-interpretatie wordt geïmplementeerd op een nieuwe mixed-signal in-memory versneller, die de huidige alternatieven met ten minste twee ordes van grootte overtreft. Het hart van de versneller zijn zogenaamde ferro-elektrische veldeffecttransistoren (FeFET's), die zowel informatie kunnen opslaan als verwerken (in-memory compute). Op deze manier wordt het energieverslindende knelpunt in de communicatie tussen geheugen en rekenkern opgelost en kunnen complexe AI-processen ook in mobiele apparaten worden geïmplementeerd.
De voordelen van de nieuwe aanpak worden onderstreept door de parallelle ontwikkeling van bijzonder kleine en efficiënte modellen voor objectherkenning en classificatie. Ze zijn speciaal aangepast aan de sensor, aan nieuwe mogelijkheden van direct geïntegreerde elektronica en aan hun toepassingen. Het resultaat is een snelle responstijd, verhoogde gegevensbescherming en aanzienlijke energiebesparingen in vergelijking met de huidige trend van onpraktische of cloudgebaseerde oplossingen, die de voorkeur geven aan steeds grotere, meer energie-intensieve modellen.
Op de foto verzamelen NeuroSmart-onderzoekers initiële applicatie-specifieke trainingsdata voor de AI van het systeem. Foto: Fraunhofer Gesellschaft