Het uitvoeren van een computer vision-model is een dure operatie. U heeft veel middelen en tijd geïnvesteerd in het bouwen van uw model. Nu blijkt dat het aanhouden van de lichten misschien nog duurder is. En dan besef je dat dit ook nog eens veel energie gaat kosten.
Tijdens deze lezing zal Steven van Blijderveen uitleg geven over Convolutional Neural Networks (CNN) en verschillende soorten compressiemethoden die beschikbaar zijn voor CNN's, zoals kwantisering en snoeien. Kwantisering verwijst naar het proces waarbij het aantal bits dat een getal vertegenwoordigt, wordt verminderd. In de context van neurale netwerken betekent dit het gebruik van formaten met een lagere precisie om gewichten en activeringen weer te geven, wat kan leiden tot aanzienlijke verkleiningen van de modelomvang. Snoeien is een compressietechniek waarbij onnodige verbindingen of gewichten in een neuraal netwerk worden geëlimineerd. Als we ons bijvoorbeeld een neuraal netwerk voorstellen als een enorm web van onderling verbonden neuronen, kan snoeien worden vergeleken met het afsnijden van de minder belangrijke verbindingen, waardoor het netwerk zich kan concentreren op de belangrijkere.
Naast uitleg over dit soort compressie zal Steven ook spreken over kennisdistillatie, een techniek waarbij een compact neuraal netwerk, bekend als de student, wordt getraind om een groter, complexer netwerk of ensemble van netwerken, bekend als de leraar, te imiteren. . Het studentennetwerk leert van de output van het lerarennetwerk in plaats van van de ruwe data, waardoor het met een fractie van de middelen vergelijkbare prestaties kan bereiken.
Matthijs Plat zal uitleggen over de oplossing die AIminify heeft gebouwd voor het hoge energieverbruik en hoe deze kan worden ingezet in de wereld van AI.
Het evenement is in het Engels. Voor meer informatie en aanmelding kunt u terecht op de evenementenpagina.
