Piyush Bagad ontvangt KHMW Scriptieprijs Informatica en Informatiekunde

Voor zijn masterscriptie richtte Piyush zich op foundation-modellen. Dit is een revolutionaire klasse van nieuwe AI-systemen die emergent gedrag vertonen en indrukwekkende mogelijkheden bieden om tekst, afbeeldingen, computerprogramma's en meer te genereren, door te leren van enorme hoeveelheden gegevens. Bekende voorbeelden zijn ChatGPT, Bard en Stable Diffusion. Het gedrag van deze basismodellen wordt echter slecht begrepen en is vaak onvoorspelbaar. Piyush bestudeerde video funderingsmodellen en zet vraagtekens bij hun tijdsbewustzijn.

 

 

In het eerste deel van het proefschrift worden video-taalmodellen onderzocht op hun vermogen om eenvoudige 'voor' en 'na' relaties te onderscheiden, met behulp van synthetische gegevens, om vast te stellen dat geen van de zes moderne funderingsmodellen een eenvoudige tijdtest doorstaat. Verder wordt er een data-efficiënte post-pretraining procedure voorgesteld die een gevoel van tijd in zo'n model kan injecteren, zonder dat het opnieuw vanaf nul getraind hoeft te worden. Dit levert enorme computerbesparingen op. Het bijgewerkte model presteert goed in algemene temporele video-taal redeneertaken. Hiermee wordt voor het eerst aangetoond dat bestaande modellen voor videostichting kunnen worden 'bijgewerkt' om nieuw gedrag te introduceren.