Hartslaganalyse helpt deepfakes te ontmaskeren

Op de European Academy of Forensic Science-conferentie in Dublin presenteerden forensisch onderzoeker Zeno Geradts (Nederlands Forensisch Instituut en bijzonder hoogleraar aan de UvA) en zijn team een nieuwe techniek om deepfakes te detecteren: hartslagherkenning op basis van videobeelden.

De methode maakt gebruik van subtiele kleurverschillen in 79 zones van het gezicht – zoals onder de ogen, op het voorhoofd en bij de kaak – die worden veroorzaakt door de bloedstroom. Deze bloedvolumevariaties zijn waarneembaar in echte videobeelden, maar ontbreken meestal in door AI gegenereerde deepfakes.

Het onderzoek is ontwikkeld door Paula Pronk (NFI) en verder verfijnd door stagiair Sanne de Wit (TU Eindhoven/UvA). Zij vergeleek de optische signalen in video’s met hartslaggegevens van smartwatches en professionele meetapparatuur, ook onder verschillende lichtomstandigheden en bij beweging.

De inspiratie kwam uit eerder onderzoek van MIT (2012), dat liet zien dat gezichts-PPG (photoplethysmografie) kan worden gebruikt om hartslagen af te leiden uit videobeelden. Waar dat toen technisch nog onhaalbaar was vanwege beeldcompressie, maken moderne codecs het nu mogelijk om deze signalen voldoende intact te houden.

Het NFI ziet de methode als aanvulling op bestaande technieken zoals flikkeringanalyse (ENF), cameravingerafdrukken (PRNU) en visuele inspectie van bijvoorbeeld knipperpatronen. Volgens Geradts wordt deze vorm van bloedstroomdetectie nog niet toegepast binnen de forensiek, maar is ze veelbelovend voor zaken waarin beeldmateriaal ter discussie staat.

Lees het volledige artikel op de site van het Nederlands Forensisch Instituut.