Embodied Algorithm

by Daan van Gemert

Hoe kan AI helpen in het verhogen van immersie, bij het kijken van een film?

Immersie I Storytelling I Adaptieve film

Immersie bij de filmkijker verhogen door een data driven filmervaring voor thuis te maken, waarbij je lichamelijke input het verhaal beïnvloed.

Data driven filmervaring.

In het tijdperk waarin quick-content en thuisfilms de norm zijn geworden, is het noodzakelijk om de aandacht van het publiek te versterken. Door de 'heart rate variability' (HRV) te meten tijdens het kijken van een film kan er continu in real-time de mate van immersie van het publiek gemeten worden. Deze benadering maakt het mogelijk om een filmervaring adaptief te maken en dynamisch aan te passen aan de interesse van de kijker.

Still frame uit Heart-Line
Embodied Algorithm test

Wat is het?

Het Embodied Algorithm is een adaptieve filmervaring die de verhaallijn van een film verandert op basis van lichamelijke data, om de kijker zo immersief mogelijk te houden. Heart-Line is de adaptieve horrorfilm die speciaal voor het Embodied Algorithm gemaakt is. Tijdens het kijken wordt de hartslagvariabiliteit (HRV) van de kijker continu gemeten door een hartslagmonitor. Deze gegevens worden verwerkt in Max 8, waar het algoritme is gecodeerd. Verschillende tijdlijnen en eindes worden geselecteerd op basis van de gemeten HRV. Als de metingen aangeven dat de kijker minder betrokken is, schakelt de film naar een andere tijdlijn, waardoor de immersie behouden blijft.


Immersie.

Uit mijn onderzoek blijkt dat immersie in film neerkomt op intense betrokkenheid tijdens het kijken. Dit kan zowel emotioneel als op het gebied van stress en angst zijn. Immersie kan in real-time gemeten worden door het gebruik van hartslagvariabiliteit (HRV). HRV meet de variatie tussen hartslagen en kan aangeven of iemand ontspannen is of verhoogde stress ervaart. Voor dit project is gefocust op lage HRV, wat duidt op verhoogde alertheid en stress, kenmerken die uit mijn onderzoek blijken te passen bij een horrorfilm ervaring.

Poster Heart-Line
Still frame uit Heart-Line


Heart-Line

Bij het eindontwerp van dit afstudeerproject is een horrorfilm ontworpen om iemand zo betrokken mogelijk te houden. Vinden ze de ene tijdlijn niet interessant? Krijgen ze een andere te zien.

Geven de metingen aan dat de kijker de film interessant vindt, dan gaat het verhaal verder met tijdlijn 1, een psychologische horrorfilm. Blijkt uit de metingen dat de HRV niet onder een bepaald punt komt en dus niet laag is, dan krijgt de kijker tijdlijn 2 te zien, een sci-fi horrorfilm. Hetzelfde gebeurd nog één laatste keer om te bepalen welk einde de kijker krijgt. In tijdlijn 1 kan einde 1 of einde 2 gezien worden. In tijdlijn 2 kan einde 3 of einde 4 gezien worden.

Heart-Line flowchart

Conclusie

Door het meten van HRV toe te passen op het kijken van een film kan dus gezien worden of een persoon immersief betrokken is bij de film. Om constant immersief te blijven in een film is een eindproduct gemaakt waarin de kijker onbewust keuzes maakt voor de verhaallijn en het einde van hun film. Door lichamelijke input, HRV, heeft de kijker hun eigen film gecreëerd.

De relevantie van het eindproduct wordt nog duidelijker wanneer de huidige trends erbij gepakt worden. De groei van quick-content, de groeiende vraag naar interactieve en adaptieve content en de afname van bioscoopbezoeken door streamingsdiensten. Door deze trends naast elkaar te leggen wordt het duidelijk dat het eindproduct niet alleen de immersie verhoogd door in te spelen op de gemeten HRV, maar ook inspeelt op de verandering en behoefte van de moderne filmervaring.

Heart-Line alle tijdlijnen en eindes playlist