Sous-titrage et compréhension de films.

Sous-titrage et

compréhension de films

Jean-Marc LAVAURJean-Marc LAVAUR

Université Montpellier 3

Symposium SFP, 4 Septembre 2012

Cognition et Médias : La diversification des supports,

un atout à l’étude de la cognition

Psychologie et cinéma

Quels sont les facteurs psychologiques qui entrent

en jeu lorsque nous voyons les évènements qui se

produisent sur un écran (de cinéma) ? (Hugo Munsterberg ; Psychologie du cinématographe, 1916)

Les films

Films : format audiovisuel

complexe

Codes bien précis et cadrés

(genre cinématographique)

Au-delà d’une simple présentation

de signaux audiovisuels.

sources d’information différentes,

en constant changement.

Les films

Nombreuses connexions

référentielles entre ces

différentes sources

Cinéma : coordonner les

rythmes sonores et visuels

(Bordwell et Thompson, 2009)

Parenté entre les processus psychologiques et

les formes cinématographiques ( Cutting, 2005 ;

Smith et al., 2012).Environnement dynamique

(informations en flot continu)

Les films et les spectateurs

Induction du déplacement

de l'attention du spectateur

vers un élément (Bordwell

et Thompson 2009 ; Smith,

Levin et Cutting, 2012)

Analogie Visionnage à l’écran /

scène de la vie réelle ( processus

attentionnels légèrement différents ;

Smith, Levin et Cutting, 2012).

Informations du film mises en

relation avec les connaissances

préalables du spectateur

Engage l’intérêt de l’individu,

capte son attention l’incite

à faire des prédictions, des

inférences quant à la

situation (Ben-haul, 2003 ;

Neuman et Koskinen, 1992)

Les films et les spectateursEvènements à part entière

vécus par procuration par

le spectateur. (Zacks et

Magliano, 2011)

Certaines informations sont en relief et

prennent le pas sur les autres

informations présentées simultanément

(notion de saillance, Schmidt, 2001)

Assimiler, classer, hiérarchiser et

segmenter le flux audiovisuel (extraction

les unités d'information pertinentes

(Zacks, Speer, Swallow et Maley, 2010).

le traitement simultané de

ces informations permet

d’aboutir à la compréhension

et à la mémorisation du film

Informations présentes

dans un film

Nature des informations

verbal Non verbal

Films images, sons et paroles et textes.

dans un film verbal Non verbal

Mode deprésentation

Visuel Sous-titresSuite d’images

auditif dialoguesBruits, musique

7

Les sous-titresles textes écrits au centre du

processus de compréhension de film

dès le début du cinéma (intertitres)

Ils occupent une place

disponible sur l’écran sans

envahir outre-mesure l’image

Source d’information visuelle

supplémentaire

Apparition à l'écran : saillance physique

du message (Bordwell et Thompson,

2009 ; Smith, Levin et Cutting, 2012).

Perception des sous-titres

Sous-titres (nécessaires ou non) automatiquement

lus dès apparition à l'écran( Travaux de D’ydewalle

années 90; Van Lommel & al., 2006).

Capteurs de l'attention (Koolstra,

Peeters et Spinhof, 2002)

susceptibles de créer une surcharge cognitive

(redondance partielle : même information

(verbale) deux modalités différentes

(auditive et visuelle), dans deux langues.

Intègrent de nombreux éléments

en interactivité présents dans un

film (dialogues, sons divers,

musique, images en mouvement)

Rôle des sous-titres

Adapter le film au spectateur

(difficultés éventuelles dans la

compréhension des dialogues).

Rôle des sous-titres : aider à

la compréhension d’un film.

temps de présentation des

sous-titres adapté au temps

de lecture d'un lecteur

« moyen » (Cornu, 2008 ;

Koolstra et al., 1999)

Connaissance des langues à

l’écran (degré de nécessité

des sous-titres très variable)

Effet des sous-titres

Attention portée aux sous-titres très

variable ( indispensables ou superflus)

Effets positifs ou négatifs de la

présence de sous-titres à l’écran

dépendant de leur nécessité

Les sous-titres :

mal nécessaire

Présence de sous-titres à l'écran : effet de

partage de l'attention entre les sous-titres et

les images, charge cognitive élevée ( Lavaur

et Nava, 2008 ; d’Ydewalle et al., 2000).

mal nécessaire

mais bénéfice pour la compréhension

Expertise : niveau de maitrise

de la ou les langues, degré

d’habituation aux sous-titres,

compétences de lecture

Objectifs des recherches

Courtes séquences filmées ( Lavaur & Bairstow, 2011 ; Bairstow & Lavaur, 2012; Bairstow, 2012)

- Présence (ou l’absence) de sous-titres influence le traitement des dialogues et des éléments visuels d’un traitement des dialogues et des éléments visuels d’un

film ( compréhension, mémorisation, rappel de vocabulaire)

- Effet du type de sous-titrage (standard, intralangue, inversé) selon les niveaux de compétence des participants dans les différentes langues présentées à l’écran

- Comparer à situations contrôles (sous-titres absents)

Langues des dialogues

et des sous-titres• Version originale ou doublée : pas de sous-titres, pas de

redondance

Dialogues L1 Dialogues L2

Sous-titres L1 Intralangue standard

• Version sous-titrée standard : Dialogues dans la L2 (non

dominante), sous-titres dans la L1(dominante), redondance partielle

• Version sous-titrée inversée : Dialogues dans la L1 et sous-titres

dans la L2 redondance partielle

• Versions sous-titrées intralangues (dialogues et sous-titres dans

une même langue) forte redondance

Sous-titres L2 inversé intralangue

L1 français

L1 anglais

Film présenté en L2 (anglais) avec ou sans sous-titres (L1) Bairsow & Lavaur (2012)

Effet négatifs des sous-titres parce que superflus

Effets positifs

Score de compréhension globale de la séquence : Effet positif ou négatif

des sous-titres en fonction du degré de nécessité des participants

(connaissances de la langue des dialogues )

L1 anglaisEffets positifs des sous-titres parce que nécessaires

Double effet des sous-titres

• Effets positifs : meilleure compréhension des

dialogues et de la situation en général

• Effets négatifs : détérioration du traitement

des éléments dus à la lecture inutile des sous-

titres (guidage de l’attention)

Evolution de la compréhension globale

en fonction du niveau des participants (Lavaur & Bairstow, 2011)

25

30

35

Glo

bal c

ompr

ehen

sion

sco

re

Beginners

Effet du niveau de langue

Disparition de l’effet en présence de sous-titres interlangues

10

15

20

25

Original Version Intralingual Interlingual

Version of the film

Glo

bal c

ompr

ehen

sion

sco

re

Beginners

Intermediary

Advanced

Evolution de la compréhension des dialogues en fonction du niveau des

participants (Lavaur & Bairstow 2011)

1214161820

Mea

n sc

ore

for

dial

ogue

in

form

atio

n Beginners

L’évolution de la compréhension concerne principalement les dialogues

02468

10

Original Version IntralingualVersion

InterlingualVersion

Version of the film

Mea

n sc

ore

for

dial

ogue

in

form

atio

n

Intermediary

Advanced

Compréhension et acquisition de vocabulaire par films

(Bairstow & Lavaur, 2011)

6

8

10

12

Mea

n sc

ores

Comprehension

Effet du sous-titrage pour l’acquisition de mots de la L2

Effet du sous-titrage sur la compréhension

0

2

4

6

Original Dubbed Standard Reversed

Versions

Mea

n sc

ores

Vocabulary

Résultats

• Le sous-titrage favorise l’acquisition de mots

de la L2

• Le sous-titrage inversé (mots entendus dans

la L1 et écrits dans la L2) permet le meilleur la L1 et écrits dans la L2) permet le meilleur

gain d’apprentissage

• Le sous-titrage crée des liens entre les

équivalents de traduction dans les deux

langues

Effet du sous-titrage présent

pour tous types de mots

2,5

3

3,5

Mea

n sc

ores Easy

Effet différentiel en fonction du type de mots pour les 2 modes de sous-titrage

0

0,5

1

1,5

2

Original Dubbed Standard Reversed

Versions

Mea

n sc

ores Easy

Equivocal

Outdated

Les connexions entre équivalents de traduction sont faciles à établir à partir de la L1

Liens images / sous-titres

• Effets obtenus de plusieurs types de sous-

titres en fonction des liens avec les dialogues

mais également avec les images qui leur

correspondent.correspondent.

• Effet facilitateur du lien fort entre les sous-

titres et les images qui leur correspondent

Liens avec les modèles existants

• Nos résultats sont interprétés en fonction des

différents modèles de traitement des documents

multimédia (Mayer, 2005) et de la mémoire bilingue

(Kroll & Stewart, 1994)

Modèle hiérarchique révisé (Kroll & Stewart, 1994)

L1L1 L2L2

Dialogues / sous-titres

23

ConceptsConcepts

Multimedia learning (Mayer, 2005)

dialoguesdialogues

Sous-titres

Images

Merci de votre attention