Information Semantic Integration through Communities of Intelligence online Emetteur Rubiela Silva Olivares Relecteurs Claire Prendleloup, Alain Giboin Date 06/09/2012 Référence ISICIL-DOC-livrable-final-Tests-ADEME Version 1.4 Destinataires Membres ISICIL Projet ISICIL : Intégration Sémantique de l'Information par des Communautés d'Intelligence en Ligne Appel ANR CONTINT 2008 ANR-08-CORD-011-05 03/09/2012 Tests d’usage de la plate- forme ISICIL à l’ADEME EVALUATION SOCIO-ERGONOMIQUE
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Information Semantic Integration through Communities of Intelligence online
Emetteur Rubiela Silva Olivares
Relecteurs Claire Prendleloup, Alain Giboin
Date 06/09/2012
Référence ISICIL-DOC-livrable-final-Tests-ADEME
Version 1.4
Destinataires Membres ISICIL
Projet ISICIL :
Intégration Sémantique de l'Information par des Communautés d'Intelligence en Ligne
Appel ANR CONTINT 2008 ANR-08-CORD-011-05
03/09/2012
Tests d’usage de la plate-forme ISICIL à l’ADEME EVALUATION SOCIO-ERGONOMIQUE
Tests d’usage de la plate-forme ISICIL à l’ADEME (livrable du projet ANR ISICIL – 06/09/2012)
2
Tests d’usage de la plate-forme
ISICIL à l’ADEME
EVALUATION SOCIO-ERGONOMIQUE
Table des matières 1 Introduction .............................................................................................................. 5
2 Tests d’évaluation d’ISICIL par un échantillon représentatif de membres de
8.4 Annexe 4 : Heuristiques pour collecticiels et évaluation d’ISICIL en fonction
de ces heuristiques .................................................................................................... 22
Tests d’usage de la plate-forme ISICIL à l’ADEME (livrable du projet ANR ISICIL – 06/09/2012)
4
Avant-propos aux deux livrables sur les tests d’usage de la plate-forme ISICIL LA PLATE-FORME ISICIL a fait l’objet de plusieurs tests d’usage dans les deux organisations cibles du projet ISICIL : l’ADEME et Orange Labs. L’objectif de ces tests était d’évaluer l’utilité et l’utilisabilité de la plate-forme ISICIL pour ces deux organisations et de déterminer si un déploiement de la plate-forme pouvait être envisagé dans ces deux organisations à l’issue du projet ISICIL. Ces tests sont présentés dans deux livrables distincts. La raison principale réside dans la différence d’approche des tests prise par chacune des deux organisations. Cette différence peut se caractériser ainsi :
Les tests ADEME ont été conduits dans un esprit de co-conception avec les utilisateurs, ce qui n’a pas été le cas pour les tests Orange Labs.
Les tests Orange Labs ont consisté pour l’essentiel en des évaluations expertes (i.e., des évaluations conduites par un expert, sans utilisateur). Les tests ADEME, en revanche, ont consisté à la fois en des évaluations expertes et en des tests impliquant des utilisateurs ; ces derniers ont été réalisés à partir de scénarios simulant des situations réelles.
Les tests Orange Labs ont porté davantage sur l’utilisabilité de la plate-forme, alors que les tests ADEME ont porté à la fois sur l’utilité et l’utilisabilité. Rappelons qu’un test d’utilité a pour but d’évaluer la capacité de l’outil (de ses fonctionnalités) à assister les tâches des utilisateurs et qu’un test d’utilisabilité a pour but d’évaluer la facilité avec laquelle les utilisateurs peuvent réaliser leurs tâches.
Les tests Orange Labs ont porté essentiellement sur les pratiques individuelles des utilisateurs. Les tests ADEME ont porté à la fois sur les pratiques individuelles et les pratiques collectives des utilisateurs.
Une réflexion, à partir des tests, sur le déploiement possible d’ISICIL est en cours à l’ADEME ; cette réflexion implique des décisionnaires. Aucune réflexion sur le déploiement d’ISICIL n’est envisagée chez Orange Labs.
En un mot, les tests ADEME ont été plus proches des utilisateurs et plus complets que les tests Orange Labs. En cela, ils peuvent être considérés comme plus représentatifs du point de vue d’utilisateurs réels.
Tests d’usage de la plate-forme ISICIL à l’ADEME (livrable du projet ANR ISICIL – 06/09/2012)
5
1 Introduction
Le présent livrable ISICIL rend compte de façon résumée :
- des tests d’ISICIL réalisés avec un échantillon d’Adémiens du 2 mai au 8 juin dans le cadre du projet ANR
- et d’une étude post-tests réalisée dans le but de déterminer l’utilisation effective possible d’ISICIL au sein de la communauté Recherche de l’ADEME (cette étude a consisté en des entretiens avec plusieurs membres de cette communauté).
Les objectifs de l’ADEME, la méthode utilisée et les résultats de chaque intervention, font partie de ce résumé. A la fin un bilan mettant en relation les résultats des évaluations, expérimentations et entretiens est présenté ainsi que les perspectives envisagées à l’ADEME pour la plate-forme ISICIL.
Tests d’usage de la plate-forme ISICIL à l’ADEME (livrable du projet ANR ISICIL – 06/09/2012)
6
2 Tests d’évaluation d’ISICIL par un échantillon représentatif
de membres de l’ADEME1
2.1 Objectifs Cette évaluation a été réalisée pendant la période couverte par le projet ANR, en relation avec les
partenaires du projet. Le but de l’expérimentation à l’ADEME a été de valider la plate-forme
ISICIL à trois niveaux :
Au niveau de son utilité (fonctionnelle), évaluer si la plate-forme est utile pour atteindre
les objectifs/processus métiers, pour accomplir les tâches/fonctions de la Veille.
Au niveau de son utilisabilité, évaluer les trois principaux critères ergonomiques :
efficacité, efficience et satisfaction lors de l’interaction avec la plate-forme.
Au niveau des usages, avec l’analyse des pratiques et les formes de collaboration.
L’ADEME a aussi ses propres objectifs auxquels ISICIL pourrait contribuer. Ceux-ci nous
renvoient à l’utilité d’ISICIL et aux usages collaboratifs :
Valoriser et améliorer l’expertise interne :
Identifier les communautés invisibles.
Mutualiser les ressources humaines et matérielles de l’expertise.
Pallier l’éclatement géographique des personnes.
Encourager la collaboration dans la veille.
2.2 Méthode
2.2.1 Utilisateurs : Un échantillon de 19 Adémiens a participé aux tests. Ces testeurs présentaient l’un des trois profils
utilisateurs suivants : doctorant, ingénieur et documentaliste. Tous les testeurs ont participé de
manière volontaire.
Dans le tableau suivant, les utilisateurs/testeurs sont présentés classés par profil. La colonne
« Utilisateur » indique les initiales des noms des utilisateurs et leur sujet d’étude pour les profils
doctorants, ou leur rôle pour les profils ingénieur et documentaliste. La colonne « Participation aux
expérimentations » présente les types de séances expérimentales auxquelles chaque utilisateur a
participé :
Séances individuelles (SI).
Séances en présentiel (cheminement cognitif guidé) (SPr).
Séances collaboratives (séances en ligne avec plusieurs utilisateurs, via le chat) (SC).
Focus Group (FG).
1 Cette section résume l’étude présentée plus en détails dans le rapport « Accompagnement de l’expérimentation d’un outil de veille collaborative » (voir Annexe 1).
Tests d’usage de la plate-forme ISICIL à l’ADEME (livrable du projet ANR ISICIL – 06/09/2012)
7
Profil d’utilisateur
Utilisateur Spécialité Participation aux expérimentations (*)
Doctorants
AL « Militants et riverains dans la dynamiques des causes environnementales. Approche sociologique des syndromes d'hypersensibilité »
SI, FC
DM « La gestion contractuelle des risques environnementaux » SI, SC, FG MP « Etude des effets respiratoires d’expositions répétées à des aérosols de Np d’oxyde de
manganèse et de fer, par inhalation chez la souris » SI, FG
PL « Limiter les risques de verrouillage technologique. Accès aux connaissances scientifiques et accompagnement de l'innovation dans le développement agricole : Le cas de l'Agriculture de Conservation »
SI, FG
LR « Milieux urbains et ambiances thermiques : Influence de la plantation des arbres sur l'effet de refroidissement de la température de l'air et son impact sur le confort thermique. Cas de villes d’Aix-en-Provence et Marseille »
SI
MO « Développement et mise en place d'une méthode de classification multicritère du parc de bâtiments à usage de bureaux (qualité de l’air intérieur - santé - confort - performance énergétique) »
SI
AB « Conception et développement d'un système d'information d'aide à la mobilité : une approche multi-agent pour la recherche et la composition des services dans un espace ubiquitaire »
SI
SD « La gestion contractuelle des risques environnementaux » SI, SC SS « Vulnérabilité des espaces touristiques littoraux atlantiques au changement climatique
simulé pour le XXIème siècle et alternatives d’adaptation « étude comparée entre les littoraux aquitain et Sud marocain (Souss Massa Drâa) »
SI, SC
Ingénieurs
AA Ingénieur expert au Service Bâtiment SI, SPr, SC, FG FP chef de projet au Service Systèmes d’information SI, SC, FG
MCh Ingénieur au Service Transport et Mobilité SI, FG RV Ingénieur apprenti au Service Organisations Urbaines SI, SPr, FG NB économiste au Service Economie et Prospective SI HD Ingénieur coordinateur de secteurs au Service Bâtiment SI, SPr, SC AG Socio-économiste au Service Economie et Prospective SI EC Animatrice de secteur à la Direction Régionale PACA SI EF Ingénieur stagiaire au Service Recherche et Technologies Avancées SI
Documentaliste MC Documentaliste au Service Communication Professionnelle et Technique SI, SPr, SC, FG (*) SI : Séances individuelles SPr: Séances en présentiel (cheminement cognitif guidé) SC: Séances collaboratives (séances en ligne avec plusieurs utilisateurs, via le chat) FG: Focus Group
Tests d’usage de la plate-forme ISICIL à l’ADEME (livrable du projet ANR ISICIL – 06/09/2012)
8
2.2.2 Procédure :
2.2.2.1 Mise au point de la plate-forme et de l’expérimentation Afin d’offrir aux utilisateurs-testeurs un prototype ISICIL opérationnel pour réaliser leurs activités de
veille, une mise au point de la plate-forme et de l’expérimentation a été réalisée conjointement par le
développeur de la plate-forme et chef de projet ISICIL (Nicolas Delaforge, équipe Edelweiss/Wimmics
de l’INRIA) et le groupe d’observateurs de l’expérimentation (Rubiela Silva Olivares, ergonome
stagiaire au service SRTA de l’ADEME, Claire Prendleloup, chargée d’études au service SRTA de
l’ADEME, Alain Giboin chercheur psychologue ergonome de l’équipe Edelweiss/Wimmics de l’INRIA,
Mylène Leitzelman post-doctorante Telecom Paris-Tech, et Dasaraden Mauree, Doctorant ADEME).
Parmi les activités réalisées par les observateurs pour mettre au point la plate-forme et
l’expérimentation, on citera :
Des réunions entre observateurs seuls.
Des réunions entre observateurs et utilisateurs (atelier « Veiller ensemble »).
La réalisation des scénarios et consignes.
La rédaction des contenus de guidage des utilisateurs (des documents et des pages Wiki).
L’évaluation experte à partir des heuristiques ergonomiques et l’enregistrement de cette
évaluation dans le système Trac de gestion d’évolutions d’ISICIL.
La passation de l’expérimentation (suivi des consignes) par le groupe observateur.
2.2.2.2 Passation de l’expérimentation Dans un deuxième temps, la passation de l’expérimentation a été effectuée dans un esprit de co-
conception avec les utilisateurs. Sa durée a été d’un mois et plusieurs activités ont été réalisées, parmi
lesquelles :
La passation du questionnaire de pratiques de veille fourni par Orange Labs.
Les sessions individuelles pour l’exploration et découverte de l’outil.
Des sessions de cheminement cognitif guidé, réalisées de manière individuelle avec 4
participants.
Des sessions collaboratives en ligne supportées par les fonctionnalités de communication de la
plate-forme : chat et fonctionnalité « Commentaires » disponible sur les pages Wiki d’ISICIL.
La réunion d’échanges (« Focus Group ») avec des utilisateurs.
2.3 Résultats
2.3.1 Motivations à utiliser ISICIL La réunion d’échanges (« Focus Group ») a été une opportunité pour connaître les avis et retours des
participants à l’expérimentation ainsi que leurs motivations pour faire partie du panel de testeurs.
Le tableau ci-dessous décrit les motivations telles qu’exprimées par les 9 testeurs qui ont participé au
Focus Group (sur 19 testeurs du panel) :
Tests d’usage de la plate-forme ISICIL à l’ADEME (livrable du projet ANR ISICIL – 06/09/2012)
9
Profil Utilisateur Motivations Doctorants AL [n.d. ]>Travail collectif
DM Veille> Travailler ensemble, travailler en réseau
MP Veille> Apprendre à utiliser un système de veille
PL Décision> Utilisation des connaissances pour la décision
Ingénieurs AA
Créativité, Innovation, Design> Technologies pour améliorer la connaissance des impacts environnementaux | Laisser les gens s’exprimer (cf. esprit wiki) et partager
FP
[n.d. ]>Partage d’information et de documents
MCh
Veille (en mode « bricolage »)> Travail collaboratif
RV
Veille> Meilleur fonctionnement de la veille avec un système d’échange et réseau social | Etablir des contacts
Documentaliste
MC
Veille, Diffusion, Collecte, Alerte> plates-formes collaboratives | Fournir de nouvelles fonctionnalités collaboratives au groupe d’échange SeeMy de l’ADEME, des fonctionnalités non supportées par SeeMy (*)
(*) SeeMy : plate-forme de réseau social d'entreprise.
Ces motivations ont été regroupées par catégories dans le tableau ci-dessous :
Tests d’usage de la plate-forme ISICIL à l’ADEME (livrable du projet ANR ISICIL – 06/09/2012)
10
Profil
Utilisateur
Motivations (en termes de :) Activité à supporter Modalité de l’activité
Veille Diffusion Collecte Alerte
Créativité Innovation
Design
Gestion des connaissances
Décision
Travail collectif Travail collaboratif
Travail en réseau Travail individuel
Doctorants AL DM MP (1) PL (2)
Ingénieurs AA (3) FP (3)
MCh RV (3)
Documentaliste MC 1) apprendre à utiliser un logiciel de veille 2) utilisation des connaissances pour la décision 3) partage d’informations et de documents ; échanges
Tests d’usage de la plate-forme ISICIL à l’ADEME (livrable du projet ANR ISICIL – 06/09/2012)
11
2.3.2 Évaluation de l’utilité et des usages collaboratifs Les expérimentations avec les utilisateurs ont permis de :
Avoir une visibilité 1) des réseaux d’Adémiens qui travaillent à des sujets connexes, 2) des
membres des autres réseaux.
Mettre à jour des communautés invisibles.
Construire de nouveaux réseaux grâce à la mise en relation de membres sensibles à des
thématiques en commun.
Repérer l’expertise interne sur des thématiques précises à travers des cartographies.
Découvrir d’autres profils possibles d’utilisateurs. Pour l’expérimentation, on a considéré des
profils à partir des rôles institutionnels à l’ADEME (doctorant, ingénieur, documentaliste), mais
d‘autres typologies de profils pourraient être définies. Par exemple selon les pratiques de veille :
personnes qui collectent des informations, personnes qui diffusent ces informations, etc. Dans ce
cas, la plate-forme devrait se focaliser sur les fonctionnalités qui permettent de réaliser l’étape de
veille cible.
2.3.3 Évaluation de l’utilisabilité d’ISICIL En termes généraux, le premier prototype de la plate-forme a été validé aux niveaux de l’utilité et des
usages collaboratifs. Mais il faut améliorer plusieurs aspects de son utilisabilité.
L’utilisabilité a été évaluée par des évaluations heuristiques. « L’évaluation heuristique consiste à
inspecter une interface en évaluant le degré d’application d’une liste de lignes directrices établies
(critères ou heuristiques) de façon détecter les aspects positifs et négatifs du point de vue de l’utilisabilité
et à en déduire des recommandations d’amélioration adaptées… Elle n’implique pas directement des
utilisateurs… 2» Elle est réalisée par des experts, d’où son appartenance à la catégorie des « évaluations
expertes ». Deux types d’évaluations expertes à base d’heuristiques ont été réalisés :
Une évaluation experte classique à partir des heuristiques « individuelles » de Nielsen et de
Bastien & Scapin pour identifier les problèmes et leur sévérité lors de l’interaction d’un utilisateur
(un individu en face de son ordinateur). Ses résultats sont consignées dans le rapport
« Accompagnement de l’expérimentation d’un outil de veille collaborative » (voir annexe 1).et,
une évaluation experte à partir des heuristiques « collectives » pour l’évaluation de
Tests d’usage de la plate-forme ISICIL à l’ADEME (livrable du projet ANR ISICIL – 06/09/2012)
12
plate-forme pour l’utilisateur. L’une des possibilités pour résoudre ce problème serait de choisir quelques
fonctionnalités pour les faire évoluer jusqu’à obtenir la satisfaction de l’utilisateur lors de son interaction.
3 Étude post-tests : Evaluation d’ISICIL par la communauté
Recherche de l’ADEME
3.1 Objectifs Suite à l’analyse de données issues de cette première évaluation d’ISICIL, une réunion avec la Directrice de
la Recherche et Prospective de l’ADEME (qui dépend de la Direction exécutive Stratégie, Recherche,
International) a permis de définir les perspectives pour ISICIL à l’ADEME.
Dans le but d’outiller la communauté recherche à l’ADEME, il a été convenu de réaliser une
deuxième phase d’évaluation d’ISICIL destinée à :
Vérifier que les fonctionnalités d’ISICIL correspondent aux besoins de la communauté Recherche.
Préciser, généraliser les résultats, en interviewant des ingénieurs de la communauté Recherche de
l’ADEME n’ayant pas participé au panel de testeurs ISICIL.
(En fonction des résultats obtenus à l’issue de la phase de vérification et de
précision/généralisation) Prendre ou non la décision de déployer ISICIL à l’ADEME (déployer =
implémenter un ISICIL ADEME et le faire utiliser par les membres de la communauté
Recherche).
L’objectif de la démarche définie par la Directrice de la Direction Recherche et Prospective a donc été
d’évaluer la possibilité de mettre à profit la plate-forme ISICIL pour la veille et l’animation
de la recherche à l’ADEME, plus spécifiquement de :
Identifier les besoins et les pratiques de veille et d’animation de la recherche.
Vérifier si les fonctionnalités existantes dans ISICIL répondent à ces besoins, ou si des évolutions
sont nécessaires.
Vérifier si d’autres outils répondent mieux à ces besoins.
D’autres aspects font partie de la réflexion autour de l’utilisation d’ISICIL par la communauté recherche
ADEME:
La définition du périmètre de l’outil ISICIL (les domaines d’utilisation).
La définition de la communauté Recherche à l’ADEME (que recouvre cette communauté ? les
ingénieurs ADEME seulement ? les ingénieurs et les doctorants ADEME ? les ingénieurs et
doctorants ADEME + les partenaires externes de l’ADEME ?).
Le contrôle des avis personnels qui ne représentent pas l’entreprise.
Tests d’usage de la plate-forme ISICIL à l’ADEME (livrable du projet ANR ISICIL – 06/09/2012)
13
3.2 Méthode Sachant que l’intérêt de l’ADEME porte sur l’utilisation de la plate-forme ISICIL par la
communauté Recherche afin de l’outiller et de répondre à ses besoins de veille et
d’animation, les activités suivantes ont été programmées pendant la fin du mois de juillet et le mois
d’août 2012 :
reprendre les observations notées lors des séances en présentiel (entretiens) avec trois testeurs du
panel d’expérimentation : AA, HD et RV ;
réaliser des réunions avec plusieurs utilisateurs potentiels d’ISICIL. Parmi ceux qui ont été
suggérés par la Directrice de la Recherche et Prospective figurent un ingénieur animateur de la
recherche (NT) et un ingénieur chargé d’études (recherche) (DV).
3.2.1 Utilisateurs :
Le tableau ci-dessous fournit la liste des utilisateurs dont les retours ont été pris en considération pour
l’étude post-tests.
INGENIEURS AYANT PARTICIPE AUX EXPERIMENTATIONS Ingénieur Rôle
AA Ingénieur expert au Service Bâtiment HD Ingénieur coordinateur de secteurs au Service Bâtiment RV Ingénieur apprenti au Service Organisations Urbaines
INGENIEURS N’AYANT PAS PARTICIPE AUX EXPERIMENTATIONS Ingénieur Rôle
NT Ingénieur animateur au Service Recherche et Technologies Avancées DV Ingénieur chargé d’études (recherche) au Service Recherche et Technologies Avancées
3.2.2 Procédure Présentation des fonctionnalités de la plate-forme.
Entretiens.
Utilisation de la plate-forme par les utilisateurs : installation et tâches imposées (même consignes
données aux utilisateurs du profil « ingénieur » à la passation des expérimentations).
Echanges par mail, téléphone, visioconférence, et/ou réunion en présentiel (pour les utilisateurs
du Centre ADEME de Valbonne).
Analyse de données (prises de notes, traces d’activité au serveur, etc.) pour identifier les
fonctionnalités à retenir, à faire évoluer et les nouvelles fonctionnalités demandées.
Mise en relation les données obtenues aux entretiens avec les résultats de l’évaluation experte
réalisée à partir des heuristiques pour évaluer la dynamique de collaboration et la gestion de
l’information dans les collecticiels (voir Annexe 4).
Tests d’usage de la plate-forme ISICIL à l’ADEME (livrable du projet ANR ISICIL – 06/09/2012)
14
3.3 Résultats Le résumé des entretiens avec les 2 utilisateurs n’ayant pas participé aux expérimentations est présenté dans les deux tableaux ci-dessous. Les détails et notes
des entretiens sont consignés en Annexe 2 (« Fiches des entretiens »).
Résumé des besoins exprimés par les 2 ingénieurs n’ayant pas participé aux expérimentations Profil
d’ingénieur Ingénieur Besoin
Partage/Échange de
ressources
Édition collaborative Constitution de groupes
Indexation (tagging) Notification
Animation/ coordination de groupes
NT Ingénieur animateur au SRTA
(1)(2)
– (6)
(7)(8)
–
Ingénieur chargé d’études
DV Ingénieur chargé d’études
(recherche) au SRTA
(2)(3)
(4)(5)
(6)
– (9)
(1) échanger (envoyer/ recevoir) documents (2) partager documents (3) partager sites Web (4) créer documents à plusieurs (5) créer pages à plusieurs (6) créer groupes de travail (7) tagging de documents (8) tagging de pages Web (9) notifier la création de pages Web
Tests d’usage de la plate-forme ISICIL à l’ADEME (livrable du projet ANR ISICIL – 06/09/2012)
15
Par rapport au type de la ressource manipulée (échangée, partagée, éditée, indexée, …), un autre tableau peut illustrer les besoins des utilisateurs :
Résumé des besoins exprimés par les 2 ingénieurs n’ayant pas participé aux expérimentations (selon type de la ressource manipulée) Profil
d’ingénieur Ingénieur Besoin
créer groupes de travail
échanger (envoyer/ recevoir) documents
créer documents à plusieurs
tagging de documents
partager documents
partager sites Web
créer pages à plusieurs
notifier la création de pages Web
tagging de pages Web
Animation/ coordination de groupes
NT Ingénieur animateur au SRTA
Ingénieur chargé d’études
DV Ingénieur chargé d’études
(recherche) au SRTA
* Par « documents », on désigne des fichiers qui ne sont pas forcément accessibles en ligne (sur une adresse Internet)
A partir des entretiens réalisés avec les ingénieurs NT et DV, on peut penser à deux profils dans la communauté recherche :
Animateur /coordinateur de groupes
Ingénieur chargé d’études
L’outil ISICIL devrait donc offrir des fonctionnalités adaptées aux besoins de chaque profil utilisateur.
Les besoins exprimés témoignent de deux tendances :
la gestion de ressources en ligne (sites Web, pages Web)
la gestion de ressources du type documents qui ne sont pas en ligne
Parmi les actions qui permettent la « gestion », on peut citer celles-ci : créer, échanger, partager, notifier, et le tagging sur les ressources.
16
On pourrait penser que, pour le profil « Animateur /coordinateur de groupes », les besoins portent
plutôt sur la gestion de ressources du type documents qui ne sont pas en ligne, et pour le profil
« Ingénieur chargé d’études » les besoins couvrent la gestion de ressources qui sont ou ne sont pas en
ligne. Ces hypothèses doivent être vérifiées.
On notera qu’il existe un besoin commun aux 2 profils utilisateur : la création de groupes de travail qui
traitent des sujets plus précis ou sous thématiques. Ce besoin pourrait être satisfait par la
fonctionnalité de « création de groupes de travail » implémentée initialement dans ISICIL, mais qui
n’a pas été incluse dans le prototype ISICIL fourni aux utilisateurs-testeurs de l’ADEME. Cette
fonctionnalité devrait être réintroduite dans la plate-forme destinées à la communauté Recherche de
l’ADEME.
Les principaux résultats des interviews des 5 utilisateurs mentionnés auparavant sont présentés dans
et « EvalHeurist COLLECT + entretien » (voir Annexe 4).
4 Mise en relation des entretiens avec l’évaluation experte
réalisée à partir des heuristiques pour collecticiels
Le document « Résumé des Heuristiques GroupWare et évaluation experte d’ISICIL à partir de ces
heuristiques » (fichier Excel, voir Annexe 4) présente deux groupes d’heuristiques pour évaluer des
collecticiels. Le premier groupe est constitué par 8 heuristiques pour l’évaluation de la dynamique
de la collaboration. Le deuxième est constitué de 10 heuristiques qui reprennent plusieurs des 8
premières mais qui les reformulent et les adaptent vers une évaluation de la gestion de
l’information.
ISICIL permet à l’utilisateur d’interagir dans une dynamique de collaboration pour le repérage de
ressources matérielles (artefactsobjetsdocuments/sites Web) partagées et humaines (contacts
dans un réseau). Ce partage d’information implique une gestion de l’information (et des objets
partagés). Cela a amené à considérer les deux groupes d’heuristiques pour évaluer ISICIL en tant que
collecticiel.
L’évaluation de la plate-forme ISICIL pour chaque groupe d’heuristiques est présentée à la suite de la
présentation des heuristiques.
La feuille « CritèresHeurist COLLECTICIELS » du fichier Excel « Evaluation Heuristique ISICIL »
décrit chacune des heuristiques mentionnées auparavant et les met en relation avec des exemples
d’implémentation aux collecticiels.
La feuille « EvalHeurist COLLECT + entretien » du même fichier Excel présente les heuristiques
regroupées en 3 catégories :
Heuristiques permettant d’évaluer la dynamique de collaboration,
Heuristiques permettant d’évaluer la gestion de l’information et
Heuristiques utilisées pour évaluer en même temps la dynamique de collaboration et la
gestion de l’information.
Les heuristiques sont associées entre elles selon les aspects communication, coordination,
planification, surveillance et protection, et elles sont mises en relation avec les colonnes évaluation
experte, sessions de co-conception et avec des résultats des entretiens des utilisateurs.
17
La colonne « évaluation experte » reprend les observations sur l’implémentation de méthodes, outils
ou moyens qui permettent de satisfaire les heuristiques. La colonne « sessions de co-conception »
présente les observations recueillies lors de l’expérimentation avec les utilisateurs. Notamment les
observations recueillies à la séance du Focus Group ont été très utiles pour l’étape d’analyse de
données. Ces observations sont consignées à la feuille « FocusGroup » du même fichier Excel
« Evaluation Heuristique ISICIL ». Finalement, les colonnes avec les noms des utilisateurs présentent
les besoins et observations exprimés par les utilisateurs interviewés. Toutes les observations
consignées ici font référence aux heuristiques. On peut donc faire une lecture horizontale des
observations pour chaque heuristique.
Remarque : Dans le même Excel, la feuille « EvalHeurist NIELSEN-BS » présente l’évaluation
heuristique (experte) réalisée à partir des heuristiques de Nielsen et de Bastien & Scapin. Cette
évaluation a été adaptée aux besoins du développeur d’ISICIL ; on a ainsi considéré
l’enregistrement de plusieurs colonnes : le type de demande/problème (fonctionnel,
graphique, Bug,..), la version du prototype, la sévérité du problème, des mots-clés, etc. Cette
feuille a été très utile pour les améliorations ergonomiques d’ISICIL.
Cependant cette évaluation est basée sur le principe d’usage d’un utilisateur individuel, qui
interagit seul avec l’outil pour réaliser une tâche. ISICIL se définissant comme un outil
collaboratif (du type Groupware ou collecticiel), cela demande un autre regard
ergonomique, un regard sur les utilisateurs réalisant des activités de manière collaborative.
Cette limitation nous a conduit à réaliser une évaluation heuristique (experte) à partir
d’heuristiques adaptées aux collecticiels.
5 Conclusion
La première étude réalisée avec l’échantillon représentatif de l’ADEME a permis d’évaluer le prototype
ISICIL en termes d’utilité, utilisabilité et d’usages collaboratifs. Les résultats présentés en relation avec
l’utilité et les usages collaboratifs (cf. section 2.3.2) montrent qu’ISICIL a contribué aux objectifs
initiaux de l’ADEME (présentés dans la section 2.1). Le tableau suivant met en relation ces objectifs
avec les fonctionnalités ISICIL permettant de les réaliser :
Objectif Fonctionnalité ISICIL Identifier les communautés invisibles Visualiser son réseau social
Visualiser des cartographies de réseaux/par thématiques
Mutualiser les ressources humaines et
matérielles de l’expertise
Suivre l’activité d’un membre de la communauté
Editer /être notifié des changements des pages Wiki
Partager un Webmark
Partager une page Wiki Pallier l’éclatement géographique des personnes
Ajouter une personne à son réseau social
Communiquer à travers le chat
Encourager la collaboration dans la veille Partager un Webmark
Partager une page Wiki
Visualiser son réseau social avec ses centres d’intérêt (tags)
Créer et éditer des pages Web à plusieurs
18
Le contact avec les testeurs lors des expérimentations ISICIL a démontré qu’il existe déjà une
familiarisation avec des outils collaboratifs au sein de l’organisation ADEME (SeeMy3, Liferay4,
blogs,..) même si cette familiarisation n’est pas le fait de tous les participants. Cela amène à dire
qu’ISICIL n’a pas été un premier outil pour introduire les technologies de collaboration à l’ADEME,
mais il a été reconnu un outil différent et innovant qui offre un ensemble de fonctionnalités intégrées
dans une même plate-forme.
L’étude post-tests avec la communauté Recherche de l’ADEME se poursuit. Les démarches entreprises
afin d’outiller cette communauté ont permis dans un premier temps :
D’identifier les besoins et les pratiques de veille et d’animation de la recherche à partir des
entretiens réalisés (voir section 3.3 et Annexe 2).
De vérifier si les fonctionnalités existantes dans ISICIL répondent à ces besoins. Dans les deux
tableaux suivants sont résumés les besoins identifiés à partir des entretiens avec des
utilisateurs de la communauté Recherche et les fonctionnalités ISICIL existantes qui
répondent à ces besoins.
Besoins (objectifs) ADEME relatifs aux pratiques de l’animation
Fonctionnalités ISICIL pouvant répondre aux besoins
Constitution de groupes de travail Cette fonctionnalité est considérée dans la plate-forme mais elle n’a pas été incluse dans le prototype opérationnel qui a été testé
Les cartographies permettent de visualiser les groupes de travaux existants, et de repérer des experts sur une thématique, pour les intégrer dans un groupe de travail, ou pour constituer un groupe de travail
Echanger (envoyer/ recevoir) des documents(*) Partager des documents Pour partager un document, il est possible de
l’attacher dans les pages Wikis Tagging de documents Webmark it
Tagging sur les pages Wiki (*) Par « documents », on désigne des fichiers qui ne sont pas forcément accessibles en ligne (sur une adresse
Internet)
Besoins (objectifs) ADEME relatifs aux pratiques de veille
Fonctionnalités ISICIL pouvant répondre aux besoins
Constitution de groupes de travail Cette fonctionnalité est considérée dans la plate-forme mais elle n’a pas été incluse dans le prototype opérationnel qui a été testé
Partager des sites Web Webmark it Partager des documents (*) Une manière de partager un document est à
travers l’attachement de fichiers dans les pages Wikis
Créer des documents à plusieurs Créer et éditer des pages Wiki à plusieurs Créer pages à plusieurs Créer et éditer des pages Wiki à plusieurs Notifier la création de pages Web Envoyer une page Wiki a quelqu’un Tagging de pages Web
Webmark it
Tagging sur les pages Wiki (*) Par « documents », on désigne des fichiers qui ne sont pas forcément accessibles en ligne (sur une adresse
Internet)
3 SeeMy : plate-forme de réseau social d'entreprise. 4 Liferay : portail Open Source de gestion de contenu.
19
On peut répondre aux besoins pour la veille (faire de la veille à partir des ressources Web) mais il
manque des fonctionnalités de partage de documents qui ne sont pas Web. Cela amène à penser qu’il
serait pertinent d’avoir un espace de stockage de ce type de documents.
Il faut remarquer que toutes les fonctionnalités du prototype n’ont pas été manipulées par les
testeurs/utilisateurs. On n’a donc pas de retours sur ces fonctionnalités « inconnues ». Cela renforce
l’idée de disposer d’une étape d’apprentissage de ces fonctionnalités. En plus, toutes les fonctionnalités
envisagées au départ ne figurent pas dans le prototype (ex : création de groupes, édition de
terminologies partagées). Il sera nécessaire de classer ces fonctionnalités par rapport aux priorités des
besoins des utilisateurs.
6 Perspectives
Les perspectives envisagées à l’ADEME pour la plate-forme ISICIL sont les suivantes :
Continuer avec les utilisateurs contactés (NT et DV) pour connaître leur expérience avec la
plate-forme. Cela permettra d’avoir leurs retours d’un point de vue « évaluation » car les
entretiens avec ces utilsateurs ont permis de présenter la plate-forme et de connaître leurs
observations d’un point de vue plutôt « besoins et attentes ».
Contacter d’autres utilisateurs appartenant à la communauté Recherche ADEME. Deux
personnes ont été suggérées par la Directrice s de la Recherche et Prospective ; deux autres
personnes ont été suggérées par l’ingénieur chargé d’études ayant participé à l’étude post-
tests. Il est envisagé d’inviter dans la même proportion des utilisateurs ayant un profil
« animateur /coordinateur » et des utilisateurs ayant un profil « ingénieur chargé d’études ».
Reprendre le prototype ISICIL, le mettre au point à partir des besoins/observations des
Adémiens de la communauté Recherche. Pour résumer, à partir du travail réalisé jusqu’à
présent (évaluations expertes, expérimentations et entretiens), on peut dire que les intérêts
des utilisateurs portent sur :
o La possibilité de se mettre en contact avec des personnes qui travaillent sur des sujets
connexes ( à travers la création de son réseau).
o La possibilité de créer des groupes de travail sur des sujets plus précis/sous
thématiques.
o Les visualisations des réseaux de travail et des personnes qui travaillent sur une
thématique ( à travers des cartographies).
o Les références à des ressources sur le Web ( avec la fonctionnalité Webmark It).
o La construction des documents/pages à plusieurs ( à travers le Wiki ISICIL pour
l’édition collaborative de pages)
o Le partage/échange de documents qui ne sont pas forcément en ligne en raison de
contraintes de diffusion, de leur nature et de la même activité quotidienne.
Etudier les fonctionnalités des autres collecticiels qui sont utilisés à l’ADEME (en paticulier :
SeeMy, Liferay) pour identifier leurs avantages et inconvénients, par comparaison avec
ISICIL.
o Déterminer la pertinence de chacun des collecticiels pour outiller la veille et
l’animation dans la communauté recherche.
o Etudier des collecticiels non utilisés à l’ADEME.
20
7 Bibliographie
Baker, K., Greenberg, S., & Gutwin, C.). Heuristic Evaluation of Groupware Based on the Mechanics of
Collaboration. Proceedings of the 8th IFIP Working Conference on Ergineering for Human-
Computer Interaction (EHCI’01), Canada. Récupéré de
8.1 Annexe 1 : Accompagnement de l’expérimentation d’un outil de
veille collaborative Silva Olivares, Rubiela (2012a). Accompagnement de l’expérimentation d’un outil de veille
collaborative, Mémoire du Master 2 « Sociologie et ergonomie des technologies numériques »,
Université de Nice – Sophia Antipolis, juillet 2012.
8.2 Annexe 2 : Fiches des entretiens
Fiche Utilisateur NT
Rôle Ingénieur animateur au Service Recherche et Technologies Avancées - SRTA Sujet du travail : Ressources et matières premières
Rôle peu en relation avec la veille sur l’Internet
Pratiques actuelles de son activité Echange permanent de documents par mail (ppt, pdf, données trouvées par les groupes de
travail,…) car ces documents ont l’accès restreint (on ne peut pas les mettre en ligne)
Echanges de petits mails explicatifs
Manipulation de dossiers partagés
Besoins exprimés Disposer d’un espace de partage de documents pour les transmettre et les diffuser en interne
Sensibiliser les personnes à mutualiser les différentes ressources (ISICIL permet de le faire). Les groupes de travail pourraient faciliter le repérage des documents partagés si ces documents sont liés à des tags. Cela peut faciliter la recherche par thématiques ou mots clés (indexation). « …Sur un dossier on se souvient plus où était placé un document …» (absence de tags)
Identifier les personnes pertinentes sur un sujet/thématique -> Intérêt pour les cartographies par thématique
En particulier sur l’interface ISICIL : o Questions sur la pertinence du menu du wiki. Est-ce que le regard de l’utilisateur est
suffisant pour décider une bonne organisation du menu ? (pensant que plus tard le menu peut devenir difficile à manipuler/même à lire)
22
Fiche Utilisateur DV
Rôle Ingénieur chargé d’études (recherche) au Service Recherche et Technologies Avancées - SRTA
Rôle : plus directement en relation avec la recherche sur l’Internet : synthétiser des ressources trouvées sur l’Internet et les diffuser (partage)
Garder le lien entre l’ADEME et le monde sur des sujets d’actualité à la recherche. Rendre accessible ces informations d’actualité à tous les Adémiens (partager une vision d’actualité mondiale).
Pratiques actuelles de son activité Enregistrer les sites intéressants sur un fichier Word et revenir aux sites avec fréquence pour
repérer des nouveautés/sujets émergents.
Benchmarking sur sujets précis de recherche : connaître ce qui est fait par les autres pays sur le sujet, connaître les tendances et les outils utilisés.
Sélection/validation des informations recueillies avec une personne pertinente au sujet (par ex. ClPt pour le sujet « Consommation durable de déchets »)
Envoie des mails avec des fichiers Word (mise à jour du blog).
Besoins exprimés Outiller la veille des groupes de travail sur des sujets précis
Outiller ses pratiques actuelles d’activité : o Faciliter l’identification et le repérage des informations intéressantes avec un outil
informatique : nouveautés et modifications des pages fréquentées o Elaborer des pages à plusieurs pour : valider et modifier les informations,
commenter les pages), partager les pages plutôt que envoyer des emails avec fichiers attachés -> Intérêt à la création des pages au Wiki ISICIL.
Suggestion des autres utilisateurs potentiels à la communauté recherche ADEME pour le recueil de besoins et l’évaluation d’ISICIL: CPh, AGr, RV.
Suggestion de trois sujets intéressants à traiter pour faire la veille : déchets, climat et ville durable.