Projet ORI-OAI Outil de Référencement et d’Indexation Réseau de portails OAI Rencontres Mondiales du Logiciel Libre 2007 Amiens, 13 juillet 2007
Projet ORI-OAIOutil de Référencement et d’IndexationRéseau de portails OAI
Rencontres Mondiales du Logiciel Libre 2007Amiens, 13 juillet 2007
Amiens, 13 juillet 2007 RMLL 2007 2
Sommaire
Les fonctions du système Les fonctions du système
Implémentation - architectureImplémentation - architecture
DémonstrationDémonstration
François JanninENSEEIHT – INP de Toulouse
Concepts - principesConcepts - principes
Introduction - contexte Introduction - contexte
Amiens, 13 juillet 2007 RMLL 2007 3
IntroductionIntroduction
Amiens, 13 juillet 2007 RMLL 2007 4
Contexte
Croissance de la création numérique institutionnelle (documents scientifiques, pédagogiques, administratifs, ressources documentaires..)
Mise en place d’une démarche « Système Global d’Information » à l’échelle d’un établissement
Organisation des services numériques au moyen de l’ENT, s’appuyant sur le SI
Amiens, 13 juillet 2007 RMLL 2007 5
Contexte
Besoin d’un référentiel unique de documents et d’une indexation professionnelle
Demande croissante d’accessibilité aux ressources numériques dans différents contextes
La structuration importante initiée par les projets nationaux (UNT, UNR, SI d’établissement)
Amiens, 13 juillet 2007 RMLL 2007 6
But
Répondre aux besoins de stockage, de référencement, d’indexation et d’accès aux documents
Assurer la valorisation et la gestion pérenne des contenus numériques
Développer un SGI en lien avec les ressources numériques d’un référentiel unique de documents
Partager les ressources numériques avec d’autres établissements
Donner l’accès à distance et selon les droits
Amiens, 13 juillet 2007 RMLL 2007 7
Le partage dans ORI-OAI
Patrimoine pérenne pouvant se partager
Avec les acteurs de l’établissement
Avec les partenaires des réseaux locaux , nationaux et internationaux de l’établissement
Avec les internautes
En respectant les règles du numérique et les standards
Droits d’auteur Interopérabilité des systèmes (OAI / SOAP) Normes d’échange (schémas XML) Vocabulaire commun
Amiens, 13 juillet 2007 RMLL 2007 8
Un système de gestion de documents
Mise en place d’un système de gestion de documentsMise en place d’un système de gestion de documents Système de gestion et de publication des ressources
numériques (gestion des droits, indexation LOM-FR, DC, TEF.., indexation classification des UNT)
Système de production impliquant les acteurs concernés (workflows)
Systèmes de partage (échange de métadonnées /OAI-PMH)
Système de recherche avancé (métadonnées, texte intégral), accès thématiques
Utilisation de vocabulaires provenant de référentiels communs ou spécifiques [issus du SI] à chaque étape du processus de référencement/consultation
Amiens, 13 juillet 2007 RMLL 2007 9
Les acteurs
Avec le soutien du MENESR
UNTÉtablissements
Amiens, 13 juillet 2007 RMLL 2007 10
Les fonctions du systèmeLes fonctions du système
Amiens, 13 juillet 2007 RMLL 2007 11
ORI-OAI – Points clés
Gérer et publier les documents numériques de l’établissement
Référentiel unique connecté au SI
Accès thématique aux ressources
Système de recherche avancée
Amiens, 13 juillet 2007 RMLL 2007 12
ORI-OAI – Points clés
Partager les ressources numériques avec d’autres établissements enrichir l’offre numérique augmenter la visibilité des ressources mutualiser les coûts
Valoriser la production scientifique et pédagogique par une indexation de qualité
Accéder aux ressources numériques à distance en fonction des droits d’accès
Amiens, 13 juillet 2007 RMLL 2007 13
Types de documents
Ressources d’enseignement polycopiés numériques, exercices, ressources
pédagogiques multimédia (format LOM, LOM-fr)
Travaux d’étudiants rapports de stage synthèses bibliographiques
Travaux de recherche publications, pré-publications, rapports techniques mémoires de Master, mémoires de Thèse (format TEF)
Ressources documentaires éditoriales revues, livres électroniques (format Dublin Core)
Amiens, 13 juillet 2007 RMLL 2007 14
ConceptsConcepts
Amiens, 13 juillet 2007 RMLL 2007 15
Projet ORI-OAI
principe du référencement
Amiens, 13 juillet 2007 RMLL 2007 16
Workflow simple (étape auteur)
Entrepôt de données ORI-OAI
Auteur
Workflow simple (auteur)
Titre
Description
Auteur
Document Upload
Métadonnées
Doc
A publier
Amiens, 13 juillet 2007 RMLL 2007 17
Workflow Simple (étape documentaliste)
Entrepôt de données ORI-OAI
Documentaliste
Workflow simple (documentaliste)
Titre
Description
Auteur
Document
Métadonnées DocPublié
Publier RejeterPublier Rejeter
Amiens, 13 juillet 2007 RMLL 2007 18
Principes de ori-oai-workflow
Privé
En attentede publication
Publié
Demander à publier
publier
retirer
rejeter
[propriétaire,modérateur]
[propriétaire]
[modérateur]
créer[tous]
indexer
désindexer
Envoi mail modérateur
Envoi mail propriétaire
Positionner permissions
EtatsTransitions
ConditionsActions
Diagramme Etats / Transitions
Amiens, 13 juillet 2007 RMLL 2007 19
Gestion des vocabulaires
Centralisation et automatisation des vocabulaires
Répartition en réseau des vocabulaires avec tolérance à la panne (cache intelligent)
Utilisés en amont (workflow) et en aval (recherche, OAI) Chaque vocabulaire est partageable par x établissements,
UNT/UNR
Vocabulaires de référence fermés et statiques avec peu de fluctuations (taxonomies, liste de mots-clés fermés)
Vocabulaires dynamiques générés automatiquement depuis une annuaire LDAP ou Active Directory d’après les valeurs déjà indexées (auteurs, mots-clés libres) d’après des référentiels existants (bases de données…)
Amiens, 13 juillet 2007 RMLL 2007 20
Projet ORI-OAI
principe des échanges
Amiens, 13 juillet 2007 RMLL 2007 21
Entrepôt ORI-OAI
DocumentDocument
Document
Entrepôt ORI-OAI
Stockage des ressources numériques
Métadonnées sur les documents Dublin Core LOM-fr Etc.
Métadonnées
Amiens, 13 juillet 2007 RMLL 2007 22
Open Archive Initiative (OAI)
Etablissement A
Moissonneur
UNT, UNR, …
Entrepôt
Etablissement BEntrepôt
OAI
OAI
OAI
Amiens, 13 juillet 2007 RMLL 2007 23
OAI pour l’utilisateur internaute
MoissonneurOAIUNT
Entrepôt Entrepôt
Site W
ebU
NT
Recherche
•Accès au site•Lancement de la recherche•Résultat de la recherche•Accès au 1er document•Accès au 2ème document
Amiens, 13 juillet 2007 RMLL 2007 24
OAI pour l’utilisateur d’un établissement
Entrepôt Entrepôt
ENT
?Moissonneur
OAIEtablissement
Recherche •Accès à l’ENT(authentifié)
•Lancement de la recherche•Résultat de la recherche•Accès au 1er document•Accès au 2ème document
Amiens, 13 juillet 2007 RMLL 2007 25
Fédération d’identités (Shibboleth)
EntrepôtS
hib
Qui est-ce ?
Un étudiant en médecine 2ème année
•Tentative d’accès au document•Requête à l’établissement « fournisseur d’identités »•Réponse à l’établissement « fournisseur de services »•Accès au document
Amiens, 13 juillet 2007 RMLL 2007 26
UNIT
Vue Consortium
Site WebUNIT
Moissonneur
UVED
Moissonneur
Site WebUVED
Etc…
Amiens, 13 juillet 2007 RMLL 2007 27
UNIT
Vue établissement
Entrepôt
Shib
OAI
UN
R
U
VED
.euENT
Moissonneur
Amiens, 13 juillet 2007 RMLL 2007 28
ImplémentationImplémentation
Amiens, 13 juillet 2007 RMLL 2007 29
Projet ORI-OAI
acteurs impliqués
Amiens, 13 juillet 2007 RMLL 2007 30
Acteurs du développement
Équipe de pilotage avec des représentants des établissements des UNT des SCD
Équipe fonctionnelle 1 coordinatrice 10 membres du groupe « Ressources
pédagogiques » 8 membres du groupe « Thèses » 7 membres du groupe « Archives ouvertes »
Amiens, 13 juillet 2007 RMLL 2007 31
Acteurs du développement
Équipe technique 1 coordinateur 1 conseiller technique 5 développeurs
2 Université de Rennes 1 1 INP Toulouse - ENSEEIHT 2 Université de Valenciennes
Amiens, 13 juillet 2007 RMLL 2007 32
Projet ORI-OAI
développement
Amiens, 13 juillet 2007 RMLL 2007 33
Généralités
ORI-OAI est composé de 7 modules
Composants interopérables avec des outils existants Utilisation de standards comme OAI, XML-RPC, SOAP,
WEBDAV
Différentes versions des composants Portlet à intégrer dans un moteur type ENT(JSR 168) Standalone: application indépendante
Plusieurs distributions prévues Les modules peuvent être associés les uns aux autres suivant
le cas d’utilisation (UNT, UNR, établissement, …)
Amiens, 13 juillet 2007 RMLL 2007 34
Technologies
Java J2EE Spring : Inversion de Contrôle, injection de dépendance Hibernate : Liaison facilitée aux bases relationnelles XFire : Web services SOAP simplifiés et efficaces AOP/AspectJ : Gestion transversale non-intrusive des
transactions et des permissions Lucene et LIUS : indexation XML, plein-texte et de formats
binaires (PDF, Word, RTF…) par Apache et l’université Laval (Québec)
OAICat : implémentation Java populaire de OAI-PMH par OCLC
OSWorkflow : Framework pour workflow très souple et paramétrable
Orbeon / OPS : Puissant framework de formulaires Web basé sur Xforms
I18N : localisation des IHM
Amiens, 13 juillet 2007 RMLL 2007 35
Projet ORI-OAI
architecture
Amiens, 13 juillet 2007 RMLL 2007 36
Architecture globale
LDAPSSO
ESUP-serveur-WebDAVstockage des documents et
gestion des authentifications
ORI-OAI-repositoryentrepôt d’exposition
des métadonnées
ORI-OAI-indexingmoteur d’indexation
ORI-OAI-workflowgestionnaire du workflow
de saisie des métadonnées
ORI-OAI-vocabularygestionnaire de vocabulaires
InternetInternet
ORI-OAI-harvestingmoissonneur de métadonnées
ORI-OAI-searchmoteur de recherche
Amiens, 13 juillet 2007 RMLL 2007 37
Gestion des documents locaux
UtilisateursSSO
ESUP-serveur-WebDAV ORI-OAI-repository
ORI-OAI-indexingORI-OAI-workflow
ORI-OAI-vocabulary Saisie du lien vers le(s) document(s) Saisie des métadonnées via vocabulaires Indexation des métadonnées
Exposition OAI (optionnelle) Exposition des fiches par requêtes sur
l’index Génération de sets OAI via le
vocabulaire
Amiens, 13 juillet 2007 RMLL 2007 38
Moissonnage par OAI
InternetInternet
ORI-OAI-repository ORI-OAI-harvesting
ORI-OAI-indexing
ORI-OAI-vocabulary Moissonnage des fiches de métadonnées via
OAI Indexation des métadonnées
Exposition OAI (optionnelle) Exposition des fiches par requêtes sur
l’index Génération de sets OAI via le vocabulaire
Amiens, 13 juillet 2007 RMLL 2007 39
Recherche de documents locaux
ORI-OAI-indexingORI-OAI-workflow
ORI-OAI-vocabulary ORI-OAI-search
Génération des interfaces à partir du vocabulaire
Recherche dans l’index Récupération de la fiche pour l’affichage Traduction de certains résultats via
vocabulaire
Amiens, 13 juillet 2007 RMLL 2007 40
Recherche de documents distants
ORI-OAI-harvesting
ORI-OAI-indexing
ORI-OAI-vocabulary ORI-OAI-search
Génération des interfaces à partir du vocabulaire
Recherche dans l’index Récupération de la fiche pour l’affichage Traduction de certains résultats via
vocabulaire
Amiens, 13 juillet 2007 RMLL 2007 41
Projet ORI-OAI
calendrier
Amiens, 13 juillet 2007 RMLL 2007 42
Calendrier
Version BETA Distribuée fin juin 2007 à 7 établissements Tests juillet et août Retours fin août
Version 1.0 Finalisation septembre 2007
Après retours des BETA-testeurs
Amiens, 13 juillet 2007 RMLL 2007 43
Repères
Site du projet http://www.ori-oai.org
Sources http://
sourcesup.cru.fr/softwaremap/trove_list.php?form_cat=318
Contacts Liste de diffusion publique ori-oai-utilisateurshttp://listes.univ-rennes1.fr/wws/subscribe/ori-oai-utilisateurs
Amiens, 13 juillet 2007 RMLL 2007 44
DémonstrationsDémonstrations
Amiens, 13 juillet 2007 RMLL 2007 45
Demonstrations
Dépôt d’un document LOM, workflow :http://cas.enseeiht.fr/ori-oai-workflow
Recherche thématique & avancéehttp://cas.enseeiht.fr/ori-oai-search
Recherche relookéehttp://cas.enseeiht.fr/moodle-web
Moissonneurmoissonneur ENSEEIHT