Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Stage Logiciels...
-
Upload
amelie-legay -
Category
Documents
-
view
103 -
download
0
Transcript of Projet ORI-OAI Outil de Référencement et dIndexation Réseau de portails OAI Stage Logiciels...
Projet ORI-OAIOutil de Référencement et d’IndexationRéseau de portails OAI
Stage Logiciels libres, ENSSIBVilleurbanne, 23 octobre 2008
23 octobre 2008 ORI-OAI 2
Sommaire
Contour fonctionnelContour fonctionnel
Concepts Concepts
Mise en oeuvreMise en oeuvre
BilanBilan
IntroductionIntroduction
Évolutions et projets connexesÉvolutions et projets connexes
23 octobre 2008 ORI-OAI 33
Projet ORI-OAI
IntroductionIntroduction
23 octobre 2008 ORI-OAI 44
Contexte
Les établissements universitaires
Croissance de la création numérique institutionnelle (scientifique, pédagogique, administrative, documentaire)
Accessibilité aux ressources dans divers contextes
Référentiel unique de documents, indexation professionnelle
«Système Global d’Information»
La structuration initiée par les projets nationaux (UNT, UNR, SI d’établissement)
23 octobre 2008 ORI-OAI 55
Contexte
Les UNT (Universités Numériques Thématiques)
Réflexion UNIT : évolution du portail et choix d’une organisation en « réseau de portails OAI-PMH»
Convergence sur les besoins de référencement et d’indexation avec l’UNT UVED
Nécessité de mutualiser les outils et les moyens d’accompagnement pour favoriser la démarche avec l’ensemble des UNT
ORI-OAI : projet Open Source inter-UNT soutenu par la SD/TICE
23 octobre 2008 ORI-OAI 66
Les acteurs du projet
UNTÉtablissements Avec le soutien du MESR
23 octobre 2008 ORI-OAI 7
Les acteurs du projet
Équipe de pilotage avec des représentants des établissements des UNT des SCD
23 octobre 2008 ORI-OAI 8
Les acteurs du projet
Équipe fonctionnelle 1 coordinatrice 10 membres Ressources pédagogiques
numériques 8 membres Thèses 7 membres Archives ouvertes 8 membres Documents administratifs …
23 octobre 2008 ORI-OAI 9
Les acteurs du projet
Équipe technique 1 coordinateur 1 conseiller technique 5 développeurs
2 personnes Rennes 1 1 personne INP Toulouse 1 personne SICD Toulouse 2 personnes Valenciennes
23 octobre 2008 ORI-OAI 1010
Conduite du projet ORI-OAI
Un projet commun alimenté de l’expérience de chacun
Une démarche d’ouverture et d’échange Diffusion des sources Site Web Listes de diffusion
Financement coopératif par les établissements
23 octobre 2008 ORI-OAI 11
Contour fonctionnelContour fonctionnel
Projet ORI-OAI
23 octobre 2008 ORI-OAI 12
ORI-OAI – Points clés
Gérer et publier les ressources numériques de l’établissement Référentiel unique de ressources connecté au
SI Production de métadonnées et diffusion des
ressources produites par l’établissement
Valoriser la production de l’établissement par une indexation de qualité Indexation avec des normes et standards Utilisation de classifications paramétrables
articulées sur des standards comme Dewey
23 octobre 2008 ORI-OAI 13
ORI-OAI – Points clés
Partager les ressources numériques avec d’autres établissements Exposition des fiches de métadonnées de
l’établissement Agrégation de fiches de métadonnées
Accéder aux ressources numériques à distance en fonction des droits d’accès Système de recherche avancée et
thématique Définition des droits
23 octobre 2008 ORI-OAI 14
ORI-OAI – les fonctions
indexation de qualité adaptée aux divers types de documents, classification pivot
sur les métadonnées, texte intégral
en respectant le droit d’auteur, les licences et les droits d’accès
versions de publication, workflows, plusieurs schémas de métadonnées
documents natifs toujours disponiblespour les auteurs
protocole OAI/PMH, fédération d’identités
recherche
diffusion
publication web
archivage
référencement
partage
23 octobre 2008 ORI-OAI 15
Synthèse
Outil de Référencement et d’Indexation mettre en réseau des ressources numériques
+ Protocole OAI/PMH échanger des données
+ .ORG développé en logiciel libre pour les UNT, UNR, les établissements
universitaires, … = ORI-OAI.ORG
23 octobre 2008 ORI-OAI 16
Projet ORI-OAI
Insertion de ORI-OAIdans l’établissement
23 octobre 2008 ORI-OAI 17
Types de documents
Ressources d’enseignement ressources pédagogiques multimédia, QCM, exercices,
polycopiés numériques, …
Travaux de recherche publications, pré-publications, rapports techniques Thèses, mémoires de Master
Documents administratifs
Ressources documentaires éditoriales revues, livres électroniques
23 octobre 2008 ORI-OAI 18
Le partage dans ORI-OAI
Patrimoine pérenne pouvant se partager
Avec les acteurs de l’établissement
Avec les partenaires des réseaux locaux, nationaux et internationaux de l’établissement
Avec les internautes
En respectant les règles du numérique et les standards
Droit d’auteur Interopérabilité des systèmes (OAI/SOAP) Normes d’échange (schémas XML) Vocabulaire commun
23 octobre 2008 ORI-OAI 19
Insertion de ORI-OAI dans l'établissement
Pourquoi intégrer ORI-OAI dans un établissement?
ORI-OAI comme portail de ressources numériques
Diffusion et partage des ressources Publication des productions de l'établissement
ORI-OAI comme archive institutionnelle Diffusion et partage des ressources Publication des productions de l'établissement Conservation du patrimoine documentaire
23 octobre 2008 ORI-OAI 20
Insertion de ORI-OAI dans l'établissement
Mise en place de ORI-OAI dans l'établissement
23 octobre 2008 ORI-OAI 21
Insertion de ORI-OAI dans l'établissement
Mise en place de ORI-OAI dans l'établissement
23 octobre 2008 ORI-OAI 22
Insertion de ORI-OAI dans l'établissement
Éléments d'une démarche de projet de gestion des documents numériques : Une volonté politique en appui du projet Une communication autour du projet
Auprès des utilisateurs tout au long du projet Auprès de la communauté Auprès des instances internes concernées
Mise en place d'un groupe de travail transversal impliquant tout les acteurs
Bibliothécaires Cellule TICE Informaticiens
23 octobre 2008 ORI-OAI 23
Insertion de ORI-OAI dans l'établissement
Insertion de ORI-OAI dans le Système d'Information:Complémentarité avec les applications déjà existantes
Utilisation des référentiels de l'établissement (LDAP...) Système d'authentification / contrôle des accès (CAS,
Shibboleth, ...) Intégration à l'ENT Interopérabilité avec l'ensemble des briques du SI (LMS,
SI recherche, HAL, application de la scolarité, ...) Référentiel des documents numériques pour le SI
(plateforme pédagogique, moteur documentaire, sites web de communication, ...)
23 octobre 2008 ORI-OAI 24
ConceptsConcepts
Projet ORI-OAI
23 octobre 2008 ORI-OAI 25
Projet ORI-OAI
Concept de métadonnées
23 octobre 2008 ORI-OAI 26
Concept de métadonnées
Données liées à une ressource Attributs communs à un ensemble de ressources
Données liées à un contexte d’utilisation Format générique (Dublin Core) Format spécifique
Pédagogique : LOM, LOMFR, SupLOMFR Offre de formation : CDM Thèse : TEF Bibliographique : MARC
23 octobre 2008 ORI-OAI 27
Concept de métadonnées
Format de métadonnées semi-structuré basé sur un schéma XML structure imbriquée, récursive éléments répétables
Rôle des métadonnées dans un entrepôt de données mise en commun d’attributs, constitution
d’ensembles qualité de référencement
vocabulaires fermés, saisie contrôlée gestion de la cohérence des données et des redondances
23 octobre 2008 ORI-OAI 28
Projet ORI-OAI
Classification
23 octobre 2008 ORI-OAI 29
Classifications
Quoi ? Langage documentaire Organisation des connaissances en domaines Structure arborescente: des notions générales
aux détails Représentation d’un domaine par un indice
numérique
23 octobre 2008 ORI-OAI 30
Classification Décimale Dewey (CDD)
Objectif ? Échange et partage, interopérabilité
Classification internationale Couvre l’ensemble des domaines de la connaissance interopérable avec les applications qui utilisent la Dewey
(BU, Thèses)
Utilisation arborescente Numérique
23 octobre 2008 ORI-OAI 31
Un exemple : 5
Science
53Physique
54Chimie
547Chimie organique
…
Division
Section
Classe
Classification Décimale Dewey (CDD)
23 octobre 2008 ORI-OAI 32
Classification Décimale Dewey (CDD)
Application ? Classement physique des documents dans la
bibliothèque
Comment ? Traduction du contenu de documents en
indice(s) (indexation systématique)
Distinction des indexationssystématique accès thématique (par domaine, point de vue)analytique accès par sujet
23 octobre 2008 ORI-OAI 33
Classification locale
Objectif ? construction d'un « plan de classement »
spécifique pour l’indexation et pour la recherche thématique
Quelle interaction entre la classification locale et la classification Dewey ?
23 octobre 2008 ORI-OAI 34
Classification UNIT
Vocabulaire des Communautés UNIT
Classification UNIT élaborée par les communautés UNIT points d’entrée thématiques sur les ressources numériques
23 octobre 2008 ORI-OAI 35
Classification pivot
Objectif ? Permettre l’interaction entre une classification
locale et la classification Dewey
Comment ? définition de domaines spécifiques aux
besoins de la bibliothèque caractérisation de ces domaines, par des
indices Dewey ou leur combinaison exploitation de l'indexation Dewey des
documents
23 octobre 2008 ORI-OAI 36
classification Dewey
=
pivot pour la constitution de classifications spécifiques
Approche transposable auxressources numériques
(avantages : "bibliothèque" virtuelle ; classement possible d'une ressource dans plusieurs domaines ; réorganisation
rapide et souple ; …)
Classification pivot
23 octobre 2008 ORI-OAI 37
Exemple
Mon cours.pdf
Métadonnées LOM
TitreTitre = Technologies énergétiqueClassification DeweyClassification Dewey = 621.45 (Aéromoteurs, éoliennes)
etc.etc.
23 octobre 2008 ORI-OAI 38
• 621.312 136*• 621.312 42*• 621.312 44*• 621.45*• 629.229 5*
Exemple: classification UNIT
• 333.92*• 621.312 136*• 621.45*
…
Systèmes pour énergie renouvelable
Technologies de l’énergie éolienne
…
Energétique, énergie
Classification UNIT
…
Electricité et électrotechnique
23 octobre 2008 ORI-OAI 39
Exemple: classification Valenciennes
Sciences, techniques, sport
…
Génie mécanique et énergétique • 621*
…
Classification Valenciennes
23 octobre 2008 ORI-OAI 40
Projet ORI-OAI
Principe du référencement et de la diffusion
23 octobre 2008 ORI-OAI 41
Titre
Description
Auteur
Document Upload
Demander la publication
Procédure de publication (étape auteur)
Entrepôt de ressources ORI-OAI
Auteur
Étape de saisie
auteur
Metadonnées
Doc
À publier
Demander la publication
23 octobre 2008 ORI-OAI 42
Procédure de publication (étape bibliothécaire)
Entrepôt de ressources ORI-OAI
Bibliothécaire
Étape de saisie
bibliothécaire
Titre
Description
Auteur
Document
Metadonnées DocPublié
Publier RejeterPublier Rejeter
Classification
Metadonnées
23 octobre 2008 ORI-OAI 43
Privé
En attentede publication
Publié
Demanderà publier
publier
retirer
rejeter
[propriétaire,modérateur]
[propriétaire]
[modérateur]
créer[tous]
indexer
désindexer
Envoi mail modérateur
Envoi mail propriétaire
Positionner permissions
Etats (empruntables par la fiche)
Transitions (changements d’états)
Conditions (pour les transitions)
Actions (lors de transitions)
Schématisation du processus :diagramme Etats / Transitions
Notion de workflow: chaîne de publication
23 octobre 2008 ORI-OAI 44
Etats
Transitions
Conditions
Actions
Déroulement …(demande de publication
de la fiche acceptée)Privé
En attentede publication
Publié
Demander à publier
publier
[auteur]
[bibliothécaire]
créer[tous]
indexer
Envoi mail modérateur
Positionner permissions
Notion de workflow: chaîne de publication
23 octobre 2008 ORI-OAI 45
Gestion des vocabulaires
Centralisation et automatisation des vocabulaires
Répartition en réseau des vocabulaires avec tolérance à la panne (cache intelligent)
Utilisés en amont (workflow) et en aval (recherche, OAI) Chaque vocabulaire est partageable par x établissements,
UNT/UNR
Vocabulaires de référence fermés et statiques avec peu de fluctuations (taxonomies, liste de mots-clés fermée)
Vocabulaires dynamiques générés automatiquement depuis un annuaire LDAP ou Active Directory d’après les valeurs déjà indexées (auteurs, mots-clés libres) d’après des référentiels existants (bases de données…)
23 octobre 2008 ORI-OAI 46
Projet ORI-OAI
Principe des échanges
23 octobre 2008 ORI-OAI 47
Entrepôt ORI-OAI
DocumentDocument
Document
Qu’est-ce qu’un entrepôt ORI-OAI ?
Stockage des ressources numériques
Métadonnées sur les documents LOM Dublin Core Etc.
Métadonnées
23 octobre 2008 ORI-OAI 48
OAI-PMH
Protocole informatique d'échange de données
Permet la collecte et le partage de références
Fait intervenir deux types d'acteurs: Fournisseur de données (data provider) :
met en forme les métadonnées (au moins en DC) les stocke dans un entrepôt (repository) définit éventuellement des ensembles (sets)
Fournisseur de services (service provider) : envoie des requêtes aux entrepôts (grâce à un
moissonneur) récupère les métadonnées exposées correspondantes les exploite en fournissant des services à valeur ajoutée
23 octobre 2008 ORI-OAI 49
Open Archive Initiative (OAI)
Etablissement A
Moissonneur
UNT, UNR, …
Entrepôt
Etablissement B
Entrepôt
OAI
OAI
OAI
23 octobre 2008 ORI-OAI 50
OAI pour l’utilisateur internaute
MoissonneurOAIUNT
Entrepôt Entrepôt
Site W
ebU
NT
Recherche
•Accès au site•Lancement de la recherche•Résultat de la recherche•Accès au 1er document•Accès au 2ème document
23 octobre 2008 ORI-OAI 51
OAI pour l’utilisateur d’un établissement
Entrepôt Entrepôt
ENT
?Moissonneur
OAIEtablissement
Recherche •Accès à l’ENT
•Lancement de la recherche•Résultat de la recherche•Accès au 1er document•Accès au 2ème document
23 octobre 2008 ORI-OAI 52
Fédération d’identités (Shibboleth)
EntrepôtS
hib
Qui est-ce ?
Un étudiant en médecine 2ème année
•Tentative d’accès au document•Requête à l’établissement « fournisseur d’identités »•Réponse à l’établissement « fournisseur de services »•Accès au document
23 octobre 2008 ORI-OAI 53
UNIT
Vue Consortium
Site WebUNIT
Moissonneur
UVED
Moissonneur
Site WebUVED
Etc…
23 octobre 2008 ORI-OAI 54
UNIT
Vue établissement
Entrepôt
Shib
OAI
UN
R
U
VED
.euENT
Moissonneur
23 octobre 2008 ORI-OAI 55
Mise en oeuvreMise en oeuvre
Projet ORI-OAI
23 octobre 2008 ORI-OAI 56
Projet ORI-OAI
Architecture
23 octobre 2008 ORI-OAI 57
Fondations
7 modules Indépendants Ayant chacun un rôle précis Tous interopérables
Dialoguent entre eux par Web Services
Chaque module est très configurable Plusieurs configurations sont proposées par
défaut pour s’adapter au mieux aux besoins des différents établissements
Possibilité de faire évoluer ou d’intégrer d’autres configurations
23 octobre 2008 ORI-OAI 58
Architecture complète
ESUP-serveur-WebDAVstockage des documents et
gestion des authentifications
ORI-OAI-repositoryentrepôt d’exposition
des métadonnées
ORI-OAI-indexingmoteur d’indexation
ORI-OAI-workflowgestionnaire du workflow
de saisie des métadonnées
ORI-OAI-vocabularygestionnaire de vocabulaires
ORI-OAI-harvestingmoissonneur de métadonnées
ORI-OAI-searchmoteur de recherche
7 modules interopérables
23 octobre 2008 ORI-OAI 59
Cas 1: producteur de données
UtilisateursSSO
ESUP-serveur-WebDAVstockage des documents et
gestion des authentifications
ORI-OAI-repositoryentrepôt d’exposition
des métadonnées
ORI-OAI-indexingmoteur d’indexation
ORI-OAI-workflowgestionnaire du workflow
de saisie des métadonnées
ORI-OAI-vocabularygestionnaire de vocabulaires
Référencement du lien vers le(s) document(s) Indexation des métadonnées Saisie des métadonnées via vocabulaires
Vocabulaires dynamiques basés sur l’index
Exposition OAI (optionnelle) Exposition des fiches par requêtes sur l’index Génération de sets OAI via le vocabulaire
23 octobre 2008 ORI-OAI 60
Cas 2: Agrégateur de données
InternetInternet
ORI-OAI-repositoryentrepôt d’exposition
des métadonnées
ORI-OAI-harvestingmoissonneur de métadonnées
ORI-OAI-indexingmoteur d’indexation
ORI-OAI-vocabularygestionnaire de vocabulaires
Moissonnage des fiches de métadonnées via OAI
Indexation des métadonnées
Exposition OAI (optionnelle) Exposition des fiches par requêtes sur
l’index Génération de sets OAI via le vocabulaire
23 octobre 2008 ORI-OAI 61
Recherche de documents
ORI-OAI-indexingmoteur d’indexation
ORI-OAI-vocabularygestionnaire de vocabulaires
ORI-OAI-searchmoteur de recherche
Génération des interfaces à partir du vocabulaire
Recherche dans l’index
Traduction de certains résultats via vocabulaire
23 octobre 2008 ORI-OAI 62
Projet ORI-OAI
Développement
23 octobre 2008 ORI-OAI 63
Architecture technique
Développement Java Technologies et standards
Dublin Core LOM / LOMFR XML Lucene/Lius OAI-PMH Shibboleth Spring JSR-168 (intégration dans ENT, CMS, etc.) Etc.
Licence GPL
23 octobre 2008 ORI-OAI 64
Les distributions ORI-OAI
Version 1 1.0 disponible depuis le 15 octobre 2007 1.1 depuis juin 2008 Supporte différents types de documents
Édition de métadonnées Ressources pédagogiques (LOM) Ressources « génériques » (Dublin Core)
Moissonnage par OAI de ressources extérieures Tout format de métadonnées Pré-configuré pour Dublin Core, LOM et CDM
Types d’installation De production
Configuration avancée De démonstration
Auto-install d’une application Windows
23 octobre 2008 ORI-OAI 65
Les distributions ORI-OAI
ORI-OAI est mis en place (ou en cours de test) par :
UNIT UNISCIEL UNR Nord-pas-de-Calais
Université de Rennes 1 Université de Valenciennes INSA de Lyon INP de Toulouse / ENSEEIHT
Université des Antilles Université d’Artois Université de Bordeaux 1 Université de Brest Université de Bretagne Sud Université de Limoges Université du Mans Université de Nancy 2
Université de Paris 5 Université de Paris 10 Université de Paris Sud Université de Rennes 2 Université de Versailles IUFM de Bretagne Ecoles de Saint-Cyr Coëtquidan ENS Lyon
Campus Virtuel Marocain Université virtuelle de Tunis
etc.
23 octobre 2008 ORI-OAI 66
Évolutions et projets connexesÉvolutions et projets connexes
Projet ORI-OAI
23 octobre 2008 ORI-OAI 67
Évolutions
Version 1.5.0 Workflow
Dépôt des documents depuis le workflow Gestion des droits d’accès aux documents depuis le dépôt
Utilisateurs locaux, groupes locaux et distants (shibboleth) Mise en place d’un protocole de communication avec
d’autres plates-formes Moteur d’indexation
Indexation en texte intégral Crawler web pour les documents distants
Moteur de recherche Flux RSS Personnalisation des interfaces suivant le profil utilisateur Nouveaux modes de recherche
23 octobre 2008 ORI-OAI 68
Évolutions
Gestionnaire de vocabulaires Gérer des vocabulaires distants et centralisés
Système de stockage Refonte du système
Évolutions générales du projet Statistiques
De recherche D’accès aux documents
23 octobre 2008 ORI-OAI 69
Évolutions et autres projets
Prochaines versions Référencement et publication dans l’archive de
l’établissement des thèses avec le format TEF des publications de la recherche
ORI-OAI / STAR Export de métadonnées TEF vers l’archive nationale STAR
ORI-OAI / HAL Échange des métadonnées et des ressources de l’archive de
l’établissement avec l’archive nationale HAL
CEPIA Référencement dans ORI-OAI depuis une plate-forme LMS
et un outil de chaîne éditoriale
23 octobre 2008 ORI-OAI 70
Projet ORI-OAI
BilanBilan
23 octobre 2008 ORI-OAI 71
Bilan
Fruit d’un travail collaboratif efficace Analyse des besoins multi-métiers
enseignants/chercheurs cellule TICE bibliothécaires informaticiens etc.
Rédaction des spécifications par les groupes de travail inter-établissements inter-UNT
Paramétrage avancé pour répondre aux caractéristiques de chaque établissement
Logiciel évolutif et libre
23 octobre 2008 ORI-OAI 72
Repères
Site du projet http://www.ori-oai.org
Contacts
Liste de discussion ori-oai-utilisateurshttp://listes.univ-rennes1.fr/wws/info/ori-oai-utilisateurs
Liste d’information ori-oai-infohttp://listes.univ-rennes1.fr/wws/info/ori-oai-info