Calames - presentation à l'ecole des chartes

52
Ecole nationale des chartes Yann NICOLAS (ABES) Calames Histoire naturelle, anatomie et dissection

description

Présentation de calames, catalogue des archives et manuscrits de l'enseignement supérieur (France) : www.calames.abes.fr

Transcript of Calames - presentation à l'ecole des chartes

Page 1: Calames - presentation à l'ecole des chartes

Ecole nationale des chartes Yann NICOLAS (ABES)

CalamesHistoire naturelle, anatomie et

dissection

Page 2: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

2

Calames et l’ABES

• Calames = Catalogue en ligne des archives et des manuscrits de l’enseignement supérieur

• ABES = Agence bibliographique de l’enseignement supérieur– Sudoc (monographies, périodiques…) PeB– Calames (manuscrits, archives)– Star (workflow des thèses électroniques)– Groupement de commandes pour la doc. élec.– …

Page 3: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

3

Plan

1. Genèse de Calames2. Anatomie de Calames3. Dissection de Calames

Page 4: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

4

Genèse de Calames

Page 5: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

5

2. Genèse de Calames

a. La naissance du projet

Page 6: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

6

Les 2 faces de Calames

• une interface de consultation et de recherche (ouverte depuis le 1er décembre 2007)

• un outil de catalogage (rodage à partir d’avril 2008, avec 9 établissements)

Page 7: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

7

Périmètre de Calames (1) Quels documents ?

Manuscrits et archives

• diversité : ms. médiévaux, papiers de chercheurs ou

d'érudits, ms. littéraires contemporains, archives audiovisuelles, …

• quelles limites ?

Page 8: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

8

Périmètre de Calames (2)Quels établissements ?

Etablissements d’enseignement supérieur :– en majorité des bibliothèques– mais les bibliothèques ne sont pas les seuls partenaires

Calames, c'est aussi un réseau

Page 9: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

9

Calames : pourquoi ?

Fonds de manuscrits : peu décrits• au mieux en format MARC dans les

catalogues de bibliothèques – format peu adapté à la structure des données,

recherche parfois difficile, mais au moins disponible en ligne

• beaucoup d’inventaires manuscrits, dactylographiés ou imprimés : consultables sur place

• encore beaucoup de fonds tout juste inventoriés, et à peine accessibles

Page 10: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

10

Une opportunité : le CGM

• Projet d’informatisation du Catalogue général des manuscrits des bibliothèques publiques de France

• 116 volumes, 182 000 notices, publiés entre 1849 et 1993

• tous types de « bibliothèques publiques » : municipales, universitaires, sociétés savantes, ministères, BN (Arsenal)…

Page 11: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

11

Le projet CGM

• Projet interministériel (Culture + Ens. Sup.) lancé en 2001

• Choix d'une structure XML : DTD EAD (Encoded Archival Description)

• Accès commun par le CCFr• mais chacun disposera de ses données (pour l'Ens. Sup. : l’ABES + chaque

bibliothèque)

Page 12: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

12

Palme

• Répertoire de manuscrits littéraires français contemporains

• constitué entre 1995 et 2006 • dans toutes sortes de bibliothèques

françaises • hébergé dans BN-Opaline jusqu’en juin

2007• données converties en EAD

Page 13: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

13

CGM + Palme=

Deux opportunités pour mener une politique des manuscrits

globale, dans le périmètre Ens. Sup.

autour du réseau et des outils Calames

Page 14: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

14

Politique Ens. Sup.

• Catalogage centralisé en ligne– Sécurité– Cohérence– Esprit réseau– Simplicité– Hors Sudoc– Fonctionnalités avancées

• Catalogue collectif en ligne, mais …– Exports vers les outils locaux (Pléade…)– Vues locales et customisées sur le catalogue– Données réutilisables (SRU, RDF…)

Page 15: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

15

2. Genèse de Calames

b. La déroulement du projet

Page 16: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

16

Le projet Calames : quand ?

• Conception : mars – décembre 2006• Développements : janvier – juillet 2007• Tests et ajustements : juillet – novembre

2007• Chargement des données EAD : octobre

2007 – février 2008• Lancement de Calames (interface

publique) : 1er décembre 2007• Ouverture de l’interface de catalogage : avril

2008

Page 17: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

17

Les contraintes du projet

• Les délais : 18 mois• La masse des données• La structure des données EAD• Les performances• L’extensibilité• Ouverture (recherche fédérée SRU,

moteurs…)

Page 18: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

18

Les contraintes du projet (suite)

• Les exports en UNIMARC• La gestion des autorités

Page 19: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

19

La solution retenue

• Développer à partir de solutions XML génériques :– Une base de données mixte (XML +

relationnel) – Un éditeur XML générique et accessible par

un navigateur

Page 20: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

20

Qui a travaillé sur les outils ?

• Choix de développer des outils en interne– 2 informaticiens (conception + développement)– 2 bibliothécaires

• Appel à un graphiste professionnel

• Appui sur le groupe de travail ES de la rétroconversion

Page 21: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

21

Le groupe de travail

• composition : SDBIS, bibliothèques avec de riches fonds de manuscrits, dont des experts et formateurs EAD

Jacqueline Artier (Sorbonne), Pascale Heurtel (Museum), Patrick Latour (Mazarine), Gérard Littler (BNUS), Max Naudi (SDBIS), Fabienne Queyroux (Institut), Nathalie Rollet (BSG), Mireille Vial (BIU Montpellier)

• travail concomitant sur la préparation des données et sur les développements des outils avantages et inconvénients

Page 22: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

22

Relations ABES / Groupe de travail

• Forte interaction• Itérations spécifications/développements• ABES, force de proposition (scénarios,

prototypes, maquettes…)

Pas du « développement agile », mais ça y ressemble

Page 23: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

23

2. Anatomie

Page 24: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

24

Questions clés

• Comment stocker la structure XML EAD ?• Comment l’indexer ?• Comment y accéder ?• Comment l’afficher

Page 25: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

25

2 méthodes

• Le fichier EAD en tant qu’instance XML

• Le fichier EAD en tant que base de données

Calames utilise les deux méthodes

Page 26: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

26

Méthode 1 : EAD en tant que XML

• Exploiter le fichier tel quel– On garde toutes la richesse des données– On utilise des outils standard :

• XQuery pour interroger• XQuery update (en développement au W3C)

• Méthode utilisée pour le catalogage dans Calames– XML-DML (Microsoft) en attendant XQuery update

Page 27: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

27

Méthode 1 : EAD en tant que XML

• Le fichier EAD est stocké et mis en mémoire comme un tout

• Dans l’interface de catalogage, il est affiché et modifié bloc par bloc

» Démo Calames Catalogage

Souplesse maximale

Page 28: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

28

Méthode 1 : EAD en tant que XML

• Pourquoi ne pas utiliser encore cette méthode pour la recherche et la consultation ?– problèmes de performance– problèmes de la recherche Full Text

Le « tout XML » n’est pas encore prêt

Page 29: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

29

Méthode 2 : EAD en tant que base de données

• Traduire la structure EAD en base de données relationnelles– Pour :

• Technologie éprouvée et performante• La régularité de l’EAD s’y prête assez bien

– Contre :• Trop rigide• Comment gérer le contenu mixte ?<unittitle>Papiers de <persname>Untel</persname></unittitle>

Page 30: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

30

Méthode 2 : EAD en tant que base de données

• Compromis dans Calames :– Découper EAD en <c> liés– Chaque <c> est stocké en tant qu’instance

XML

Le meilleur du relationnel et le meilleur d’XML

Page 31: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

31

De la base à la page Web

• La base renvoie directement de l’XML…• … qui est exploitable dans le navigateur

Page 32: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

32

Interface AJAX

• AJAX = Asynchronous JavaScript and XML

• Modifier une page Web de manière partielle, en allant chercher certaines infos XML (ou JSON) sur le serveur.

Permet une interface plus réactive

Page 33: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

33

Interface AJAX

• Le serveur envoie de l’XML• C’est le navigateur (client) qui est en

charge de construire l’HTML– Avec Javascript– Avec XSLT

le serveur est soulagé performances améliorées

Page 34: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

34

AJAXinconvénients et solutions

• Interfaces non accessibles– par les handicapés visuels– par les moteurs de recherche (robots)

Proposer une version dégradée du site en pur HTML (ex: Gmail)

Page 35: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

35

3. Dissection

Page 36: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

36

Méthode de dissection

• Scalpel = Firebug (plugin Firefox)• Observer le code (html, javascript, css,

xslt)• Observer les requêtes AJAX• Observer les flux de données

Page 37: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

37

2. Dissection de Calames

a. La page de recherche

Page 38: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

38

Anatomie > la recherche (1)

• Recherche simple par défaut• Combinable avec recherche avancée• Filtrage sur bibliothèque(s)

Apparition du champ Cote• Accès direct à chaque bibliothèque• Feuilletage des index

Page 39: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

39

Anatomie > la recherche (2)

• Chargement initial de données :– Liste des bibliothèques (XML)– Liste des langues (XML)– Décodage des bibliothèques (JSON)– Décodage des langues (JSON)

• Chargement initial de l’XSLT

Page 40: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

40

Anatomie > la recherche (3)

• Feuilletage des index– Listes dynamiques en fonction de la

bibliothèque– Autocomplétion (search as you type)– Exploitation des renvois des autorités Sudoc

Page 41: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

41

2. Dissection de Calames

b. La page des résultats

Page 42: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

42

Anatomie > les résultats (1)

• Une liste de résultats (1000 max)• Une URL réutilisable• Liste filtrée (traitements côté serveur)• 50 résultats par page (car rapide)• Tris• Facettes

Page 43: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

43

Anatomie > les résultats (2)

• Traitements sur la liste brute : infanticide– Si un lot de résultats contient un <c> parent et

un de ses <c> enfants, on supprime l’enfant. Moins de résultats Moins de redondances Compense l’héritage (des dates, langues,

sujets…) La navigation permet de retrouver l’enfant

disparu

Page 44: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

44

Anatomie > les résultats (3)

• Facettes– Filtres a posteriori (non a priori)– Évitent de reformuler la recherche– Raffiner pas à pas la recherche– Hélas, pas de mention du nombre

d’occurrences (prix à payer pour infanticide…)

Page 45: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

45

2. Dissection de Calames

c. L’affichage des notices

Page 46: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

46

Anatomie > les notices et leur contexte (1)

• Zoomer sur un composant <c>• Pouvoir se déplacer autour :

• Les ancêtres• Les enfants• Les frères (avant et après)

• Pouvoir afficher plusieurs niveaux dans la même page

• Avoir une vue moins parcellaire• Affichage et impression à la carte

Page 47: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

47

Anatomie > l’arborescence

• Obtenir une vue plus large sur l’arborescence globale

• Enjeu = comment se promener dans des arbres composés de milliers d’items ?

Page 48: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

48

Anatomie > les nuages

• Vue globale sur un corpus

Page 49: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

49

Anatomie > Liens sortants

• Lier vers des images, des transcriptions, des bibliographies…

• Lier sans vampiriser• Lier sans saisir toutes les URL

http://elec.enc.sorbonne.fr/miroir/donat/traduction/?para=paris2

?

Page 50: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

50

Anatomie > Liens entrants

• Aujourd’hui : URL stables et propres

• Demain : URL pérennes– Dilemme pérennité / « usabilité »– Sur quoi construire l’URL pérenne ?

• La cote ? Réflexion en cours…

Page 51: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

51

pour en savoir plus...

• Calameshttp://www.calames.abes.fr

• Site de l’ABES http://www.abes.fr/abes/page,580,manuscrits.html

• Arabesques n° 48 et n° 49http://www.abes.fr/abes/page,386,arabesques.html

• Calames, le blog http://calames.wordpress.com/

• Nous é[email protected]

Page 52: Calames - presentation à l'ecole des chartes

Calames – Ecole des chartes

52

Crédits photos

• http://flickr.com/photos/54945394@N00/1338967778/

• http://flickr.com/photos/drlopezfranco/1447712697/

• http://flickr.com/photos/patrlynch/450129440/