Interroger le texte scientifique

Interrogerletextescien.fique

[email protected]

8décembre2016HDR

http://bit.ly/hdrCabanac2016

nThème2:Indexa.onetRecherched’Informa.ons

ÉquipeIRIS:Informa.onRetrieval&Informa.onSynthesis

2

Interrogerletextescien.fique?Prélude:projetdeprogrammederecherche

Requêterrecherched’informa.on

Ques+onnerscientométrie

3

Interrogerletextescien.fique?Prélude:projetdeprogrammederecherche

Parcours1/3:produc.onscien.fiquePrélude

4

ingénieriedocumentaire recherched’informa.on scientométrie

5

Parcours2/3:encadrements,programmesderecherchePrélude

Parcours3/3:richessedelavieuniversitaire

6

n  Enseignement¨  DUT1A-2A systèmesd’informa.onetbasesdedonnées 160h/an¨  LicencePro administra.ondesbasesdedonnées+projet 60h/an¨  M2 évalua.ondelarecherched’informa.on 6h/an¨  Doct.+EC LaTeXpourcomposerdesdocumentsscien.fiques 12h/an

n  Serviceàlacommunautéscien.fique¨  2jurysdedoctorat,2recrutements(MCF,Enseignantdu2nddegré)¨  ~10évalua.onsparand’ar.clesderevue,conférenceetatelier¨  Co-chairduworkshopBIR@ECIR

n  Fonc.onsélec.ves¨  2015-2019 Conseilna.onaldesuniversités–CNU27¨  2016-2019 Conseildeladocumenta.ondel’UniversitéToulouse3¨  2014-2016 Conseildudépartementinforma.quedel’IUT«A»

Prélude

7


Plan«alterna.f»1.  Prélude:objetsetparcours

2.  Raffinerl’indexa.ona.  Photosparcrowdsourcingb.  (Microblogsparexploita.ondesspécificitésdestweets)c.  Éponymes

3.  Éprouverlesmodèles

4.  Traquerlesbiaisd’évalua.on

5.  Révélerl’implicite

6.  Ques.onnerlespra.quesdeschampsdisciplinaires

7.  Bilan

8.  Perspec.ves

8


Plan1.  Prélude:objetsetparcours






7.  Bilan

8.  Perspec.ves

2010Commentretrouverses/desphotos?

9 Mitran,M.(2014).Annota.ond’imagesvialeurcontextespa.o-temporeletlesmétadonnéesduWeb.

Thèsededoctoratdel’universitéToulouse3–PaulSaba.er.

2a—Raffinerl’indexa.on

hqp://kesselskramer.com

/exhibi.on

s/24-hrs-of-p

hotos

24heuresenphotossur880millardsdephotosprisesen2014selonYahoo!

2010Unesolu.onbienconnuequoiquelimitée

10

2a—Raffinerl’indexa.on

n  Requêtestextuelles

n  Limite¨  Requiertunedescrip.ontextuelle:indexa.onmanuelle¨  Requiertdutexteautour—quiddenosphotossurcléUSB?

Annota.ond’imagesparcrowdsourcing2a—Raffinerl’indexa.on

n  Hypothèses¨  Per.nencespa.ale

n  MétadonnéestypeEXIF

n  Annoteruneimage¨  Tagsprochesdansl’espace(SM)¨  Tagsprochesdansletemps

n  Valida.on¨  2lignesderéférence

¨  Per.nencetemporelle

11

12








7.  Bilan

8.  Perspec.ves

13








7.  Bilan

8.  Perspec.ves

Éponymieetpanthéonscien.fique

14

“Eponymsremindusthatscienceandscholarshiparetheworkofdedicatedpeople.”(p.393)

“mnemonicandcommemora+vedevice”(p.121)Merton,R.K.(1942).Scienceandtechnologyinademocra.corder.JournalofLegalandPoli.calSociology,1(1),115–126.

“theprac.ceofaffixingthenameofthescien+sttoallorpartofwhathehasfound,aswiththeCopernicansystem,Hooke’slaw,Planck’sconstant,orHalley’scomet”(p.643)Merton,R.K.(1957).Priori.esinscien.ficdiscovery:Achapterinthesociologyofscience.AmericanSociologicalReview,22(6),635–659.

Cabanac,G.(2014).Extrac.ngandquan.fyingeponymsinfull-textar.cles.Scientometrics,98,3,1631–1645.

2c—Raffinerl’indexa.on

15

n  Théories¨  TheRewardSystemofScience (Merton,1942,1957)

¨  Oblitera.onbyIncorpora.on (Merton,1988;McCain,2011,2012)¨  Non-indexedEponymalCitedness (Száva-Kováts,1994)

n  Extraireetquan.fierleséponymesenpleintexte¨  Connaîtrelessavantslesplusinfluentsd’unchampdonné¨  Amenderundic.onnaired’éponymes¨  Iden.fierlestendancesetl’incorpora.ondeméthodes



16



17


Révéla.ondupanthéonscien.fiqueimplicite

18

1.  Prélude:parcoursetobjets

2.  Raffinerl’indexa.on

3.  Éprouverlesmodèlesa.  Opérateursd’interroga.onb.  Sugges.onscontextuellesàTRECc.  (Capacitédepartenariat:ϕ-index)




7.  Bilan

8.  Perspec.ves


Plan

n  Usagedesopérateurs

¨  Recherched’expressions("…"),critèreobligatoire(+)oupréféré(^),connecteursbooléens,opérateursdeproximité…

¨  Délaissésdenosjoursbienqueplébiscitésini.alement(20%chezSilversteinetal.,1999)

19

Besoineninforma.on

“I’mlookingforresearchprojectsfundedintheDLdomain”

Requêteusuelle Requêteavecopérateurs

Opérateursd’interroga.ondesmoteursderecherche

Hubert,G.,CabanacG.,Sallaberry,C.,Palacio,D.(2011)QueryOperatorsShownBeneficialforImprovingSearchResults.TPDL’11,volume6966deLNCS,pages118–129.Springer.

3a—Éprouverlesmodèles

Requêteusuelle V1:Variantederequêteavecopérateur

ü ü ü ü ü

ü ü

V2,V3,V4,…,VN

Métho

de

Résulta

ts

L’emploijudicieuxdesopérateursaméliorelaqualitédesrésultatsderecherche.

MAPu =0,1554

MAP ┬ =0,2099+35%

n  Qualitédesrésultats↗

Hypo

thèse

uTopicTREC


Opérateursd’interroga.ondesmoteursderecherche

21







7.  Bilan

8.  Perspec.ves


Plan

22

TRECContextualSugges.on2012n  «Quefaired’intéressantauxalentoursetmaintenant?»

¨  50contextesspa.o-temporels¨  34profilsu.lisateurs¨  aqeignableenvoiture<5h


Hubert,G.,&Cabanac,G.(2012).IRITatTREC2012ContextualSugges.onTrack.TREC’12:Proceedingsofthe21stTextREtrievalConference.Sousladirec.ond’E.M.VoorheesetL.P.Buckland.Gaithersburg,MA:NIST.

23







7.  Bilan

8.  Perspec.ves


Plan

24




4.  Traquerlesbiaisd’évalua.ona.  Biaisdesex-aequob.  Biaisd’ordonnancement



7.  Bilan

8.  Perspec.ves


Plan

25

Contexte:mesurerlaqualitéd’unsystèmedeRIn  Focus:u.lisateurvs.systèmedeRI (SpärckJones&Willeq,1997)

n  Campagnesd’évalua.on¨  1958Cranfield,UK¨  1992TREC(TextRetrievalConference),USA¨  1999NTCIR(NIITestCollec.onforIRSystems),Japan¨  2001CLEF(Cross-LanguageEvalua.onForum),Europe¨  …

n  Méthode«Cranfield»¨  Tâche¨  Collec.ondetest

n  Corpusn  Topics n  Qrels

¨  Mesures:MAP,[email protected]_eval (Voorhees,2007)

4a—Traquerlesbiaisd’évalua.on

26

Scénariodepar.cipa.onàTREC(1/2)

5documentsper.nentsTopic031“satellitelaunchcontracts”

Chris Ellen

C=〈( ,0.8),( ,0.8),( ,0.5)〉 E=〈( ,0.8),( ,0.8),( ,0.5)〉

laseuledifférence

Pourquoidetellesdifférences?malchanceux chanceux

Cabanac,G.,Hubert,G.,Boughanem,M.,&Chrisment,C.(2010).Tie-breakingBias:EffectofanUncontrolledParameteronInforma.onRetrievalEvalua.on.CLEF,volume6360deLNCS,pages112–123.Springer


27

Lacause:réordonnancementfortuitdesrunsQrels=〈qid,iter,docno,rel〉 Run=〈qid,iter,docno,rank,sim,run_id〉

〈( ,0.8),( ,0.8),( ,0.5)〉

trec_evalréordonneainsi:qidasc,simdesc,docnodesc

〈( ,0.8),( ,0.8),( ,0.5)〉

Mesuredequalité=f(qualité_intrinsèque,)MAP,P@X,MRR…


28

Conséquencesduréordonnancementd’unrunn  Mesuresdequalitéd’unsystèmesdeRI

¨  RR(s,t) 1/rangdupremierdocumentper.nent,pourletopict¨  P(s,t,d) précisionaudocumentd,pourletopict¨  AP(s,t) précisionmoyennepourletopict¨  MAP(s) moyennedesprécisionsmoyennes

MLebiasdesexaequo

¨  Pourautant,WallStreetJournalest-ilplusper.nentqueAssociatedPress?

M Problème1 comparer2systèmes AP(s1,t)vs.AP(s2,t) M Problème2 comparer2topics AP(s,t1)vs.AP(s,t2)

Chris

Ellen

MSensiblesaurangde

document


29

Notepourplustard:aqen.onauxexaequo!n  EffetimportantsurAP,lisséauniveaudelaMAP

n  BornesdemesuresAPRéaliste≤APConven.onnel≤APOp.miste

n  Analysededéfaillancespouraméliorerlemodèle¨  Barred’erreur=facteur(mal)chance→poten.ald’améliora.on

padre1,adhoc’94


30

Impactdubiaisdesexaequon  Étudemenéesur4tâchesdeTREC

¨  22édi.ons¨  1360runs

n  Évalua.ondel�impactdubiaisdesexaequo¨  Propor.ondesexaequodanslesrunssoumis⇒fréquencedubiais¨  Impactsurlesvaleursdesmesures

n  Top5desdifférencesconstatéesn  Pourcentagedeladifférenceobservéen  Significa.vitédeladifférenceobservée:t-testpairéunilatéral

1993 1999 20001998 2002 20041997

rou.ng webfiltering

adhoc

2009

3Godedonnéesissuesdetrec.nist.gov


31

ImpactdubiaissurAveragePrecision(AP)4a—Traquerlesbiaisd’évalua.on

32




4.  Traquerlesbiaisd’évalua.ona.  Biaisdesex-aequob.  Biaisd’ordonnancement



7.  Bilan

8.  Perspec.ves


Plan

33

Différencesentrechampsdisciplinaires:lesconfs4b—Traquerlesbiaisd’évalua.on

34

Conférences:etsiladatedesoumissionimportait?M

n  Évalua.onparlespairs

Cabanac,G.,&Preuss,T.(2013).Capitalizingonordereffectsinthebidsofpeer-reviewedconferencestosecurereviewsbyexpertreferees.JASIST,64,2,405–415.

4b—Traquerlesbiaisd’évalua.on

35


36

Lebiaisdeladatedesoumissionn  DonnéesdeConfMaster:42conférenceseninforma.que


37

Biaisdeladatedesoumissionn  Influencesurlesenchères(bids)


38

Faitesévaluerparceuxquileveulent!4b—Traquerlesbiaisd’évalua.on

39

Plan1.  Prélude:parcoursetobjets




5.  Révélerl’implicitea.  Recommanda.onsthéma.co-socialesb.  Naturedescollabora.onsscien.fiquesc.  (Équilibretravail-loisirs)


7.  Bilan

8.  Perspec.ves


40

Recommanda.onthéma.co-socialen  Étatdel’art:modèlesrichesmais…

L Coût accèspayantauxcontenusL Faisabilité contenu=formatsetlanguesmul.plesL Intrusivité friendship?bookmarking?L Per.nence cita.ons(néga.ves,complaisantes…)

L Évalua.on beaucoupdeparamètresenjeu!

n  Notreapproche:exploiterdesdonnéespubliquesetobjec.ves¨  Sourcebibliographiqueminimale

n  auteurs:nomprénomn  publica.ons:.tre,conférence/journal,date ⇒niabstract,nicontenu

¨  Objec.f:recommanda.ondechercheursselonthéma.que+social

(BenJabeuretal.,2010)

Cabanac,G.(2011).Accuracyofinter-researchersimilaritymeasuresbasedontopicalandsocialclues.Scientometrics,87,3,597–620.

5a—Révélerl’implicite

41

Définirdessimilaritésinter-auteur

n  Modélisa.on¨  Co-auteurs graphebipar.auteurs↔auteurs¨  Lieuxdepublica.on graphebipar.auteurs↔conférences/revues

n  Similaritéssociales¨  Degrédesépara.oninverse longueurdupluscourtchemin ¨  Forcedulien nombredepluscourtschemins

¨  Lieuxmutuels nombred’édi.onsdeconférencesencommun

n  Similaritéthéma.que¨  Cosinussurmodèlevectorieldi=(wi

1,…,win)

alimentéparles.tres(doc/auteur)


42

Recommanderenintégrantlesindicessociauxn  Tâchedeveillescien.fique

¨  Exigence per.nencethéma.que¨  Préférence proximitésociale(échanges,montagesdeprojets…)

⇒réordonnerlesrésultatsthéma.quesenfonc.ond’indicessociaux

n  FaisceaudepreuvesavecCombMNZ(Fox&Shaw,1993)

n  Résultat:listedechercheursrecommandés

CombMNZDegrédesépara.on

Forcedesliens

Lieuxmutuels

Runsocial

Runthéma.que

∩CombMNZ RunT+S


43

Protocoled’évalua.onn  Confronterlesrecommanda.onsàlapercep.ondeschercheurs

¨  Q1:Qualitéduthéma.queseul?¨  Q2:Améliora.onparl’intégra.ond’indicessociaux?

n  Inspira.on:paradigmeCranfield(TREC…)¨  Lemoteurres.tue-t-ildesdocumentsper.nents?

docper.nent?

assesseur

jugementsdeper.nence{0,1} binaires[0,N] graduels

trec_eval

mesuresdequalitéMeanAveragePrecisionNormalizedDiscountedCumula.veGain

topic S1 S2

1 0,5687 0,6521

… … …

50 0,7124 0,7512

moy. 0,6421 0,7215

améliora.on +12,3%significa.ve p<0,05(t-testpairé)

moteurderecherchetopic

corpus


44

Évalua.ondesrecommanda.onsn  Adapta.onduparadigmeCranfield(TREC…)

¨  Lemoteursystèmeres.tue-t-ildesdocumentschercheursper.nents?

docper.nent?

assesseur

jugementsdeper.nence{0,1} binaires[0,N] graduels

trec_eval

mesuresdequalitéMeanAveragePrecisionNormalizedDiscountedCumula.veGain

topic S1 S2

1 0,5687 0,6521

… … …

50 0,7124 0,7512

moy. 0,6421 0,7215

améliora.on +12,3%significa.ve p<0,05(t-testpairé)

moteurderecherchetopic

corpus

nomd�unchercheur

chercheur

«Pourprogresserdansvotrerecherche,avecquifaudrait-ildiscuter?»

sys.derecommanda.on

théma.que théma.que+social

nbsujets

25premiers


45

Expérimenta.onn  Caractéris.ques

¨  Données dblp.xml(713Mo=1,3Mpubliset811787chercheurs)¨  Sujets 90chercheurs-contactsjointsparmail

74chercheursontcommencéet71ontfini

n  Interfacedejugementdesrecommanda.ons

��

�


46

Valida.onexpérimentaledenoshypothèsesn  Baselineforte⇒approchevectorielleperformante

n  +8,49%= améliora.onsignifica.ve(p<0,05;n=70) delathéma.queparlesocial

0,5

0,6

0,7

0,8

0,9

1

global <15publis >=15publis <13ans >=13ans

Thématique Thématique+Social

produc.vité expérience

+8,49% +10,39% +7,03% +6,50% +10,22%

NDC

G


47







7.  Bilan

8.  Perspec.ves


48 Cabanac,G.,Hubert,G.,&Milard,B.(2015).AcademiccareersinComputerScience:con.nuanceandtransience

oflife.meco-authorships.Scientometrics,102,1,135–150.

.

5b—Révélerl’implicite

49

Source:hqps://projects.groept.be/~emedia

Lapopula.on(N=1870054)

L’échan.llondes«quinquas»(N=209377)

5b—Révélerl’implicite

50

Collabora.onsentretenuesversuséphémères5b—Révélerl’implicite

51

Renouvellement5b—Révélerl’implicite

52

EffetMaqhieuethomophilie5b—Révélerl’implicite

53







7.  Bilan

8.  Perspec.ves


54






6.  Ques.onnerlespra.quesdeschampsdisciplinairesa.  Lesgardiensdelascience:gatekeepersduSIb.  (PrésencedesgatekeepersfemmesetauteursaucongrèsEGC)

7.  Bilan

8.  Perspec.ves


55

PanoramadelarechercheenInforma.onSystems

n  Lesgardiensdel’évalua.onparlespairs,aliasgatekeepers

(Braun,2009)

Cabanac,G.(2012).Shapingthelandscapeofresearchininforma.onsystemsfromtheperspec.veofeditorialboards:Ascientometricstudyof77leadingjournals.JASIST,63,5,977–996.

6a—Lesgardiensdel’évalua.onparlespairs:gatekeepersduSI

56

PanoramadelarechercheenInforma.onSystemsn  Les77revues«cœur»enISselonuneautorité:leWoS


57

PanoramadelarechercheenInforma.onSystemsn  Analyseexploratoiredesdonnées

¨  77revues¨  2846gatekeepers


58

n  Analyseexploratoiredesdonnées



59

n  Graphethéma.quedesrevuesenIS



60

n  Influence,pouvoir...



(198

4)

61

PanoramadelarechercheenInforma.onSystemsn  Unsiègeàlatabledesnégocia.ons?


62

n  Diversitégéographiqueetdegenre



63






6.  Ques.onnerlespra.quesdeschampsdisciplinairesa.  Lesgardiensdelascience:gatekeepersduSIb.  (PrésencedesgatekeepersfemmesetauteursaucongrèsEGC)

7.  Bilan

8.  Perspec.ves


64







7.  Bilan

8.  Perspec.ves


65

7.Bilan

Théma.quesprincipales3mouvements

①

②

③

66 YangS.,HanR.,WolframD.&Zhao,Y.(2016).Visualizingtheintellectualstructureofinforma+onscience(2006–2015):

Introducingauthorkeywordcouplinganalysis.JournalofInformetrics,10,1,132–150.

[Author-BibliographicCouplingAnalysis]

Unerechercheauxfron.èresdesspécialitésd’Informa.onScience

7.Bilan

67







7.  Bilan

8.  Perspec.ves


68

8.Perspec.ves

Reconnaîtrelesstructuresd’opportunités

Ques+onderecherche:-cap.vante-originale/inaqendue-importante

RevuedelaliEérature:-interdisciplinaire-surletempslong

Donnéesetméthodes:-donnéesoriginalesenlibreaccès,depréférence-méthodemixte:quan.+quali

69

8.Perspec.ves

Réseauxsociauxnumériquesetélicita.ond’opinions

hqp://volta

.pacita

project.e

u/wp-conten

t/up

loads/2013/04/schaliegasw

inning-s-26.jpg

(Thonetetal.,2016)

70

T2

T1

T3

T4

T5

T7

T6

Preuvedeconcept:IRIT

Données:

•  2009-2014

•  RICL,RNCL,CICL,CNCL

•  260auteurs

•  3860ar.cles(82%internat.)

Interpréta.on:

•  Collabora.oninter-thèmes

•  Forcedesliensfaibles

Aqen.on:

•  Variabilitédespra.quesdepublica.onselonlesdomaines:fréquence,travail±collabora.f…

RéaliséavecGephi

8.Perspec.ves

Versunobservatoiredelarecherche1/3

71 RéaliséavecIramuteq

8.Perspec.ves


72

Interpréta.on:

•  4objetsprincipaux

•  Despétalesàexplorer

NB:lenombredemotsreprésentéspeutêtreparamétrépourajusterleniveaudedétail.

RéaliséavecIramuteq

8.Perspec.ves


73

8.Perspec.ves

Posi.onsdanslechamp

Lemarchénoirdel’édi.onscien.fique

74

n  Domaines¨  Sciencedel’informa.on¨  Sociologiedessciences

n  Contexte:(non)-accèsàl’IST¨  8millionsdechercheurs+desamateurs(sciencespar.cipa.ves)+grandpublic¨  114millionsdedocumentsscien.fiquesenligne

maisseulement24%accessibleslibrement

n  Défi:dévoilerrouagesetcontenudesbibliothèquesclandes.nes¨  LibraryGenesis(23Md’ar.cles,1Md’ouvrages),Sci-Hub,#icanhazpdf,/r/scholar

n  Contribu.on:ar.cleJASISTacceptéenoctobre2014¨  Alimenta.on:biblioleaks+crowdsourcing¨  Contenu:distribu.ondeséditeurs,disciplines,langues…

@rickypo

8.Perspec.ves

Cabanac,G.(2016).BibliogiñsinLibGen?Astudyofatext-sharingplaóormdrivenbybiblioleaksandcrowdsourcing.JournaloftheAssocia.onforInforma.onScienceandTechnology,67,4,874–884.

Étudierl’OpenAccessclandes.n:lesenjeux

75

8.Perspec.ves

Merci

hqp://www.irit.fr/~Guillaume.Cabanac

@gcabanac

Interroger le texte scientifique

Science

Transcript of Interroger le texte scientifique