WEB INVISIBLE ET DEEP WEB

WEB INVISIBLE ET DEEP WEBAntoine PY et Baptiste Buisson

Cours de recherche dinformation avance1Introduction sur le Web InvisibleLes 4 niveaux dinvisibilitLes serveurs classiquesLvolutionLutilitLes outils pour explorer ce monde cachComment naviguer sur le web de faon anonymeAntoine PY et Baptiste Buisson2SommaireDEEP WEB WEB PROFOND WEB CACHE WEB INVISIBLEQuest ce que le Web Invisible?

Cest lensemble des pages internet non-indexes par les moteurs de recherche traditionnels

Antoine PY et Baptiste Buisson3IntroductionAntoine PY et Baptiste Buisson4Introduction

Un Web cachThe opaque Web : nearly visible webThe Opaque WebPages susceptibles dtre indexes mais qui ne le sont pas. Pourquoi?

- Cration de nouvelles pages (pas de dtection du robot spider)- Limitation du moteur sur le nombre de page dun site- La page possde peu de backlinks

Antoine PY et Baptiste Buisson5Le Web InvisibleLes 4 niveaux dinvisibilitsWeb invisible: la partie immerg de lIcebergThe Opaque WebThe Private WebPages exclues volontairement par les Webmasters

Antoine PY et Baptiste Buisson6Le Web InvisibleLes 4 niveaux dinvisibilitsWeb invisible: la partie immerg de lIcebergThe Opaque WebThe Private WebThe Proprietary Web- Identification ncessaire (lindexage par le robot est bloqu)

Antoine PY et Baptiste Buisson7Le Web InvisibleLes 4 niveaux dinvisibilitsLes banques de donnes: une partie intgrante du WebThe Opaque WebThe Private WebThe Proprietary WebThe Truly Invisible webToute indexation est impossible en raison des formats inconnus, de la structure ou de la taille hors norme des informations.Les pages gnres dynamiquement ne peuvent galement pas tre gres par les moteurs de recherche.

Antoine PY et Baptiste Buisson8Le Web InvisibleLes 4 niveaux dinvisibilitsUne requte consomme autant quune ampoule pendant 1hAntoine PY et Baptiste Buisson9Les serveurs classiquesHistorique:

Les banques de donnes sont apparues en 1960. Objectif: Une volont damliorer lefficacit du web.

Depuis 1970 des serveurs sont cres par plusieurs socits prives.

Contenu plus qualifi, plus prcis, plus vrifi et plus vasteAntoine PY et Baptiste Buisson10Des informations structures et validesLes bases de donnes hbergent une information structure et varie.- Rfrences avec rsum et indexation darticles- Brevets amricains, europens- Rfrences avec indexation de brevets- Textes intgrals de milliers de titres de presse- Informations marketing

Contenu plus qualifi, plus prcis, plus vrifi et plus vasteAntoine PY et Baptiste Buisson11Des ressources difficiles daccsLes bases de donnes sont plus difficiles daccs que celle du web visible- Accs rserv aux abonnes- Accs Payant- Connaissance des langages

La croissance de la taille du Web invisible sattnue de plus en plusEn 2000: la taille du web invisible croissait plus vite que le web visible. Ceci nest plus dactualit. Pourquoi?Lindexation de nouveaux formats de fichierFichier .pdf (document de qualit): publications scientifiques et universitaires, rapports de chercheursFichier .doc, .xls, .ppt, .rtf, .psLes partenariats avec des diteurs de banques de donnesPages dynamiquesAccord sign entre lInst-Cnrs (17 millions de bibliographie) avec Google

Antoine PY et Baptiste Buisson12LvolutionTaille web visible: 167 traoctetsTailles web invisible: 91 000 traoctetTrouver des documents supplmentairesInformations plus pertinentesElargir son champ de rechercheAntoine PY et Baptiste Buisson13Utilit des recherches dans le deep webLe web invisible est 544 fois plus grand que le web visibleLes informations trouver:Revues lctroniquesLivres lectroniquesCatalogues en ligneDes articlesAntoine PY et Baptiste Buisson14Les outils

Le fonctionnement:Recherche par catgoriePossibilit de modifier sa recherche: options de rechercheLes informations trouver:Ressources pertinentes sur beaucoups de sujetsAntoine PY et Baptiste Buisson15

Le fonctionnement:Recherche par catgorie et par mots-clsLes outilsLes informations trouver:Ressources pertinentes sur beaucoups de sujetsAntoine PY et Baptiste Buisson16Le fonctionnement:Recherche par catgorie

Les outilsLes informations trouver:Sujets acadmiquesDictatitiels sur des techniques efficaces de recherche dinternetAntoine PY et Baptiste Buisson17Le fonctionnement:Recherche par mots-cls ou par sujet

Les outilsLes informations trouver:EncyclopdiesAtlasBibliographieAntoine PY et Baptiste Buisson18Le fonctionnement:Recherche par mots-cls

Les outilsMoteurs de recherche pour tudiants

Trouver du contenu sur lingnierie, les mathmatiques et linformatique

Types dinformation:Nouvelles sur lindustrieOffres demploiRapports techniquesSites web pertinentsAntoine PY et Baptiste Buisson19Le fonctionnement:Recherche par mots-clsLes outils

Antoine PY et Baptiste Buisson20Les outilsMta-moteur

Nombreuses possibilits de personnalisation et de paramtrage

Trouver les informations les plus rcentes

The internet behind the internetAntoine PY et Baptiste Buisson21Le DarkWebThe internet behind the internetPlusieurs Outils existent:

TOR (The Onion Router)Base-search.netDautres moteurs de recherche spcialissAntoine PY et Baptiste Buisson22Comment y accder?

Avec Google ChromeAvec TORThe internet behind the internetAntoine PY et Baptiste Buisson23Les Outils

The internet behind the internet

Antoine PY et Baptiste Buisson24Les OutilsBatrice Foenix-Riou : Recherche veill sur Internet: mode demploiWeb profond. Encyclopdie en ligne. Wikipdia, s.d. http://fr.wikipedia.org/wiki/Web_profondCinq moteurs de recherche pour explorer le darknet. Site dinformation sur les nouvelles technologies. Parlons Geek, s.d. http://www.parlonsgeek.com/cinq-moteurs-de-recherche-pour-explorer/.Clearing Up Confusion Deep Web vs. Dark Web, 27 mars 2014. http://www.brightplanet.com/2014/03/clearing-confusion-deep-web-vs-dark-web/Deep Web, Dark Web, les parties immerges dInternet | Panoptinet, s.d. http://www.panoptinet.com/cybersecurite-decryptee/deep-web-dark-web-les-parties-immergees-dinternet/Dejonckheere, Eric. AYA.io - Recherche dans le Web profond. Blog. AYA.io, 22 juin 2013. http://aya.io/blog/deep-web-search/.La recherche dInformations sur le Web, s.d. http://c.asselin.free.fr/french/invisible_web.htm.

MemoAV_WebInvisible - Memo_WebInvisible.pdf. http://bibliotheque.unice.fr/services-et-formations/aide-et-formation/documents/Memo_WebInvisible.pdf.

Rechercher linformation - Les informations du web invisible. http://www.c2imes.org/MODULES/B2/co/I_E_partieB.html.Digimind, Dcouvrir et exploiter le web invisible pour la veille stratgique: http://www.esi.ac.ma/Dossiers/20140126070100.pdf

Antoine PY et Baptiste Buisson25BibliographieMerci pour votre attentionAntoine PY et Baptiste Buisson26