Post on 21-Dec-2014
description
REP2400 Internet et relations publiques
La recherche
Quelques mythes
On trouve tout dans InternetC'est facile de chercher et de trouverLes sources sont fiables et à jour...
LES RECHERCHES DANS INTERNET PEUVENT SE FAIRE À PARTIR DES RESSOURCES SUIVANTES, ENTRE AUTRES :
Annuaires (catologues/répertoires) et moteurs de recherche
Les Newgroups (groupes de discussion)Les bloguesCertains réseaux sociaux ouverts (ou par compte Google)Sites de signets sociauxTwitter (temps réel)Le Web profond
Source: Top-20 US sites & engines (Hitwise)http://www.hitwise.com/us/datacenter/main/dashboard-10133.html
La recherche dans Internet (WWW)
Comment les données sont-elles cataloguées et indexées ?Quelques outils de recherche disponibles.Les techniques à utiliser.
Catalogues, annuaires et répertoires:
Les informations sont constituées, organisées en catégories et même filtrées par des personnes. Pensez aux "Pages Jaunes" par exemple.
L'intervention humaine fait en sorte que l'information est souvent moins à jour qu'avec les moteurs.
La recherche d'information se fait alors par navigation dans le classement (hiérarchies et répertoires structurés). On perd en quantité ce qu'on gagne en qualité...
Par contre, plusieurs répertoires sont de type hybride et intègrent à la fois un répertoire et un moteur. Exemple: Yahoo
Répertoires et annuaires généralistes (quelques exemples)
Family Friendly Sites: http://familyfriendlysites.com/World Site Index: http://www.worldsiteindex.com/
Greenstalk:http://www.greenstalk.com/Open Directory Project (AOL): http://www.dmoz.org/World/Français/
Links To Go: http://www.links2go.com/Splash Directory: http://www.splashdirectory.com/Global Web Links: http://www.global-weblinks.com/
Annuaires et répertoires spécialisés
Jobboom:http://www.jobboom.com/Passeport santé:http://www.passeportsante.net/
Branchez-vous (affaires): http://mesfinances.branchez-vous.com/France Culture: http://www.culture.fr/fr/sections/
Références A+:Les 25 répertoires les plus puissants sur la toilehttp://www.searchenginepeople.com/francais/liste-des-25-repertoires-les-plus-puissants-sur-la-toile
Moteurs de recherche :
Il s'agit de programmes informatiques permettant de faire des recherches dans les bases de données, conçues par les robots collecteurs.
Dans Internet, les moteurs nous proposent leur information grâce à 3 fonctions ou étapes principales :
1) Un robot collecteur : ( crawler, spider, bot)
Il indexe le web automatiquement 24 heures par jour en "glanant" (en scannant) les informations dans le texte visible d'un site (les premiers mots ou phrases) et dans le texte invisible (i.e. dans le code HTML, où on retrouve les méta-étiquettes).
N.B. : Les meilleurs robots peuvent indexer plus de 10 millions de pages par jour ( ils prennent quelques semaines pour faire le tour du Web en entier).
Le robot visite chaque page (ou pages représentatives) d'un site (qui veut bien être trouvé ou découvert !) et lit les pages ainsi que les hyperliens offerts dans le but de découvrir les autres pages (ou fichiers).
2) Un programme crée un index ou catalogue immense
(base de données/statique) à partir des sites (fichiers) visités.
3) Un autre programme (le service de requêtes) reçoit votre requête, la compare à ses entrées de données (catalogue) et renvoie ses résultats.
C'est dans la fenêtre de requête des moteurs qu'on tape les informations et qu'on interroge leurs bases de données.La recherche d'information se fait donc par interrogation.Il existe des milliers de moteurs de recherche...
Search Engine Colossus ( par pays, par thèmes, etc.)http://www.searchenginecolossus.com/
[...] «So what’s our straightforward definition of the ideal search engine?
Your best friend with instant access to all the world’s facts and a photographic memory of everything you’ve seen and know. That search engine could tailor answers to you based on your preferences, your existing knowledge and the best available information; it could ask for clarification and present the answers in whatever setting or media worked best.» [...]
Marissa Mayer, V-P, Recherche-Produits et expérience utilisateur (Google)Source: http://googleblog.blogspot.com/2008/09/future-of-search.html
Références A+Une pub de Google durant le SuperBowl de 2010 (une vidéo disponible depuis plusieurs mois...)http://www.youtube.com/watch?v=nnsSUqgkDwU
Is Google Making Us Stupid ? (Nicholas Carr)http://www.theatlantic.com/doc/200807/google
Traduction française :(Framablog)http://www.framablog.org/index.php/post/2008/12/07/est-ce-que-google-nous-rend-idiot
Are we renting our collective intelligence to Google ? (Matteo Pasquinelli)http://mastersofmedia.hum.uva.nl/2009/11/16/matteo-pasquinelli-are-we-renting-our-collective-intelligence-to-google/
PageRank de GooglePageRank est un champion de la démocratie : il profite des innombrables liens du Web pour évaluer le contenu des pages Web -- et leur pertinence vis-à-vis des requêtes exprimées. Le principe de PageRank est simple : tout lien pointant de la page A à la page B est considéré comme un vote de la page A en faveur de la page B. Toutefois, Google ne limite pas son évaluation au nombre de « votes » (liens) reçus par la page ; il procède également à une analyse de la page qui contient le lien. Les liens présents dans des pages jugées importantes par Google ont plus de « poids », et contribuent ainsi à « élire » d'autres pages.
Source:http://www.google.ca/intl/fr/why_use.html
Plusieurs centaines de millions de requêtes par jour !
Des fonctions et services moins connus...
Le choix parmi 45 langues (2010):http://www.google.ca/preferences?hl=fr Google News/Actualités (+4500 sources médias dont 500 en français)http://news.google.com/news?cf=all&ned=fr_ca&ict=ln Alerte Google (monitoring de l'actualité)http://www.google.ca/alertshttp://www.googlealert.com Google Imageshttp://images.google.ca/
Google Scholar (anglais seulement)http://scholar.google.com/
Google...suite
Google Blog Searchhttp://blogsearch.google.com/La numérisation de tous les livres...http://books.google.com/ Localisation de magasins pour les achats:(ancien Froogle)http://www.google.com/products Recherches dans un lieu géographique précis. (Google Maps)http://local.google.com/ Recherches selon un domaine spécialisé (Special Searches) Gouv. UShttp://www.google.com/options/specialsearches.html
Google Earth (Images satellites...)http://earth.google.com/
Google Labshttp://www.googlelabs.com/
Google (vue d'ensemble des services et options)http://www.google.com/help/features.html Google en développementhttp://labs.google.com/
Références A+:Guide Google de Nancy Blachmanhttp://www.googleguide.com/Centre d’aide de Google:http://www.google.com/support/
Pourquoi la vidéo domine la recherche ?Pourquoi préfère-t-on passer plus de temps à regarder la TV qu’à lire la presse ? Nous sommes tout simplement fainéants. C’est plus facile et surtout plus accessible de s’informer avec des images animées, qu’avec du texte statique. (Laurent Maisonnave)
http://www.youtube.com/YouTube 1er moteur de recherche devant Gooogle (Laurent Maisonnave)
http://zelaurent.com/video-news/youtube-1er-moteur-de-recherche-devant-google/
Tendances des recherches sur Googlehttp://www.google.com/insights/search/?hl=fr
http://www.google.com/trends
Google GogglesRecherche visuelle/photographique
Il n’y a plus d’entrée de texte...Application pour mobile
http://www.google.com/mobile/goggles/#text
Voir entrevue avec Marissa Mayer, V-P Google, produits de recherche et expérience-utilisateur (LeWeb/Paris/2009)http://www.ustream.tv/recorded/2759667
Pour la musique, voir http://www.shazam.com/
http://fastflip.googlelabs.com/Une tentative de compétition envers les agrégateurs de nouvelles ?
Voir: http://www.nytimes.com/2009/09/15/technology/internet/15google.html?_r=1&partner=rss&emc=rss
Recherche sociale de Google:http://www.youtube.com/watch?v=aYf5iSA6t6g
Accéder aux recherches sociales de Google:http://www.google.com/support/websearch/bin/answer.py?answer=165228
Explication vidéo de Matt Cutts: http://www.youtube.com/watch?v=BlpTjP6h6Ms
Voir aussi Social Search: http://www.socialsearch.com/
Voir aussi Vark: http://vark.com/
http://www.bing.com/Voir aussi Bing Operatorshttp://www.bing.com/community/blogs/search/archive/2005/06/24/432439.aspx
Autres moteurs
HotBot:http://www.hotbot.com/Cuil:http://www.cuil.com/
AOL Search:http://search.aol.com/Lycos: http://www.lycos.com/
Search Cube: http://www.search-cube.com/Exalead:http://www.exalead.com/search/
Référence A+Search Engine Watchhttp://searchenginewatch.com/reportsHitwise (Experian) data centerhttp://www.hitwise.com/us/resources/data-center
Une recherche efficace et exhaustive favorisera une approche moteur et
une approche répertoire multiples.
Il faut en effet passer à travers plusieurs outils de recherche.
Ne jamais utiliser qu'un seul outil de recherche.
Principales techniques de recherche Identification du sujet :
Contexte et objet de la recherche; délimitation de la recherche (langues, pays, etc.); genre de réponses désirées.
Quelle est votre connaissance sémantique du sujet ou de la discipline recherchée ?
Formulation du sujet :
Quels mots ou expressions précisent ou traduisent le mieux les concepts de la recherche; choix de mots-clés et de termes à retenir; trouver des équivalences (synonymes, acronymes et mots en anglais ou dans une autre langue).
Recherche sur les termes exactesExemple concernant l'exactitude des termes anglais sur Google...
Source: http://www.googleguide.com/interpreting_queries.html
La stratégie de recherche inclut la traduction de mots clés et leur regroupement en fonctions de règles syntaxiques propres aux moteurs de recherche.
On peut combiner des mots ou des termes dans le but de
traduire la requête en une expression de recherche.
Attention aux majuscules et minuscules sur certains moteurs
Requête saisie en minusculesToutes les occurrences seront recherchées : ibm trouve ibm, IBM ou Ibm
Requête saisie en majusculesIdem: IBM trouve IBM, ibm, Ibm ou IbM
Lettres accentuées
L'occurrence exacte est recherchée :
électricité trouve électricité mais pas electricite ou electricité (HotBot)
Requête saisie sans accents
Toutes les occurrences sont recherchées :
electricite trouve electricite, électricité ou electricité (pas toujours vrai sur certains moteurs)
Requête saisie sans accents
Toutes les occurrences sont recherchées :
electricite trouve electricite, électricité ou electricité (pas toujours vrai sur certains moteurs).
Ordre des motsSur certains moteurs, la recherche (Paris Montréal) ne donne pas les mêmes résultats que la recherche (Monréal Paris) surtout pour le classement des résultats.
Majuscules, minuscules et accents sur Google
Les recherches Google ne tiennent pas compte de la « casse » des lettres (MAJUSCULES/minuscules).
Quelle que soit la typographie utilisée, Google interprète toujours les lettres composant vos termes de recherche comme des minuscules.
Par défaut, les recherches Google ne tiennent pas compte des accents ou autres signes diacritiques (cédille, tilde espagnol, umlaut allemand, etc.).
Ainsi les termes [FRANÇAIS] et [FRANCAIS] retrouvent les mêmes pages.Pour indiquer que ces deux termes ont une signification différente, utilisez un signe plus ( + ), soit les termes de recherche [+FRANÇAIS] et [+FRANCAIS].
Pour certains mots français dont la graphie est semblable à l'anglais (éléphant/elephant), il vaut mieux insérer les accents, SI on veut obtenir uniquement des documents en français. Par contre, pour les mots français dont la graphie n'a pas de correspondance en anglais, on favorisera un meilleur taux de rappel (résultat) si le mot en question n'est pas accentué, i.e. zebre ou lieu de zèbre.
Les 3 opérateurs "booléens"
Nommés ainsi en l'honneur de Georges Boole (1815-1864) mathématicien et logicien anglais, inventeur de la logique symbolique moderne et de l'algèbre booléienne.
1-(AND) (Principe d'association)
Souvent représenté par le symbole + et la saisie en majuscules AND. Sur Google, par défaut. Le + est implicite.
Correspond à la conjonction ET en français.
Exemple : la requête moteur de recherche en français force Google à trouver les pages qui contiennent à la fois les mots moteur ET recherche ET français.
+moteur +recherche +français
Les articles, adjectifs indéfinis, préposition et/ou déterminants de toutes sortes (le, la, les, en, des, du, pour, et, ou etc..) sont ignorés. Les Américains appellent ces mots des "Stop Words" ou mots-vides.
2-(OR)(Principe de regroupement)
Parfois représenté par le symbole ( | )Correspond à la conjonction OU en français.
Exemple : moteur OR recherche OR français force le moteur à trouver les pages qui contiennent l'un ou l'autre des mots, soit
moteur, soit recherche, soit français ou les trois.
Avec Google, l'opérateur OR doit être saisi en MAJUSCULE obligatoirement.
Le OR était l'opérateur par défaut de Gigablast http://gigablast.com/
Le sigle | est rarement utilisé pour le OR mais fonctionne dans Google.
Dans les deux exemples suivants, le moteur tentera de trouver des pages contenant au moins le premier de ces mots, les deux premiers ou les trois à la fois: blouse, shirt, chemise.
[ blouse OR shirt OR chemise ]
[ blouse|shirt|chemise ]
Remarque: avec l'opérateur OR un espace doit précéder le mot alors que le signe | ne nécessite aucun espace précédant le mot.
Source: http://www.googleguide.com/or_operator.html
3-(NOT/ANDNOT)(Principe d'exclusion)
Représenté par le symbole (-)Correspond à SAUF/Excepté en français.
Exemple : +moteur -voiture force le moteur à trouver les pages qui contiennent le mot moteur mais SANS le mot voiture.
Avec Google, l'opérateur (-) doit être utilisé devant le mot à exclure (sans espace) et non le NOT ou ANDNOT
Si on veut trouver plus facilement une recette de "salsa", on risque d'avoir de meilleurs résultats avec:
En anglais: [ salsa –dance –class ]En français [ salsa -musique -danse -cours ]
Avec la combinaison suivante, je devrais trouver en théorie des informations avec les mots moteur et hybride mais sans les mots voiture et automobile[-voiture -automobile moteur hybride]
Différence avec l'ordre suivant ?[moteur hybride -voiture -automobile]
Combien de mots-clés peut-on utiliser dans une requête ?Jusqu'à 32 mots incluant les opérateurs mais pas les "stop-words", i.e. les articles, pronoms ou conjonctions, etc.: Exemple: le, du, des, quand, ou, où ( mots-vides)
L'utilisation de parenthèsesLorsqu'on utilise simultanément plusieurs opérateurs booléens pour raffiner une
recherche, on peut utiliser les parenthèses.
Exemples :salade (thon AND Crabe) -Cesar
=Je veux avoir des informations sur des salades de thon, de crabe ou les deux,
mais pas d'informations sur la salade césarLes parenthèses permettent aussi de coupler des requêtes :
Exemple :
(+moteur +voiture) -(+moteur +recherche)
Seul Hotbot accepte encore bien les parenthèses...
Les opérateurs de proximité
L'adjacence (ADJ) ( base de données)Pour introduire une proximité nette entre les mots
Exemple :Relations ADJ Publiques Public ADJ Relations N.B.: Très peu de moteurs acceptent l'adjacence (ADJ) et les résultats sont peu concluants dans Google avec cet opérateur...mais cela pourrait être utile ailleurs...
La proximité (~) (base de données)
Pour introduire une notion de proximité entre des mots mais pas aussi nette que l’ADJ.Les mots doivent être proches l'un de l'autre. Représenté par le sigle NEAR ou ONEAR et aussi par le symbole ~
Exemple :
conception AND fabrication NEAR ordinateur ou computer NEAR translation=computer ~translation
Il s'agit donc d'une recherche sur la conception et la fabrication assistées par ordinateur (CAO-FAO) et sur la traduction assistée par ordinateur (TAO).
Dans Google, on utilise le symbole ~ pour trouver un synonyme du mot qu'on fait précédé par ~.
Exemple: [~portable]Exemple: [~portable +téléphonie -ordinateur]
Google trouve des informations similaires à quelques mots ou à tous les mots d'une requête précédée du ~
Le masque (?)
Le masque sert à spécifier le nombre exact de caractères à rechercher (ou quand on cherche des mots différenciés que par un seul caractère)
On représente le masque par le symbole ? (interrogation)
wom?n (woman, women)français?? (française et françaises)
Les guillemets
Pour trouver un groupe de mots ou une phrase exacte.Pour trouver une expression particulière...
On utilisera les guillemets.
Représenté par "_"
Exemple:
"moteur de recherche" recherche les trois mots les uns à côté des autres et dans cet ordre.
"Histoire de la renaissance italienne"
ou
"Post-secondary education in the USA"
N.B.: Les guillemets fonctionnent assez bien avec certains «autres» moteurs mais parfois Google demande de les retirer...
La troncature (base de donnés)
Pour faire une recherche sur une partie d'un motUtilisez la troncature pour obtenir de l'information à partir d'un même radical (troncature à gauche) ou d'un suffixe
(troncature à droite).
Représentée par le symbole * (astérisque) appelé aussi en anglais (Wildcard )
Exemples:bio*
(biologie, biographie, biochimie, biotechnologie, biochemistry, biography, biology, etc.)
*sexuel
(transexuel, homosexuel, bisexuel)mot*
( moteur, moteurs, motard, motards, motorisé, motte, motrice, etc.)
Avec Google on utilise le * pour tenter de trouver un ou des mots manquants dans une phrase ou pour trouver des ressources dans lesquelles apparaissent des mots qu'on fait précéder du signe *
Exemple: [google *ma *vie]
Si vous n'êtes pas certain du titre d'un livre (ou d’une chanson) mais que vous en connaissez quelques mots, Google peut vous aider à retrouver le titre précis.
Comment s'intitulait déjà le célèbre livre de Dany Laferrière ?
? ? ? [ faire *l'amour *nègre ] ? ? ? Source: http://www.googleguide.com/wildcard_operator.html
Les méta-données ou la recherche par zone spécifique
Il est aussi très utile de connaître la spécificité des documents Internet en utilisant les métadonnées ou les champs à inscrire dans la fenêtre de requête. On nomme aussi ces champs ou métadonnées recherche linguistique ou par zone.
Exemples de métadonnées (champs par zones) les plus connues :
Avec Google, il faut faire précéder chacune par allin:
title: ou allintitle: ou allin Récupère les sites dont le titre spécifié apparaît dans une page. allin:soleil trouve toutes les pages contenant le mot soleil dans le titre.
N.B.: Parfois ce champ s'écrit intitle: ou lieu de title:
url: ou allinurl: Récupère selon combinaison (nom du serveur, répertoire, fichier)url:jardin récupère ou trouve toutes les pages de tous les serveurs ayant le mot jardin à n'importe quel endroit : nom de domaine (URL), répertoire d'accès, nom de fichiers.
text: allintext: Récupère les pages contenant un mot particulierallintext:impluvium trouve les pages contenant le terme impluvium
like: Récupère les pages semblables ou en rapport avec l'adresselike:www.amazon.com récupère des sites vendant des livres semblables à amazon.com
inlink: Récupère les sites offrant un lien vers un site particulier (référence)
inlink:www.cyberpresse.caOn recherche des documents (sites web) qui contiennent un lien vers une page de site dont l'adresse contient l'expression www.cyberpresse.ca
Est-il possible de combiner une zone avec un opérateur ? OUI !
Exemples :
allinurl: www.honda.com +hybrid
On recherche des documents qui contiennent le mot hybridesur le site www.honda.ca/
allintitle:éducation supérieure +fr
On recherche des sites ou pages web dont le titre porte précisément sur l'éducation supérieure et on tient à ce que ces informations proviennent de sites hébergés sur des serveurs de France.
Peut on combiner deux zones ? NON !
allinurl:garden allintext:css
Référence A+:Les opérateurs (anciens moteurs)http://searchengineshowdown.com/features/
Boolean Logichttp://internettutorials.net/boolean.asp
Il faut développer le réflexe d’utiliser les fonctions de recherche avancée...http://www.google.ca/advanced_search?hl=fr
Méta-moteursMetaCrawler: http://www.metacrawler.com/Beaucoup: http://www.beaucoup.com/Surfwax:http://www.surfwax.com/Clusty: http://clusty.com/Mamma:http://www.mamma.com/Dogpile: http://www.dogpile.com/IceRocket: http://www.icerocket.com/
Applications à téléchargerWebFerret:http://www.webferret.com/Copernic:http://www.copernic.com/
Référence A+: UC Berleleyhttp://www.lib.berkeley.edu/TeachingLib/Guides/Internet/MetaSearch.html
Mais SURTOUT...
Il faut lire les "modes d'emploi", les guides et les FAQ de chacun des moteurs et savoir comment utiliser les fonctions de recherche raffinée telles le "Advanced Search", le "Power Search" et le "Related Search".
Apprenez à lire (à interpréter) rapidement les informations (sites) que vous retournent les moteurs, notamment grâce aux titres, aux
résumés, à l'adresse web (nom de domaine)...
Autres ressources pour la recherche
Groupes de discussionhttp://groups.google.com/
Recherche de blogues de Googlehttp://blogsearch.google.fr/blogsearch/advanced_blog_search BlogPulsehttp://www.blogpulse.com/ Technoratihttp://technorati.com/ La recherche de périodiques électroniques par le biais du réseau des bibliothèques de l'Université de Montréal
Entente entre Eureka.cc et biblio branchéehttp://www.bib.umontreal.ca/SB/PEL/
Le portail de la Bibliothèque et Archives nationales du Québechttp://www.banq.qc.ca/
Voir aussi Questia (Plus grande bibliothèque en ligne ?)http://www.questia.com/
À la recherche de sites disparus... sur Internet Archive avec son Way Back Machine (+150 milliards de documents)http://www.archive.org/
Problèmes ??? Difficultés ???Pas assez de résultats ? (silence)
Trouver de nouveaux synonymes, acronymes ou termes plus conceptuels se rapprochant de votre recherche.
Trop de résultats ? (bruit)
Utiliser les opérateurs booléens et combiner certains mots;
Utiliser des métadonnés (champs);
Utiliser les fonctions de recherche raffinée des moteurs.
Évaluation et validation de l'information trouvée
Quelques concepts importants:
Fiabilité (auteur, expertise)
Objectifs/Buts (éditorial, pour ou contre une cause?)
Équilibre ( faits bruts, point de vue différent ?)
Mise à jour (actualité, date de parution ?)
Type de couverture (rapport complet, études, petit paragraphe ?)
Les sources semblent bien documentées ? (liens fonctionnels, sites reconnus, etc.)
Autres sources Web offrant lien vers le site en question ?Quel rang dans un moteur de recherche ? Équilibre ? (opinions, biais, pamphlet, autres points de vue ?)Types de référence offerts (Livre blanc, rapport, petit paragraphe ?)Pertinence (rapport statistique ou article)Réputation et crédibilité de la source (commanditaire ?)Reconnaissance professionnelle ou institutionnelle ?
Quelques références utiles....
UQAM/Bibliothèqueshttp://www.bibliotheques.uqam.ca/InfoSphere/sciences/module7/evaluer.html
Critères d'analyse du web de l'Université Lavalhttp://www.fl.ulaval.ca/icarish/guide/module_3/criteres/m3_crit_intro.html
Robert Harris/Virtual Salthttp://www.virtualsalt.com/evalu8it.htm
Ne pas oublier Twitter pour la recherche en temps réelhttp://search.twitter.com/
Mais voir aussi OneRiot:
http://www.oneriot.com/
Référence A+:
Real-Time Search and your business
http://www.clickz.com/3636242
Le Web invisible ou profond...Quelques définitions
Web Invisible: informations que les moteurs de recherche conventionnels ne peuvent trouver et répertorier.
Web caché: synonyme de Web invisible.
Web profond: terme utilisé d’abord par BrightPlanet qui le préfère à Web invisible. Selon BrightPlanet, les informations ne sont pas nécessairement invisibles mais plutôt cachées. Il s'agit d'apprendre comment les trouver !
Web de surface: informations disponibles par le biais des moteurs et répertoires.
La majorité des gens ne savent pas que plusieurs documents parmi les plus crédibles du Web, c.-à-d. ceux qui font autorité, demeurent "invisibles" auprès des moteurs de recherche comme Google, Yahoo! ou Bing.
La plupart de ces documents dits invisibles proviennent des bases de données des universités, bibliothèques, agences gouvernementales, associations, entreprises... partout dans le monde !
Références A+
DeepWeb (Wikipedia):http://en.wikipedia.org/wiki/Deep_web
Inventeur du terme «DeepWeb» (Mike. K. Bergman)http://www.mkbergman.com/about-mike/
The DeepWeb Internet Tutorialshttp://www.internettutorials.net/deepweb.asp
99% des contenus du web profond demeurent accessibles dans le Web; cependant la plupart se trouve dans des bases de données que les moteurs n’indexent pas. (Steve Gruchawka)
Références A+:Deep Web expliqué par osti.gov: http://www.youtube.com/watch?v=YskdGh8XU5I
Invisible or Deep Web: What it is, How to find it, and Its inherent ambiguity (UC-Berkeley)http://www.lib.berkeley.edu/TeachingLib/Guides/Internet/InvisibleWeb.html
Voir autre vidéo Deep Web: http://www.osti.gov/media/DeepWebVideo
Source de l’image Iceberg: http://elibrary.icrisat.org/Google%20Search/Surface%20Web.htmSource du graphique: http://21cif.com/resources/materials/webinar/
Web profond: exemples de sites contenant des bases de donnés qu’il faut interroger pour accéder aux informations.
Références A+: Steve Gruchawka: http://techdeepweb.com/
Source de l’image: http://pipl.com/help/deep-web/
Le Web profond, c'est aussi...
Pages discrètes: existantes mais non liées par des hyperliens
Bases de données accessibles à travers une requête ou formulairePages générées de façon dynamique (ASP, Cold Fusion);
Il est plus facile (et aussi moins onéreux) de générer une réponse de façon dynamique par requête plutôt que d'entreposer (archiver) toutes les pages possibles contenant toutes les réponses possibles de toutes les questions possibles...
Pages contenant des scripts (code avec un "?" par exemple)
Par exemple, Google Scholar ne peut que pointer vers des citations de références de périodiques très spécialisés (revues savantes, etc.). Il ne peut aller directement vers un contenu complet et protégé (mot de passe, abonnement payant, etc.) des bases de données des grandes universités.
Véritable Intranet (entre les murs d'un immeuble, sans plus)Ex: Compagnies d'assurance
Intranet/Extranet:L'Intranet de la Faculté de l'éducation permanentehttp://ocean.sim.umontreal.ca/fep/
Une recherche dans une bibliothèque virtuelle. (La requête disparaît lorsque la session se termine).
Pourquoi les moteurs n'indexent pas tout le Web ?
Les robots des moteurs sont surtout conçus pour chercher des pages en HTML (statiques) qui reposent dans un serveur.
Depuis 2005-2006,plusieurs moteurs comme Google peuvent trouver des pages dynamiques (avec un lien stable)...
Un moteur ne peut pas "penser" ni taper du texte...(code utilisateur, mot de passe, autre texte, opérateurs propres au moteur de recherche interne).
On entend souvent dire que les méthodes de recherche de base et leur technologies n'ont pas évolué de manière vraiment significative depuis les débuts d'Internet...
On commence à entendre parler de "smart robots" qui pourraient indexés le Web profond. C’est déjà commencé...
Seuls des fichiers HTML, les fichiers musicaux ( MP3, midi, etc.) et les images (gif, jpg) accompagnés de texte sont indexés convenablement.
Comment trouver des informations du Web profond ?
Pensez toujours en fonctions des bases de données
Bases de données:
“Ensemble structuré d'éléments d'information, généralement agencés sous forme de tables, dans lesquels les données sont organisées selon certains critères en vue de permettre leur exploitation”.
Source: Grand dictionnaire http://www.granddictionnaire.com/btml/fra/r_motclef/index1024_1.asp
Mot clé à ajouter à votre requête: database
Certains répertoires du Web permettent la recherche par mot clé ou par navigation à l'intérieur de liens pointant vers des bases de données...
Exemples (par où commencer):
Intute: http://www.intute.ac.uk/
Infomine: http://infomine.ucr.edu/
Internet Public Library (IPL2): http://www.ipl.org/ Répertoire des bases de données gratuites disponibles dans Internethttp://dadi.univ-lyon1.fr/
1e niveau de recherche:
Accès à une base de données par le biais d’un moteur conventionnel.
2e niveau:interrogation profonde d’une base de données.
Avec Google, par exemple, on peut trouver des bases de données en ajoutant comme mots clés le mot database:
Exemples simples de requêtes de recherche:
Accident +Avion (plane) +database (Avec Google)database plane accidents (Avec CUIL)Languages +database (Avec Google)Langues bases de données (Avec CUIL)database +Toxic +Products (Google)Toxic Products Database (avec CUIL/sans opérateurs)
Autres mots clés à utiliser pour faire des recherches dans le Web profond, en plus des mots reliés à une industrie particulière:
PortalComplianceIndex
Références A+Research Beyond Google:http://oedb.org/library/college-basics/research-beyond-google
Web Profond/Recherche sémantique
Quelques ressources et moteurs
Weitzenegger: http://www.weitzenegger.de/en/deepweb.htmlHakia:http://www.hakia.com/Freebase: http://www.freebase.com/Quintura:http://www.quintura.com/Biznar:http://biznar.com/biznar/Complete planet: http://www.completeplanet.com/Pipl:http://www.pipl.com/Kosmix: http://www.kosmix.com/DeepPeep:http://www.deeppeep.org/Turbo10:http://turbo10.com/Internet Archive: http://www.archive.org/Genius Find: http://www.geniusfind.com/Beaucoup: http://www.beaucoup.com/IncyWincy: http://www.incywincy.com/
Références A+Deep Web Research 2010 (Marcus P. Zellman)http://www.llrx.com/features/deepweb2010.htmExploring a DeepWeb that Google can’t grasphttp://www.nytimes.com/2009/02/23/technology/internet/23search.html?_r=1&th&emc=thVoir aussi:Ressources d’images (web profond)
http://www.readwriteweb.com/archives/digital_image_resources_on_the_deep_web.php
Exemples de base de donnés du Web profond (art, littérature, gouvernements, affaires, etc.)
Musée du Louvre: http://www.louvre.fr/llv/oeuvres/bdd_oeuvre.jsp?bmLocale=fr_FR
Musée Guggenheim: http://www.guggenheim.org/new-york/collections/collection-online
Smithsonian Institution:http://www.siris.si.edu/
Library of Congress:http://www.loc.gov/search/new/
Projet Gutenberg:http://www.gutenberg.org/wiki/Main_Page
US Consumer Product Safety Commission:http://www.cpsc.gov/cpscpub/prerel/prerel.html
American Association of Advertising Agencies: http://www.aaaa.org/eweb/dynamicpage.aspx?webcode=findagency
Hoovers: http://www.hoovers.com/
Documents de la CIA (Accès information/FOI): http://www.foia.cia.gov/
FreeLunch:http://www.economy.com/freelunch/default.asp
FlightWise:http://flightwise.com/default.aspx
Références A+:99 Resources to Research and Mine the Invisible Webhttp://www.collegedegree.com/library/college-life/99-resources-to/
L'ambiguïté du Web invisible... Selon les spécialistes en sciences de l'information de Berkeley, on ne peut toujours savoir ou prévoir quels types de sites ( ou portions de sites) font partie du Web invisible.
Voici quelques facteurs : Quels sites offrent le contenu de leur base de données en pages statiques (visible, hybride, invisible).
Politique d'inclusion ou d'exclusion des moteurs de recherche.
Autres exemples de sites dits invisibles
NASA Image Exchange http://nix.nasa.gov/
JSTOR project http://www.jstor.org/
Right-to-Know Network http://www.rtk.net/
National Climatic Data Center http://www.ncdc.noaa.gov/oa/ncdc.html
Voir aussi Search Engine Landhttp://searchengineland.com/
Merci de votre attention
• Patrice Leroux
• patrice.leroux@umontreal.ca
• http://twitter.com/patriceleroux
• http://patriceleroux.blogspot.com/