REP2400 Internet et relations publiques

La rechercheA2011

Quelques mythes

On trouve tout dans InternetC'est facile de chercher et de trouverLes sources sont fiables et à jour...

LES RECHERCHES DANS INTERNET PEUVENT SE FAIRE À PARTIR DES RESSOURCES SUIVANTES, ENTRE AUTRES :

Moteurs de recherche et Annuaires (catologues/répertoires)+Les Newgroups (groupes de discussion) dont les contenus peuvent être accessibles avec un lecteur de nouvelles...

http://alt.binaries.movies.french.usenetor.com/http://groups.google.com/group/tourisme-recherches-institutions-pratiques?lnk=

Par le biais du web, les «news» étaient accessibles avec Google Groupes (désactivé en 2011 mais 20 ans d’archives toujours disponibles...)

Les bloguesCertains réseaux sociaux ouverts (ou par compte Google)Sites de signets sociauxTwitter (temps réel)Le Web profond dit invisible

Source: Top-20 US sites & engines en 2010 (Hitwise)http://www.hitwise.com/us/datacenter/main/dashboard-10133.html

Source: Top-10 US sites & Social Networks 2011 (Hitwise)http://www.hitwise.com/us/datacenter/main/dashboard-10133.html

Source: Search Engine Analysis 2011 (Hitwise)http://www.hitwise.com/us/datacenter/main/dashboard-10133.html

Voir aussi June 2011 Search Engine Market Share (Comscore, Hitwise) Danny Goodwinhttp://searchenginewatch.com/article/2094160/June-2011-Search-Engine-Market-Share-from-comScore-Hitwise

La recherche dans Internet (WWW)

Comment les données sont-elles cataloguées et indexées ?Quelques outils de recherche disponibles.Les techniques à utiliser.Les comportements des chercheursVers la recherche collaborative ?

Bots, Blogs and news Agregators (mis à jour en 2011) par Marcus P. Zillmanhttp://www.botsblogs.com/

100 useful tips to search the deep web (Alisa Miller)http://www.online-college-blog.com/features/100-useful-tips-and-tools-to-research-the-deep-web/

20 + stats on user behaviour (e-Consultancy

http://econsultancy.com/us/blog/7027-20-stats-you-might-not-know-about-user-search-behaviour

Source: HitWise/Experian

Voir aussi Vanessa Fox TEDx-Tamayahttp://youtu.be/eYZgawW74MM

Sa présentation sur Slideshare:http://www.slideshare.net/AvvoLawyers/vanessa-fox-avvo-2010

Source: Longer search queries of eight or more words increase 3% in september 2011http://www.hitwise.com/us/about-us/press-center/press-releases/google-share-of-searches-66-percent-in-sept-2011/

Catalogues, annuaires et répertoires:

Les informations sont constituées, organisées en catégories et même filtrées par des personnes. 

L'intervention humaine faisait en sorte que l'information était souvent moins à jour qu'avec les moteurs. Par contre, plusieurs répertoires sont devenus hybrides en intégrant à la fois un répertoire et un moteur. Exemple: Yahoo

La recherche d'information se fait donc plutôt par navigation  dans le classement (hiérarchies et répertoires structurés). On gagne en qualité ce qu’on perd en quantité ?Avec le phénomène de la «curation», les annuaires et catalogues pourraient renaître...

Répertoires et annuaires généralistes (quelques exemples)

Family Friendly Sites: http://familyfriendlysites.com/World Site Index: http://www.worldsiteindex.com/

Greenstalk:http://www.greenstalk.com/Open Directory Project (AOL): http://www.dmoz.org/

Links To Go: http://www.links2go.com/Splash Directory: http://www.splashdirectory.com/Global Web Links: http://www.global-weblinks.com/

Annuaires et répertoires spécialisés

Jobboom:http://www.jobboom.com/Passeport santé:http://www.passeportsante.net/

Branchez-vous (affaires): http://mesfinances.branchez-vous.com/France Culture: http://www.culture.fr/fr/sections/

Voir aussi:Les 25 répertoires les plus puissants sur la toilehttp://www.searchenginepeople.com/francais/liste-des-25-repertoires-les-plus-puissants-sur-la-toile

Open Directory Project (AOL): http://www.dmoz.org/

Source: Ongo Survey Finds Americans Trust News on Social Sites Significantly Less than Newspaper Sites with Editorial Curationhttp://www.marketwatch.com/story/ongo-survey-finds-americans-trust-news-on-social-sites-significantly-less-than-newspaper-sites-with-editorial-curation-2011-09-21

Moteurs de recherche :

Il s'agit de programmes informatiques permettant de faire des recherches dans les bases de données, conçues par les robots collecteurs.

Dans Internet, les moteurs nous proposent leur information grâce à 3 fonctions ou étapes principales :

1) Un robot collecteur : ( crawler, spider, bot)

Il indexe le web automatiquement 24 heures par jour en "glanant" (en scannant) les informations dans le texte visible  d'un site (les premiers mots ou phrases) et dans le texte invisible (i.e. dans le code HTML, où on retrouve les méta-étiquettes).

N.B. : Les meilleurs robots peuvent indexer plusieurs millions de pages par jour ( ils prennent quelques semaines pour faire le tour du Web en entier).

Le robot visite chaque page (ou pages représentatives) d'un site (qui veut bien être trouvé ou découvert !) et lit les pages ainsi que les hyperliens offerts dans le but de découvrir les autres pages (ou fichiers).

2) Un programme crée un index ou catalogue immense

(base de données/statique) à partir des sites (fichiers) visités.

3) Un autre programme (le service de requêtes) reçoit votre requête, la compare à ses entrées de données (catalogue) et renvoie ses résultats.

C'est dans la fenêtre de requête des moteurs qu'on tape les informations et qu'on interroge leurs bases de données.La recherche d'information se fait donc par interrogation.Il existe des milliers de moteurs de recherche...

Search Engine Colossus ( par pays, par thèmes, etc.)http://www.searchenginecolossus.com/

Google: un cas particulier

http://www.google.ca/

[...] «So what’s our straightforward definition of the ideal search engine?

Your best friend with instant access to all the world’s facts and a photographic memory of everything you’ve seen and know. That search engine could tailor answers to you based on your preferences, your existing knowledge and the best available information; it could ask for clarification and present the answers in whatever setting or media worked best.» [...]

Marissa Mayer, V-P, Recherche-Produits et expérience utilisateur (Google)Source: http://googleblog.blogspot.com/2008/09/future-of-search.html

Une pub de Google durant le SuperBowl de 2010 (une vidéo disponible depuis plusieurs mois...)http://www.youtube.com/watch?v=nnsSUqgkDwU

Is Google Making Us Stupid ? (Nicholas Carr)http://www.theatlantic.com/doc/200807/google

Traduction française :(Framablog)http://www.framablog.org/index.php/post/2008/12/07/est-ce-que-google-nous-rend-idiot

Are we renting our collective intelligence to Google ? (Matteo Pasquinelli)http://mastersofmedia.hum.uva.nl/2009/11/16/matteo-pasquinelli-are-we-renting-our-collective-intelligence-to-google/

(RAPPEL) Personnalisation de la recherche...

Source: Eli Pariser, Beware online «filter bubbles» (2011)http://www.ted.com/talks/eli_pariser_beware_online_filter_bubbles.html

PageRank de GooglePageRank est un champion de la démocratie : il profite des innombrables liens du Web pour évaluer le contenu des pages Web -- et leur pertinence vis-à-vis des requêtes exprimées. Le principe de PageRank est simple : tout lien pointant de la page A à la page B est considéré comme un vote de la page A en faveur de la page B. Toutefois, Google ne limite pas son évaluation au nombre de « votes » (liens) reçus par la page ; il procède également à une analyse de la page qui contient le lien. Les liens présents dans des pages jugées importantes par Google ont plus de « poids », et contribuent ainsi à « élire » d'autres pages.

Source:http://www.google.ca/intl/fr/why_use.html

Plusieurs centaines de millions de requêtes par jour !

Des fonctions et services moins connus ou utilisés...

Le choix parmi 45 langues (2011):http://www.google.ca/preferences?hl=fr Google News/Actualités (+4500 sources médias dont 500 en français)http://news.google.com/news?cf=all&ned=fr_ca&ict=ln Alerte Google (monitoring de l'actualité)http://www.google.ca/alertshttp://www.googlealert.com Google Imageshttp://images.google.ca/

Google Scholar (anglais seulement)http://scholar.google.com/

Google...suite

Google Blog Searchhttp://blogsearch.google.com/

La numérisation de tous les livres...http://books.google.com/ Localisation de magasins pour les achats:(ancien Froogle)http://www.google.com/products Recherches dans un lieu géographique précis. (Google Maps)http://local.google.com/ Recherches selon un domaine spécialisé (Special Searches) Gouv. UShttp://www.google.com/options/specialsearches.html

Google Earth (Images satellites...)http://earth.google.com/

Google Experimental Labshttp://www.google.com/experimental/

Google (vue d'ensemble des services et options)http://www.google.com/help/features.html 

Guide Google de Nancy Blachmanhttp://www.googleguide.com/

Centre d’aide de Google:http://www.google.com/support/

Pourquoi la vidéo domine la recherche ? (enfin presque...)Pourquoi préfère-t-on passer plus de temps à regarder la TV qu’à lire la presse ? Nous sommes tout simplement fainéants. C’est plus facile et surtout plus accessible de s’informer avec des images animées, qu’avec du texte statique. (Laurent Maisonnave)

http://www.youtube.com/

YouTube 1er moteur de recherche devant Google (Laurent Maisonnave)http://zelaurent.com/video-news/youtube-1er-moteur-de-recherche-devant-google/

Tendances des recherches sur Googlehttp://www.google.com/insights/search/?hl=fr

http://www.google.com/trends

Google GogglesRecherche visuelle/photographique

Il n’y a plus d’entrée de texte...Application pour mobile

http://www.google.com/mobile/goggles/#text

Voir entrevue avec Marissa Mayer, V-P Google, produits de recherche et expérience-utilisateur (LeWeb/Paris/2009)http://www.ustream.tv/recorded/2759667

Pour la musique, voir http://www.shazam.com/

Une tentative de compétition envers les agrégateurs de nouvelles.

Le succès n’est pas toujours assuré pour Google...

Fastflip a été retiré en septembre 2011... Et Google Wheel en juin 2011

Voir: http://www.nytimes.com/2009/09/15/technology/internet/15google.html?_r=1&partner=rss&emc=rss

Recherche sociale de Google:http://www.youtube.com/watch?v=aYf5iSA6t6g

Accéder aux recherches sociales de Google:http://www.google.com/support/websearch/bin/answer.py?answer=165228

Explication vidéo de Matt Cutts: http://www.youtube.com/watch?v=BlpTjP6h6Ms

Voir aussi Social Search: http://www.socialsearch.com/

Voir aussi Vark: http://vark.com/

http://search.yahoo.com/http://ca.yahoo.com/

http://www.bing.com/Voir aussi Bing Operatorshttp://www.bing.com/community/blogs/search/archive/2005/06/24/432439.aspx 

http://www.ask.com/

Autres moteurs

HotBot:http://www.hotbot.com/AOL Search:http://search.aol.com/

Lycos: http://www.lycos.com/Search Cube: http://www.search-cube.com/Exalead:http://www.exalead.com/search/

Quixey: http://www.quixey.com/

Référence A+Search Engine Watchhttp://searchenginewatch.com/reportsHitwise (Experian) data centerhttp://www.hitwise.com/us/resources/data-center

Search Team

http://searchteam.com/

Une recherche efficace et exhaustive favorisera une approche moteur et

une approche répertoire multiples. 

Il faut en effet passer à travers plusieurs outils de recherche.

Évitez d’utiliser qu'un seul outil de recherche.

Principales techniques de recherche Identification du sujet :

Contexte et objet de la recherche; délimitation de la recherche (langues, pays, etc.); genre de réponses désirées.

Quelle est votre connaissance sémantique du sujet ou de la discipline recherchée ?

Formulation du sujet :

Quels mots ou expressions précisent ou traduisent le mieux les concepts de la recherche; choix de mots-clés et de termes à retenir; trouver des équivalences (synonymes, acronymes et mots en anglais ou dans une autre langue).

Recherche sur les termes exactesExemple concernant l'exactitude des termes anglais sur Google...

 

 

Source: http://www.googleguide.com/interpreting_queries.html

La stratégie de recherche inclut la traduction de mots clés et leur regroupement en fonctions de règles syntaxiques propres aux moteurs de recherche.

On peut combiner des mots ou des termes dans le but de

traduire la requête en une expression de recherche.

Attention aux majuscules et minuscules sur certains moteurs

Requête saisie en minusculesToutes les occurrences seront recherchées : ibm trouve ibm, IBM ou Ibm

Requête saisie en majusculesIdem: IBM trouve IBM,  ibm, Ibm ou IbM

Lettres accentuées

L'occurrence exacte est recherchée :

électricité trouve électricité mais pas electricite ou electricité (HotBot)

Requête saisie sans accents

Toutes les occurrences sont  recherchées :

electricite trouve electricite, électricité ou electricité (pas toujours vrai sur certains moteurs)

Requête saisie sans accents

Toutes les occurrences sont  recherchées :

electricite trouve electricite, électricité ou electricité (pas toujours vrai sur certains moteurs).

Ordre des motsSur certains moteurs, la recherche (Paris Montréal) ne donne pas les mêmes résultats que la recherche (Monréal Paris) surtout pour le classement des résultats.

Majuscules, minuscules et accents sur Google

Les recherches Google ne tiennent pas compte de la « casse » des lettres (MAJUSCULES/minuscules).

Quelle que soit la typographie utilisée, Google interprète toujours les lettres composant vos termes de recherche comme des minuscules.

Par défaut, les recherches Google ne tiennent pas compte des accents ou autres signes diacritiques (cédille, tilde espagnol, umlaut allemand, etc.).

Ainsi les termes [FRANÇAIS] et [FRANCAIS] retrouvent les mêmes pages.Pour indiquer que ces deux termes ont une signification différente, utilisez un signe plus ( + ), soit les termes de recherche [+FRANÇAIS] et [+FRANCAIS].

Pour certains mots français dont la graphie est semblable à l'anglais (éléphant/elephant), il vaut mieux insérer les accents, SI on veut obtenir uniquement des documents en français. Par contre, pour les mots français dont la graphie n'a pas de correspondance en anglais, on favorisera un meilleur taux de rappel (résultat) si le mot en question n'est pas accentué, i.e. zebre ou lieu de zèbre.

Les 3 opérateurs "booléens"

Nommés ainsi en l'honneur de Georges Boole (1815-1864) mathématicien et logicien anglais, inventeur de la logique symbolique moderne et de l'algèbre booléienne.

1-(AND) (Principe d'association)

Souvent représenté par le symbole + et la saisie en majuscules AND. Sur Google, par défaut. Le + est implicite.

Correspond à la conjonction ET en français.

Exemple : la requête moteur de recherche en français force Google à trouver les pages qui contiennent à la fois les mots moteur ET recherche ET français.

+moteur +recherche +français

Les articles, adjectifs indéfinis, préposition et/ou déterminants de toutes sortes (le, la, les, en, des, du, pour, et, ou etc..) sont ignorés. Les Américains appellent ces mots des "Stop Words" ou mots-vides. 

2-(OR)(Principe de regroupement)

Parfois représenté par le symbole ( | )Correspond à la conjonction OU en français.

Exemple :  moteur  OR recherche OR français force le moteur à trouver les pages qui contiennent l'un ou l'autre des mots, soit

moteur, soit recherche, soit français ou les trois.

Avec Google,  l'opérateur OR doit être saisi en MAJUSCULE obligatoirement.

Le OR était  l'opérateur par défaut de Gigablast http://gigablast.com/

Le sigle | est rarement utilisé pour le OR mais fonctionne dans Google.

Dans les deux exemples suivants, le moteur tentera de trouver des pages contenant au moins le premier de ces mots, les deux premiers ou les trois  à la fois: blouse, shirt, chemise.

[ blouse OR shirt OR chemise ]

[ blouse|shirt|chemise ]

Remarque: avec l'opérateur OR un espace doit précéder le mot alors que le signe | ne nécessite aucun espace précédant le mot.

Source: http://www.googleguide.com/or_operator.html

3-(NOT/ANDNOT)(Principe d'exclusion)

Représenté par le symbole (-)Correspond à  SAUF/Excepté en français.

Exemple :  +moteur  -voiture force le moteur à trouver les pages qui contiennent le mot moteur mais SANS le mot voiture.  

Avec Google,  l'opérateur (-) doit être utilisé devant le mot à exclure (sans espace) et non le NOT ou ANDNOT

Si on veut trouver plus facilement une recette de "salsa", on risque d'avoir de meilleurs résultats avec:

En anglais: [ salsa –dance –class ]En français [ salsa -musique -danse -cours ]

Avec la combinaison suivante, je devrais trouver en théorie des informations avec les mots moteur et hybride mais sans les mots voiture et automobile[-voiture -automobile moteur hybride]

Différence avec l'ordre suivant ?[moteur hybride -voiture -automobile]

Combien de mots-clés peut-on utiliser dans une requête ?Jusqu'à 32 mots incluant les opérateurs mais pas les "stop-words", i.e. les articles, pronoms ou conjonctions, etc.: Exemple:  le, du, des, quand, ou, où (mots-vides)

L'utilisation de parenthèses

Lorsqu'on utilise simultanément plusieurs opérateurs booléens pour raffiner une recherche, on peut utiliser les parenthèses.

 

Exemples :salade (thon AND Crabe) -Cesar

=Je veux avoir des informations sur des salades de thon, de crabe ou les deux,

mais pas d'informations sur la salade césarLes parenthèses permettent aussi de coupler des requêtes :

Exemple : 

(+moteur +voiture) -(+moteur +recherche)

Seul Hotbot acceptait encore bien les parenthèses...

Les opérateurs de proximité

L'adjacence  (ADJ) ( base de données)Pour introduire une proximité nette entre les mots

Exemple :Relations ADJ Publiques Public ADJ Relations  N.B.: Très peu de moteurs acceptent l'adjacence (ADJ) et les résultats sont peu concluants dans Google avec cet opérateur...mais cela pourrait être utile ailleurs...

La proximité (~) (base de données)

Pour introduire une notion de proximité entre des mots mais pas aussi nette que l’ADJ.Les mots doivent être proches l'un de l'autre. Représenté par le sigle NEAR ou ONEAR et  aussi par le symbole  ~

Exemple :

conception AND fabrication NEAR ordinateur ou computer NEAR  translation=computer ~translation

Il s'agit donc d'une recherche sur la conception et la fabrication assistées par ordinateur (CAO-FAO) et sur la traduction assistée par ordinateur (TAO).

Dans Google, on utilise le symbole ~ pour trouver un synonyme du mot qu'on fait précédé par ~.

Exemple: [~portable]Exemple: [~portable +téléphonie -ordinateur]

Google trouve des informations similaires à quelques mots ou à tous les mots d'une requête précédée du ~

Le masque (?)

Le masque sert à spécifier le nombre exact de caractères à rechercher (ou quand on cherche des mots différenciés que par un seul caractère)

On représente le masque par le symbole ? (interrogation)

wom?n (woman, women)français?? (française et françaises)

Les guillemets

Pour trouver un groupe de mots ou une phrase exacte.Pour trouver une expression particulière...

On utilisera les guillemets.

Représenté par "_"

Exemple:

"moteur de recherche" recherche les trois mots les uns à côté des autres et dans cet ordre.

"Histoire de la renaissance italienne"

ou

"Post-secondary education in the USA"

N.B.: Les guillemets fonctionnent assez bien avec certains «autres» moteurs mais parfois Google demande de les retirer...

La troncature  (base de donnés)

Pour faire une recherche sur une partie d'un motUtilisez la troncature pour obtenir de l'information à partir d'un même radical (troncature à gauche) ou d'un suffixe

(troncature à droite).

Représentée par le symbole * (astérisque) appelé aussi en anglais (Wildcard )

Exemples:bio*

(biologie, biographie, biochimie, biotechnologie, biochemistry, biography, biology, etc.)

*sexuel

(transexuel, homosexuel, bisexuel)mot*

( moteur, moteurs, motard, motards, motorisé, motte, motrice, etc.)

Avec Google on utilise le * pour tenter de trouver un ou des mots manquants dans une phrase ou pour trouver des ressources dans lesquelles apparaissent des mots qu'on fait précéder du signe *

Exemple:  [*google *ma *vie]

Si vous n'êtes pas certain du titre d'un livre (ou d’une chanson) mais que vous en connaissez quelques mots, Google peut vous aider à retrouver le titre précis.

Comment s'intitulait déjà le célèbre livre de Dany Laferrière ?

? ? ? [ *faire *l'amour *nègre ] ? ? ? Source: http://www.googleguide.com/wildcard_operator.html

Les méta-données ou la recherche par zone spécifique

Il est aussi très utile de connaître la spécificité des documents Internet en utilisant les métadonnées ou les champs à inscrire dans la fenêtre de requête. On nomme aussi ces champs ou métadonnées recherche linguistique ou par zone.

Exemples de métadonnées (champs par zones) les plus connues :

Avec Google, il faut faire précéder chacune par allin:

title: ou allintitle: ou allin        Récupère les sites dont le titre spécifié apparaît dans une page. allin:soleil trouve toutes les pages contenant le mot soleil dans le titre.

N.B.: Parfois ce champ s'écrit intitle: ou lieu de title:

url: ou allinurl:         Récupère selon combinaison (nom du serveur, répertoire, fichier)url:jardin récupère ou trouve toutes les pages de tous les serveurs ayant le mot jardin à n'importe quel endroit : nom de domaine (URL), répertoire d'accès, nom de fichiers.

text: allintext:         Récupère les pages contenant un mot particulierallintext:impluvium trouve les pages contenant le terme impluvium

like:         Récupère les pages semblables ou en rapport avec l'adresselike:www.amazon.com  récupère des sites vendant des livres semblables à amazon.com

inlink:          Récupère les sites offrant un lien vers un site particulier (référence)

inlink:www.cyberpresse.caOn recherche des documents (sites web) qui contiennent un lien vers une page de site dont l'adresse contient l'expression www.cyberpresse.ca

Est-il possible de combiner une zone avec un opérateur ? OUI !

Exemples :

allinurl: www.honda.com +hybrid

On recherche des documents qui contiennent le mot hybridesur le site www.honda.ca/

allintitle:éducation supérieure +fr

On recherche des sites ou pages web dont le titre porte précisément sur l'éducation supérieure et on tient à ce que ces informations proviennent de sites hébergés sur des serveurs de France.

Peut on combiner deux zones ? NON !

 allinurl:garden allintext:css

Les opérateurs (anciens moteurs)http://searchengineshowdown.com/features/

Boolean Logichttp://internettutorials.net/boolean.asp

Il faut développer le réflexe d’utiliser les fonctions de recherche avancée...http://www.google.ca/advanced_search?hl=fr

Méta-moteursMetaCrawler: http://www.metacrawler.com/Beaucoup: http://www.beaucoup.com/Surfwax:http://www.surfwax.com/Clusty: http://clusty.com/Mamma:http://www.mamma.com/Dogpile: http://www.dogpile.com/IceRocket: http://www.icerocket.com/

Applications à téléchargerWebFerret:http://www.webferret.com/Copernic:http://www.copernic.com/

Référence A+: UC Berleleyhttp://www.lib.berkeley.edu/TeachingLib/Guides/Internet/MetaSearch.html

Mais SURTOUT...

Il faut lire les "modes d'emploi", les guides et les FAQ de chacun des moteurs et savoir comment utiliser les fonctions de recherche raffinée telles le "Advanced Search", le "Power Search" et le "Related Search".

Apprenez à lire (à interpréter) rapidement les informations (sites) que vous retournent les moteurs, notamment grâce aux titres, aux

résumés, à l'adresse web (nom de domaine)...

Autres ressources pour la recherche

Groupes de discussionhttp://groups.google.com/

Recherche de blogues de Googlehttp://blogsearch.google.fr/blogsearch/advanced_blog_search BlogPulsehttp://www.blogpulse.com/ Technoratihttp://technorati.com/ La recherche de périodiques électroniques par le biais du réseau des bibliothèques de l'Université de Montréal

Entente entre Eureka.cc et biblio branchéehttp://www.bib.umontreal.ca/SB/PEL/

Le portail de la Bibliothèque et Archives nationales du Québechttp://www.banq.qc.ca/

Voir aussi Questia (Plus grande bibliothèque en ligne ?)http://www.questia.com/

À la recherche de sites disparus... sur Internet Archive avec son Way Back Machine (+150 milliards de documents)http://www.archive.org/

Problèmes ??? Difficultés ???Pas assez de résultats ? (silence)

Trouver de nouveaux synonymes, acronymes ou termes plus conceptuels se rapprochant de votre recherche.

Trop de résultats ? (bruit)

 

Utiliser les opérateurs booléens et combiner certains mots;

Utiliser des métadonnés (champs);

Utiliser les fonctions de recherche raffinée des moteurs.

Si c'est écrit, c'est vrai ? (Réseau UQuébec)http://youtu.be/lXwgv8kq6rA

Évaluation et validation de l'information trouvée

Quelques concepts importants:

Fiabilité (auteur, expertise)

Objectifs/Buts (éditorial, pour ou contre une cause?)

Équilibre ( faits bruts, point de vue différent ?)

Mise à jour (actualité, date de parution ?)

Type de couverture (rapport complet, études, petit paragraphe ?)

Les sources semblent bien documentées ? (liens fonctionnels, sites reconnus, etc.)

Autres sources Web offrant lien vers le site en question ?Quel rang dans un moteur de recherche ? Équilibre ? (opinions, biais, pamphlet, autres points de vue ?)Types de référence offerts (Livre blanc, rapport, petit paragraphe ?)Pertinence (rapport statistique ou article)Réputation et crédibilité de la source (commanditaire ?)Reconnaissance professionnelle ou institutionnelle ?

Quelques références utiles....

UQAM/Bibliothèqueshttp://www.bibliotheques.uqam.ca/InfoSphere/sciences/module7/evaluer.html

Déterminer la fiabilité de l’information (Bibliothèques UdeM)http://guides.bib.umontreal.ca/disciplines/74-Determiner-la-fiabilite-de-l-information

Robert Harris/Virtual Salthttp://www.virtualsalt.com/evalu8it.htm

Évaluation de l’information présente sur Internet (Université de Lyon)http://sapristi-docinsa.insa-lyon.fr/conseils-pour-chercher/evaluer-linformation

Ne pas oublier Twitter pour la recherche en temps réelhttp://search.twitter.com/

Mais voir aussi OneRiot:

http://www.oneriot.com

Real-Time Search and your business

http://www.clickz.com/3636242

Le Web invisible ou profond...Quelques définitions

Web Invisible: informations que les moteurs de recherche conventionnels ne peuvent trouver et répertorier.

Web caché: synonyme de Web invisible.

Web profond:  terme utilisé d’abord par BrightPlanet qui le préfère à Web invisible. Selon BrightPlanet, les informations ne sont pas nécessairement invisibles mais plutôt cachées. Il s'agit d'apprendre comment les trouver !

Web de surface: informations disponibles par le biais des moteurs et répertoires.

La majorité des gens ne savent pas que plusieurs documents parmi les plus crédibles du Web, c.-à-d. ceux qui font autorité, demeurent "invisibles" auprès des moteurs de recherche comme Google, Yahoo! ou Bing.

La plupart de ces documents dits invisibles proviennent des bases de données des universités, bibliothèques, agences gouvernementales, associations, entreprises... partout dans le monde !

Références A+

DeepWeb (Wikipedia):http://en.wikipedia.org/wiki/Deep_web

Inventeur du terme «DeepWeb» (Mike. K. Bergman)http://www.mkbergman.com/about-mike/

The DeepWeb Internet Tutorialshttp://www.internettutorials.net/deepweb.asp

«99% des contenus du web profond demeurent accessibles dans le Web; cependant la plupart se trouve dans des bases de données que les moteurs n’indexent pas». (Steve Gruchawka)

Références A+:Deep Web expliqué par osti.gov: http://www.youtube.com/watch?v=YskdGh8XU5I

Invisible or Deep Web: What it is, How to find it, and Its inherent ambiguity (UC-Berkeley)http://www.lib.berkeley.edu/TeachingLib/Guides/Internet/InvisibleWeb.html

Voir autre vidéo Deep Web: http://www.osti.gov/media/DeepWebVideo

Source de l’image Iceberg: http://elibrary.icrisat.org/Google%20Search/Surface%20Web.htmSource du graphique: http://21cif.com/resources/materials/webinar/

Web profond: exemples de sites contenant des bases de donnés qu’il faut interroger pour accéder aux informations.

Références A+: Steve Gruchawka: http://techdeepweb.com

Source de l’image: http://pipl.com/help/deep-web/

Le Web profond, c'est aussi...

Pages discrètes: existantes mais non liées par des hyperliens

Bases de données accessibles à travers une requête ou formulairePages générées de façon dynamique (ASP, Cold Fusion);

Il est plus facile (et aussi moins onéreux) de générer une réponse de façon dynamique par requête plutôt que d'entreposer (archiver) toutes les pages possibles contenant toutes les réponses possibles de toutes les questions possibles...

Pages contenant des scripts (code avec un "?" par exemple)

Par exemple, Google Scholar  ne peut que pointer vers des citations de références de périodiques très spécialisés (revues savantes, etc.). Il ne peut aller directement vers un contenu complet et protégé (mot de passe, abonnement payant, etc.) des bases de données des grandes universités.

Véritable Intranet (entre les murs d'un immeuble, sans plus)Ex: Compagnies d'assurance

Intranet/Extranet:L'Intranet de la Faculté de l'éducation permanentehttp://ocean.sim.umontreal.ca/fep/

Une recherche dans une bibliothèque virtuelle. (La requête disparaît lorsque la session se termine).

Pourquoi les moteurs n'indexent pas tout le Web ?

Les robots des moteurs sont surtout conçus pour chercher des pages en HTML (statiques) qui reposent dans un serveur.

Depuis 2005-2006,plusieurs moteurs comme Google peuvent trouver des pages dynamiques (avec un lien stable)...

Un moteur ne peut pas "penser" ni taper du texte...(code utilisateur, mot de passe, autre texte, opérateurs propres au moteur de recherche interne).

On entend souvent dire que les méthodes de recherche de base et leur technologies n'ont pas évolué de manière vraiment significative depuis les débuts d'Internet...

On commence à entendre parler de "smart robots" qui pourraient indexés le Web profond. C’est déjà commencé...

Seuls des fichiers HTML, les fichiers musicaux ( MP3, midi, etc.) et certaines images (gif, jpg) accompagnés de texte sont indexés convenablement.Tout ce qui est en «flash» n’est pas indexé....

Comment trouver des informations du Web profond ?

Pensez toujours en fonctions des bases de données

Bases de données:

“Ensemble structuré d'éléments d'information, généralement agencés sous forme de tables, dans lesquels les données sont organisées selon certains critères en vue de permettre leur exploitation”.

Source: Grand dictionnaire http://www.granddictionnaire.com/btml/fra/r_motclef/index800_1.asp

Mot clé à ajouter à votre requête: database

Certains répertoires du Web permettent la recherche par mot clé ou par navigation à l'intérieur de liens pointant vers des bases de données...

Exemples (par où commencer):

Infomine: http://infomine.ucr.edu

Internet Public Library (IPL2): http://www.ipl.orgIntute: http://www.intute.ac.uk (jusqu’en 2014....) Répertoire des bases de données gratuites disponibles dans Internethttp://dadi.univ-lyon1.fr/

Libdex (Index des grandes bibliothèques du monde entier)http://www.libdex.com/

1e niveau de recherche:

Accès à une base de données par le biais d’un moteur conventionnel.

2e niveau:interrogation profonde d’une base de données.

Avec Google, par exemple, on peut trouver des bases de données en ajoutant comme mots clés le mot database:

Exemples simples de requêtes de recherche:

Accident +Avion (plane) +database  (Avec Google) www.google.ca

Languages +database (Avec Google)

database +Toxic +Products (Google)

Autres mots clés à utiliser pour faire des recherches dans le Web profond, en plus des mots reliés à une industrie particulière:

PortalComplianceIndex

Références A+Research Beyond Google:http://oedb.org/library/college-basics/research-beyond-google

Web Profond/Recherche sémantique

Quelques ressources

Hakia:http://www.hakia.comQuintura:http://www.quintura.comBiznar:http://biznar.com/biznar/Complete planet: http://www.completeplanet.comPipl:http://www.pipl.comDeepPeep:http://www.deeppeep.orgInternet Archive: http://www.archive.orgBeaucoup: http://www.beaucoup.comIncyWincy: http://www.incywincy.com/

Deep Web Research 2010 (Marcus P. Zellman)http://www.llrx.com/features/deepweb2010.htmExploring a DeepWeb that Google can’t grasphttp://www.nytimes.com/2009/02/23/technology/internet/23search.html?_r=1&th&emc=thVoir aussi:Ressources d’images (web profond)

http://www.readwriteweb.com/archives/digital_image_resources_on_the_deep_web.php

Exemples de base de donnés du Web profond (art, littérature, gouvernements, affaires, etc.)

Musée du Louvre: http://www.louvre.fr/llv/oeuvres/bdd_oeuvre.jsp?bmLocale=fr_FR

Musée Guggenheim: http://www.guggenheim.org/new-york/collections/collection-online

Smithsonian Institution:http://www.siris.si.edu

Library of Congress:http://www.loc.gov/search/new/

Projet Gutenberg:http://www.gutenberg.org/wiki/Main_Page

US Consumer Product Safety Commission:http://www.cpsc.gov/cpscpub/prerel/prerel.html

American Association of Advertising Agencies: http://www.aaaa.org/eweb/dynamicpage.aspx?webcode=findagency

Hoovers: http://www.hoovers.com

Documents de la CIA (Accès information/FOI): http://www.foia.cia.gov

FreeLunch:http://www.economy.com/freelunch/default.asp

FlightWise:http://flightwise.com/default.aspx

Voir aussi:99 Resources to Research and Mine the Invisible Webhttp://www.collegedegree.com/library/college-life/99-resources-to/

L'ambiguïté du Web invisible... Selon les spécialistes en sciences de l'information de Berkeley, on ne peut toujours savoir ou prévoir quels types de sites ( ou portions de sites) font partie du Web invisible.

Voici quelques facteurs : Quels sites offrent le contenu de leur base de données en pages statiques (visible, hybride, invisible).

Politique d'inclusion ou d'exclusion des moteurs de recherche.

Autres exemples de sites dits invisibles

NASA Image Exchange http://nix.nasa.gov/

JSTOR project http://www.jstor.org

Right-to-Know Network http://www.rtk.net/

National Climatic Data Center http://www.ncdc.noaa.gov/oa/ncdc.html

Voir aussi Search Engine Landhttp://searchengineland.com

Merci de votre attention

• Patrice Leroux

• patrice.leroux@umontreal.ca

• http://twitter.com/patriceleroux

• http://patriceleroux.blogspot.com/