Google - tapshie.files.wordpress.com · Web viewGoogleHistoire et technologiesYohann Jennepin...
25
Google Histoire et technologies Yohann Jennepin IFTS 01/01/2009
Transcript of Google - tapshie.files.wordpress.com · Web viewGoogleHistoire et technologiesYohann Jennepin...
GoogleHistoire et technologies
Yohann Jennepin IFTS 01/01/2009
GoogleHistoire et technologies
Depuis sa création en 1998, Google est devenu le plus important outil de recherche sur Internet. Il représente :
- 90 % de trafic généré par les outils en France en septembre 2007 (baromètre Secrets2Moteurs) - 57 % aux USA en septembre 2007 (baromètre comScore.com)Tous les liens et références sont dans la bibliographie.
Il est donc essentiel pour les responsables de sites web et les référenceurs de connaître et comprendre le fonctionnement de Google pour optimiser le référencement dans cet outil. - Comment optimiser mes pages pour bien les référencer dans Google ?
- Comment améliorer mon référencement et mon positionnement dans Google ?
- Dois-je mettre des mots clefs dans les meta tags ?
- Dois-je mettre une description dans les meta tags ?
- Etc.
Vous saurez tout (enfin presque ;-))) sur le référencement dans Google après la lecture de ce dossier. Par contre, ce dossier ne vous apprendra rien sur la manière de rechercher une information sur Google.
La question que se posent Lawrence Page et Sergey Brin (les 2 créateurs de Google) au début de leur recherche est : comment fournir l'information la plus pertinente à une personne qui fait une recherche par mots clefs sur
Internet alors que la somme d'informations disponibles sur Internet croît extrêmement rapidement ?
Leur réponse est Google.
Google est un moteur de recherche et pas un annuaire du type dmoz. A côté de solutions déjà existantes, une des grandes nouveautés qu'apportait Google était le PageRank.
Celui ci a beaucoup perdu de son importance mais il demeure un concept clef du fonctionnement de Google. D'autres ont vu le jour. C'est une analyse de ces différents éléments que propose ce cours.
Page 2
Qu’est ce que le PageRank ?Google repose en partie sur une technologie appelée PageRank™. Cette technologie est exposée dans l'article "The Anatomy of a Large-Scale Hypertextual Web Search Engine" écrit par les 2 créateurs de Google. Attention : si le principe de cette technologie est connu, la mise en oeuvre, elle, repose sur différents paramètres connus seulement de Google. Nous aurons l'occasion d'en reparler.
Fondamentalement le PageRank est une valeur numérique qui traduit l'importance d'une page sur le web. L’importance d'une page se traduit pour Google par le nombre de liens qui pointent vers cette page. Si de nombreux liens pointent vers une page c'est qu'elle doit être importante (populaire). C'est un peu comme si une page B votait pour une page A en mettant un lien vers A. De plus, une page considérée comme importante par Google (PageRank élevé) a plus de voix qu'une autre page considérée comme peu importante (PageRank faible). C'est la même chose que dans une assemblée d'actionnaires, certains ont plus d'actions que les autres, leur vote sera donc plus important.
Concrètement la valeur du PageRank apparaît dans la barre d'outils Google (Toolbar) que vous pouvez intégrer dans votre navigateur. Il suffit de la télécharger à partir du site de Google. Comme le montre l'image ci-dessous, la valeur du PageRank est la barre verte et blanche entre "Recherche site" et Infos page".
Si vous mettez le curseur de votre souris sur le bouton PageRank une info bulle
apparaît qui indique la valeur du PageRank comme ci-dessous :
Sur cet exemple, la page a un PageRank de 6 sur un maximum possible de 10. Google propose également sur son site la possibilité de faire une recherche par catégories dont le contenu est fourni par ODP (Open Directory Project). Il faut pour cela cliquer sur l'onglet "Répertoire" sur la page d'accueil de Google. Dans ces catégories, les pages web sont classées, par défaut, par valeur de PageRank.
PageRank Google et PageRank barreIl faut bien distinguer le PageRank qui est attribué par Google à une page web et qui est conservé dans son index et le PageRank qui apparait dans la barre d'outils Google dans votre navigateur. Appelons PageRank Google le premier (PRG ou PR dans la suite de l'article).Appelons PageRank barre la valeur qui apparaît dans la barre d'outils Google. C'est celui de l'exemple ci-dessus.Le PageRank barre nous est donc accessible et peut prendre toutes les valeurs entières de 0 à 10 (c'est à dire0 ou 1 ou 2 ou 3 ou 4 ou 5 ou 6 ou 7 ou 8 ou 9 ou 10 mais pas 1,24 par exemple).Le PageRank Google nous est inconnu et est inaccessible.Le PageRank Google varie de la valeur 0,15 à pratiquement l'infini (un peu de patience pour l'explication).Comment passe t-on de la valeur PageRank Google à la valeur PageRank barre?Eh bien, on ne sait pas. Rappelez vous "la mise en oeuvre, elle, repose sur différents paramètres connus seulement de Google". Ce paramètre est top secret. L'hypothèse la plus couramment avancée est qu'il s'agit d'une échelle
Page 3
logarithmique. Si cette hypothèse est exacte, voici ce que serait la correspondance entre les valeurs PageRank Google et les valeurs PageRank barre en prenant comme échelle une échelle à base 10.
PageRank Google
PageRank barre
1 010 1100 21000 310000 4100000 51000000 610000000 7100000000 81000000000 910000000000 et +
10
Quelques remarques extrêmement importantes :
Vous remarquez qu'il ne faut gagner que 90 unités entre 10 et 100 pour avoir un PageRank page qui passe de 1 à 2 mais qu'il faut gagner 900 unités entre 100 et 1000 pour passer de 2 à 3 et ainsi de suite. Plus votre PageRank barre est élevé plus il est difficile d'accéder à la valeur supérieure. C'est le principe de l'échelle logarithmique. Dans le calcul précédent, l'hypothèse qui a été prise est qu'il s'agit d'un logarithme base 10. En fait de nombreux auteurs pensent qu'il s'agit plutôt d'un logarithme base 5 ou 6. En effet si notre exemple était correct, il faudrait 10 milliards de liens vers une page pour que son PageRank barre soit égal à 10 or les sites qui possèdent un PageRank de 10 (yahoo.com par exemple) ont plusieurs centaines de milliers de liens qui pointent vers eux pas des milliards. La base du logarithme n'est pas donc pas 10 mais quelque soit la
base du logarithme le principe reste le même. Pour obtenir la valeur du PageRank page à partir du PageRank Google il s'agit probablement d'une échelle logarithmique. Plus la valeur PageRank barre de votre page est élevé plus il est difficile d'arriver à la valeur supérieure.
Les valeurs de PageRank barre sont entières alors que PageRank Google peut prendre toutes les valeurs intermédiaires. Concrètement si une de vos page à un PageRank Google de 110 (ce qu'on ne peut pas savoir), dans le tableau défini plus haut son PageRank barre est de 1 et si une de vos page à un PageRank Google de 980, son PageRank barre est toujours de 1. Beaucoup de pages d'accueil de sites ont des PageRank barre de 3, 4 ou 5. Ces valeurs semblent une moyenne pour des pages d'accueil (j'insiste). Nous verrons plus loin que la valeur moyenne du PageRank Google d'une page web est 1. Si votre page a un PageRank barre de 6, elle commence à être dans le peloton de tête de la popularité.
Calcul du PageRankTout cela est intéressant mais comment Google calcule t-il son PageRank?
Voici la définition donnée par leurs auteurs dans l'article fondateur :
We assume page A has pages T1...Tn which point to it (i.e., are citations). The parameter d is a damping factor which can be set between 0 and 1. We usually set d to 0.85. There are more details about d in the next section. Also C(A) is defined as the number of links going out of page A. The PageRank of a page A is given as follows:
Page 4
PR(A) = (1-d) + d (PR(T1)/C(T1) + ... + PR(Tn)/C(Tn))
PR signifie PageRankA est une page webPR(A) est donc le PageRank de la page AT1 ... Tn sont n pages web (elles peuvent être dans le même site que A ou pas)C est le nombre de liens sortants d'une pageC(T1) est le nombre de liens sortants existants dans la page T1 (pas forcément tous vers la page A)PR(T1)/C(T1) est le vote de la page T1 pour la page Ad est un facteur d'amortissement, sa valeur était de 0,85. Il est possible que cette valeur ait été modifiée mais le principe reste le même.
C'est en fait une équation de probabilités.
Note that the PageRanks form a probability distribution over web pages, so the sum of all web pages' PageRanks will be one.
Le PageRank moyen de chaque page web est un (1).
Quelques conséquences1) Si il n'y a aucun lien pointant vers A, PR(A) = (1 - 0,85) + 0 = 0,15
0,15 est donc la valeur minimale du PR. En fait, Google ne peut indexer une page A que si il existe des liens vers A dans des pages déjà indexées par Google. Relisez bien cette phrase, elle est essentielle. Autre façon de l'écrire ; pour référencer une page dans Google, il doit déjà exister des liens vers cette page et que ces liens se trouvent dans des pages indexées par Google. Conclusion : la première chose à faire, en termes de référencement, lorsqu'un nouveau site
est créé n'est pas de le référencer chez Google.
2) Il est clair que plus il existe de pages sur le web pointant vers votre page A, plus le PageRank de votre page va augmenter. C'est le terme d (PR(T1)/C(T1) + ... + PR(Tn)/C(Tn)) de l'équation. C'est le principe de la popularité.
3) La valeur du vote que donne une page T1 à votre page A est divisée par le nombre de liens présents dans la page T1. Autrement dit chaque page web distribue son PR (diminué du facteur 0,85) entre les différentes pages vers lesquelles elle pointe. Cela ne diminue pas son PR à elle, c'est simplement un vote. Conclusion : une page de liens (contenant 100 liens par exemple) pointant vers votre page affectera faiblement le PR de votre page.
4) On déduit du point précédent si la page T1 ne contient qu'un seul lien pointant vers la page A. Le PageRank de A va augmenter du PageRank de T1 multiplié par 0,85.
Exemples de calcul
1 – Site à 2 pages (liens internes)Considérons l'exemple très simple d'un site contenant seulement 2 pages : une page A et une page B.Dans la page A il y a un lien vers la page B donc C(A) = 1.Dans la page B il y a un lien vers la page A donc C(B) = 1.Prenons comme hypothèse de départ que chaque PR = 1. Je justifierai ce choix après.
Page 5
PR(A) = (1 - 0,85) + 0,85 (PR(B)/C(B)) or PR(B) = 1 et C(B) = 1
PR(A) = (1 - 0,85) + 0,85 * 1
PR(A) = 1
De la même façon
PR(B) = 1
"C'est évident puisqu'on était parti de 1 comme valeur, en fait rien n'a changé" me direz-vous.Oui mais attention, c'est ici le point sans doute le plus délicat de tout l'exposé.
Il y a 2 choses importantes ici :
1) Google doit connaître le PR(B) pour calculer le PR(A) or PR n'existe pas au départ donc PR(B) ne peut être calculé. Si PR(B) ne peut être calculé, alors PR(A) ne peut être calculé et si PR(A) ne peut être calculé, alors PR(B) ne peut être calculé ??? Et on n'en sort pas. Vous comprenez maintenant pourquoi il doit exister absolument chez Google des pages indexées (qui ont un PR) ayant des liens pointant vers vos pages.
2) En fait, le calcul que fait Google est itératif. C'est à dire que le calcul est fait en boucle de nombreuses fois pour obtenir une valeur de PR stable. A la place de 1 pour la valeur de PR de départ, prenons par exemple 0. Cela paraît assez logique puisque au départ il n'y a pas de PR défini pour les pages A et B. Refaisons le calcul.
PR(A) = (1 - 0,85) + 0,85 (PR(B)/C(B)) or PR(B) = 0 et C(B) = 1
PR(A) = (1 - 0,85) + 0,85 * 0
PR(A) = 0,15
Attention nous avons un PR(A) = 0,15, nous allons l'utiliser pour le calcul de PR(B)
PR(B) = (1 - 0,85) + 0,85 (PR(A)/C(A)) or PR(A) = 0,15 et C(A) = 1 PR(B) = (1 - 0,85) + 0,85 * 0,15/1
PR(B) = 0,2775
C'est tout à fait différent.
Maintenant que nous avons de vraies valeurs de PR calculées, recommençons le calcul (itération).
PR(A) = (1 - 0,85) + 0,85(PR(B)/C(B)) or PR(B) = 0,2775 et C(B) = 1
PR(A) = (1 - 0,85) + 0,85 * 0,2775
PR(A) = 0,385875
PR(B) = (1 - 0,85) + 0,85(PR(A)/C(A)) or PR(A) = 0,385875 et C(A) = 1 PR(B) = (1 - 0,85) + 0,85 * 0,385875
PR(B) = 0,47799375Encore différent.
Recommençons le calcul avec les nouvelles valeurs.
PR(A) = (1 - 0,85) + 0,85(PR(B)/C(B)) or PR(B) = 0,47799375 et C(B) = 1
PR(A) = (1 - 0,85) + 0,85 * 0,47799375
Page 6
PR(A) = 0,5562946875
PR(B) = (1 - 0,85) + 0,85(PR(A)/C(A)) or PR(A) = 0,5562946875 et C(A) = 1 PR(B) = (1 - 0,85) + 0,85 * 0,5562946875
PR(B) = 0,622850484
Et ainsi de suite.
Regardons comment évoluent les PR(A) et PR(B).
PR(A) = 0,15 puis 0,385875 puis 0,5562946875.
PR(B) = 0,2775 puis 0,47799375 puis 0,622850484.
Vous remarquez que les valeurs augmentent avec le nombre d'itérations.
En fait, au bout d'un certain nombre d'itérations on tend vers les valeurs :
PR(A) = 1PR(B) = 1
C'est à dire le même résultat que la première fois. Il faudrait à peu près entre 50 et 100 itérations pour être proche de ces valeurs.
Que se passerait-il si on prenait une valeur élevée de départ par exemple 60.
Recommençons les calculs.
PR(A) = (1 - 0,85) + 0,85(PR(B)/C(B)) or PR(B) = 60 et C(B) = 1
PR(A) = (1 - 0,85) + 0,85 * 60
PR(A) = 51,15
PR(B) = (1 - 0,85) + 0,85(PR(A)/C(A)) or PR(A) = 51,15 et C(A) = 1 PR(B) = (1 - 0,85) + 0,85 * 51,15
PR(B) = 43,6275
Encore une fois
PR(A) = (1 - 0,85) + 0,85(PR(B)/C(B)) or PR(B) = 43,6275 et C(B) = 1
PR(A) = (1 - 0,85) + 0,85 * 43,6275
PR(A) = 37,233375
PR(B) = (1 - 0,85) + 0,85(PR(A)/C(A)) or PR(A) = 37,233375 et C(A) = 1
PR(B) = (1 - 0,85) + 0,85 * 37,233375
PR(B) = 31,79836875
Vous remarquez que les valeurs diminuent, c'est tout à fait normal puisqu'on les multiplie à chaque fois par le facteur 0,85 et que on ne les augmente que de 0,15. En fait au bout d'un certain nombre d'itérations on obtiendrait :PR(A) = 1
PR(B) = 1Quelque soit le PR de départ, on obtient le même résultat c'est donc la structure des liens qui impose le résultat. C'est absolument FONDAMENTAL. C'est la base du PageRank. C'est cette interaction des liens entre les pages qui rend impossible un calcul direct. Dans notre exemple quand vous calculez PR(A), vous obtenez une valeur qui intervient dans le calcul de PR(B) qui lui même intervient dans le calcul de PR(A). D'où la nécessité de faire les calculs en boucle.
Page 7
Remarquez également que le PR total maximum du site est égal au nombre de pages. C'est toujours vrai (sauf exceptions de sites très mal conçus, cf. plus loin). De plus dans notre exemple, les liens sont également partagés. C'est ce qui explique l'égalité du résultat final.
Certains sites proposent des programmes pour calculer les itérations (voir dans la bibliographie).
Liens avec l’extérieurQue les liens soient extérieurs ou intérieurs ne changent pas le principe du calcul pour le PageRank mais cela va avoir des répercussions sur les stratégies à mettre en oeuvre. Ils existent 2 types de liens extérieurs :1 - les liens entrants (exemple : de la page n d'un site Y vers la page A de notre site) 2 - les liens sortants (exemple : de la page C de notre site vers la page n d'un site Z).
Suivons la même procédure que plus haut pour le calcul du PageRank. Le PR de la page n du site Y a été fixé à 1. C'est arbitraire mais comme nous l'avons vu c'est la moyenne d'une page sur le web. Après 40 itérations, nous obtiendrions les
résultats suivants (les calculs ne sont pas explicités pour gagner en clarté) :
Site Y PR(n) = 1
Notre site PR(A) = 2,6002729
Notre site PR(B) = 1,255116
Notre site PR(C) = 1,255116
Site Z PR(n) n'a pas été calculé car il n'a pas d'incidence sur le PR des pages du site.
Comparons à l'exemple 4 (vu plus haut) qui est le même site sans les liens extérieurs :PR(A) = 1,4594595
PR(B) = 0,7702703
PR(C) = 0,7702703
La contribution de la page n du site Y à la page A est de 0,85 comme vu précédemment. Le PR (A) devrait donc être de 2,3094595 or il est égal à 2,6002729. Pourquoi? La page A a plus de PR à distribuer aux pages B et C qui pointent aussi vers A. B et C augmentent le PR de la page A en retour, etc.
La somme des PR du site (5,11) est supérieur au nombre de pages du site. L'intérêt d'avoir des liens entrants est donc évident.
Conclusion
Toutes les pages d'un site ne peuvent pas être également importantes.
Optimiser l'architecture des liens d'un site pour le PageRank c'est choisir des pages vers lesquelles le PageRank doit être le
Page 8
plus important. C'est en général la page d'accueil mais dans les cas d'un site comportant de nombreuses pages, les pages d'entrées de rubriques peuvent être concernées.
Commes nous l'avons vu, le PageRank moyen d'une page web est 1. Cela signifie qu'une façon d'augmenter le PageRank total de votre site est d'augmenter le nombre de vos pages. A vous d'optimiser les liens ensuite pour concentrer le PageRank sur les pages importantes.
Liens entrantsComme nous l'avons vu dans l'exemple précédent, l'intérêt d'avoir des liens entrants est évident. Plus les liens pointant vers votre page sont nombreux plus le PageRank de cette page va augmenter. C'est la base même du principe de la popularité. Ces liens entrants sont appelés "back links" par Google. Google vous permet de connaître quels sont ces liens entrants :
- soit par la recherche avancée
- soit dans la barre Google.
Attention, seules les pages ayant un PageRank d égal ou supérieur à 4 sont affichées par Google dans cette recherche. Le nombre réel est donc plus important. Alltheweb (racheté par Yahoo en 2003) propose ce même type de recherche sans limitation liée au PageRank. Vous avez alors une idée assez précise du nombre de pages qui possèdent un lien entrant vers votre site.
Liens sortants
De la même façon que les liens entrants augmentent le PageRank d'une page, les liens sortants font baisser le PageRank.
Attention il ne s'agit pas d'une perte (la page ne donne pas son PageRank), le PageRank est réparti d'une façon différente.
Peut-on éviter d'avoir des liens sortants?
Non, c'est la base de la navigation du web. D'ailleurs les sites qui possèdent des PageRank de 10 sont en général des outils de recherches ou des portails c'est à dire des sites possédant beaucoup de liens sortants.Par contre pour un site n'ayant pas la taille de ces sites voici quelques règles de bon sens :- Si des liens sortants existent dans votre site, il faut choisir soigneusement les pages où ces liens sortants vont apparaître. Répéter ces liens sortants sur de nombreuses pages n'est pas une bonne chose ainsi que de choisir de les mettre sur la page d'accueil.- Si vous avez des liens sortants sur votre site essayez d'avoir des liens entrants en retour.- Vous n'êtes pas obligé de mettre ces liens sortants en hyperlien texte (pensez au javascript ou aux images ;-) que ne verra pas un robot).
Ce dernier point nous amène à aborder un sujet non évoqué jusqu'à présent : il faut faciliter le travail du robot lorsqu'il vient visiter vos pages. Les pages indexées par le robot (Googlebot dans le cas de Google) suit les hyperliens texte présents sur votre site pour visiter les pages. Si cela lui est impossible (liens javascript, page uniquement graphique ou en Flash, présence de frames non optimisées, etc.) vos pages ne seront pas indexées. La façon la plus simple d'aider le robot est de créer une page "Plan du site" où l'on retrouvera en hyperlien texte toutes (ou presque) les pages du site.
Page 9
Autre critères PageRank est-il le seul critère utilisé par Google?Non ! D'ailleurs s'il n'existait que le PageRank, Google serait incapable de répondre à une recherche par mots clefs puique le PageRank n'est qu'une simple valeur numérique. Rappelons encore une fois que le PageRank attribué par Google traduit l'importance d'une page web sans tenir compte de son contenu. Ce calcul s'appuie sur le nombre de liens (et leur poids) qui pointent vers cette page. De fait, en tapant un mot clef (ou plusieurs) dans Google, vous pouvez obtenir une page de résultats où la première page proposée n'est pas celle qui a le meilleur PageRank. Le PageRank n'est donc qu'un des éléments pris en compte par Google pour afficher les résultats. Quels sont les autres critères ?
En fait Google utilise globalement 3 critères :
Le PageRankLe texte d'un lienDifférents éléments liés au texte présent dans une page et à son environnement
Le PageRankLe PageRank a déjà été développé, c'est un critère "off the page" c'est à dire qui ne tient pas compte du contenu de la page. Il s'agit du critère le plus difficilement maîtrisable.
Le texte d'un lienGoogle accorde une importance certaine (laquelle ? On ne sait pas exactement) au texte qui existe sur un lien. Voici 3 exemples qui renvoient à la même page :
AUVE le site de l’association de l’IFTS qui participe au Shell Eco MarathonPour retournez au sommaire cliquez iciSommaire du site http://www.auve.com
S'ils renvoient tous à la même page, ils ne sont pas du tout équivalent pour Google.
Le premier est le meilleur car il donne une description sur le lien (texte en bleu) de la page vers laquelle il pointe. Google y est très sensible. Concrètement, la page vers laquelle pointe ce lien sera plus réactive sur les mots du lien ; ici AUVE. Le deuxième "Cliquez ici" ne donne aucune indication sur le contenu de la page. Il est tout à fait neutre. Il ne présente pas d'intérêt.Le troisième est à mi-chemin. Mais il dépend essentiellement de la façon dont sont nommés les pages et les dossiers dans le site web. Conclusion, le nom du fichier html a une importance en référencement (ne pas confondre avec le titre de la page qui apparaît dans la barre bleu en haut du navigateur qui a aussi de l'importance mais dans le prochain critère).Cette importance accordée par Google au texte d'un lien a été utilisée par certains pour créer une technique appeler "Google bombing". Elle consiste à "bombarder" Google de liens dont le texte est un mot clef de façon à améliorer le positionnement d'une page sur ce mot clef (ou plusieurs). Bombarder signifie ici mettre en place des liens sur de nombreux sites. Quelques exemples sont déjà célèbres :- "miserable failure" renvoie par exemple soit sur le site officiel de la Maison Blanche, soit sur le site de Michael Moore. Il s'agit d'une bataille via Google bombing interposé pour ou contre le président américain.
Page 10
http://www.whitehouse.gov/president/gwbbio.html- "député liberticide" renvoie sur le site du député Jean Dionis coupable aux yeux de certains d'être rapporteur de la nouvelle loi sur l'économie numérique.http://www.jeandionis.com- pendant quelques jours de mars 2004, le mot "magouilleur" renvoyait sur le site de l'Elyséehttp://www.elysee.fr/
Autres éléments liés au texteCe critère est "in the page" c'est à dire en rapport avec le contenu de la page et/ou son environnement. Le webmaster a plus de maîtrise sur cet aspect.Il est important de savoir que Google fait une copie du code HTML (donc sans images) de toutes les pages indexées sur ses serveurs c'est ce qui lui permet de vous proposer un lien "En cache" où on retrouve la version html donc sans contenu multimédia de la page même si celle ci n'existe plus sur le serveur original (très pratique).
A partir de cette copie Google fait une analyse du contenu :
Nombre de mots, Position d'un mot dans le document, Occurrences des mots, Proximité d'un mot par rapport à un autre, Taille de police, La casse utilisée, Balises utilisées (par exemple H1), Gras, Etc.
Google n'aime pas les trop petits caractères (taille de police très petite). Google pense alors qu'il existe une possibilité qu'on essaie de le tromper. Même chose si Google découvre des mots de couleur blanche sur un fond blanc. Ces mots sont invisibles pour l'internaute
mais pas pour un robot de moteur. Il s'agissait d'une technique destinée à ajouter de nombreux mots clés dans le texte pour tromper, c'est une technique complètement dépassée qui peut avoir pour conséquence d'écarter la page destinée à être référencée de l'index d'un moteur.
Google analyse également le contenu des pages web voisines (reliées directement par un lien). Si Google y retrouve les mêmes mots clefs, Google estimera que ces pages forment un ensemble cohérent autour d'un sujet ou d'un thème.
L'ancienneté (SandBox)Il semble bien que d'une manière ou d'une autre, l'ancienneté du site dans l'index de Google ait une importance. Depuis fin 2004, on parle même beaucoup dans les forums consacrés à Google d'une Sandbox (bac à sable). Cette Sandbox serait un espace où seraient placés de façon provisoire les sites entrants dans l'index. Elle serait destinée à s'assurer (pour Google) du sérieux du site. Par exemple, un site utilisant un référencement automatique créant quelques centaines de backlinks en une journée pourrait sembler suspect. Attention, cette Sandbox n'empêche pas l'indexation d'un site ou des pages d'un site dans Google. Par contre, elle ralentit la réactivité de pages par rapport à des mots clefs. Leur positionnement est donc médiocre.
Google BombingLe Google Bombing est une technique de référencement qui permet d'associer des mots à une page particulière dans les résultats d'un moteur, sans que le rapport entre eux ne soit évident. Cette technique utilise le PageRank et l'attention que porte les moteurs en
Page 11
général et Google en particulier aux mots du lien. Comme souvent, cette technique a d'abord été utilisée aux USA.
En 2003, lorsque vous tapiez "miserable failure" dans Google, le premier résultat affiché était la biographie de président américain Geoge W. Bush sur le site de la Maison Blanche. Pour obtenir ce résultat, il a fallu que des milliers de webmaster intègrent dans leur site le texte "miserable failure" et qu'ils créent sur ce texte un lien pointant vers le lien suivant :
http://www.whitehouse.gov/president/
Ce qui est étonnant dans cette technique, c'est que la relation entre les mots et la page n'est pas évidente contrairement à ce que l'on essaie de faire en général en référencement. Quelques mois plus tard, la même recherche donnait comme résultat soit le site delà maison Blanche déjà cité, soit le site du réalisateur Michael Moore.
http://www.michaelmoore.com
Il s'agissait d'une contre-attaque organisée des partisans du président américain. La France n'a pas été en reste puisque nous avons vu fleurir en 2004 et 2005 des Google Bombions comme : Le mot "magouilleur" donnait pour résultat la biographie du président Jacques Chirac sur le site de l'Elysée ;
Les mots "député liberticide" donnaient pour résultat le site du député Jean Dionis, partie prenante de la discussion sur la loi sur l'économie numérique, http://www.jeandionis.com/ ;
Les mots "Nicolas Sarkozy" donnaient pour résultat le site du film Iznogoud http://www.iznogoud-lefilm.com/ Etc.
Soyons clair, les choix des mots précédents et des pages associées sont purement idéologiques. Peu de personnes normalement tapent dans Google une recherche telle que "député liberticide". Il s'agit donc d'un détournement du fonctionnement des moteurs.
Pour régler ce problème Google a mis en place des nouveaux filtres (top secrets) à partir du début 2007. Effectivement, en tapant aujourd'hui "miserable failure", les résultats de Google ne vous affichent plus la page de George W. Bush. Par contre, les résultats affichent toutes les pages qui en parlaient à l'époque.
SandboxSanboxDepuis fin 2004, on parle beaucoup dans les forums consacrés à Google d'une Sandbox (bac à sable). Cette Sandbox serait un espace où seraient placés de façon provisoire les sites entrants dans l'index de Google. Elle serait destinée à s'assurer (pour Google) du sérieux du site. Par exemple, un site utilisant un référencement automatique créant quelques centaines de backlinks en une journée pourrait sembler suspect. Attention, cette Sandbox n'empêche pas l'indexation d'un site ou des pages d'un site dans Google. Par contre, elle ralentit la réactivité de pages par rapport à des mots clefs. Leur positionnement est donc médiocre.En fait, après des milliers de pages écrites sur le sujet, il semble que la Sandbox n'existe pas mais que tout se passe comme si elle existait ce qui revient au même.
Page 12
Cela signifie qu'il n'existerait pas un filtre pénalisant les nouveaux sites mais que l'action de plusieurs critères déjà utilisés par Google produit le même effet. L'effet est plus net sur les nouveaux sites mais certains sites anciens peuvent également être victime de ce phénomène. Les forums ont beaucoup discuté pour savoir quelle était la durée de la présence dans la Sandbox (virtuelle donc) mais ne s'agit-il pas plutôt dune TrustBox ?
TrustRank
Le TrustRank remplace t-il le pageRank ? Tout le monde n'est pas d'accord sur ce point mais une évolution du pagerank est clairement perceptible.
Le TrustRank est un algorithme destiné à calculer l'indice de confiance d'une page web. L'objectif du TrustRank est de lutter contre le web spamming.
Le terme est apparu lors de la publication d'un document écrit par Zoltán Gyöngyi, Hector Garcia-Molina (tous les 2 de Stanford University comme les 2 créateurs de Google) et Jan Pedersen de Yahoo! Inc. Le document s'appelle "Combating Web Spam with TrustRank" et a été publié le 1er mars 2004. Il est disponible sur internet.
Voici une traduction du sujet ("abstract") de ce document
" De nombreuses techniques sont utilisées dans le webspamming pour acquérir un meilleur positionnement que celui mérité dans les pages de résultats des moteurs de recherche. Il est aisé pour un expert humain d'identifier du spam,
mais il est évidemment trop onéreux d'évaluer manuellement un grand nombre de pages. Nous proposons des techniques pour différencier de façon semi-automatique des pages fiables du spam. Dans un premier temps nous sélectionnons un petit ensemble de pages de confiance qui seront évaluées par un expert. Une fois les pages de confiance manuellement identifiées, nous utilisons la structure en lien du web pour repérer d'autres pages qui paraissent d'aussi bonne qualité. Dans ce document, nous présentons differentes manières de mettre en place la sélection des pages de confiance et la découverte des pages de qualité. Nous présentons le résultat de nos expériences effectuées sur le web indexé par Altavista et l'évaluation de nos méthodes. Nos résultats montrent qu'il est possible de filtrer efficacement le spam sur une partie significative du web à partir d'un ensemble constitué de pages de confiance sur plus ou moins 200 sites. "
Cette nouvelle notion de TrustRank montre comment le spam d'un côté et la lutte anti-spam de l'autre côté progressent. 3 phases peuvent être distinguées :
Il y a quelques années, les moteurs donnaient la même d'importance à chaque lien. Pour avoir un bon référencement et positionnement, il fallait donc simplement avoir le plus de liens entrants possibles
C'est l'indice de popularité.
Ensuite, Google a accordé plus d'importance aux liens issus des pages populaires. Cette popularité se traduit par le PageRank. Avoir un bon référencement signifie alors avoir le plus de liens possibles en provenance des pages les
Page 13
plus populaires (le PageRank le plus élevé).
Aujourd'hui, Google analyse le niveau de confiance d'un site, c'est l'indice de confiance ou TrustRank. Comme vu plus haut Google se base d'une part sur un ensemble d'environ 200 sites dits contenant des pages de confiance déterminé par des humains et d'autre part sur l'analyse des réseaux de liens. Avoir un bon référencement signifie alors avoir le plus de liens possibles en provenance des pages de confiance (le TrustRank le plus élevé).
TrustRank brevetLe 16 mars 2005, Google dépose le nom de marque TrustRank auprès de l'United States Patent and Trademark Office. Il n'est pas sûr que ce soit en lien direct avec l'article détaillé ci-dessus puisque un des auteurs travaille pour Yahoo et que l'expérience a été menée sur Altavista propriété de Yahoo. Google et Yahoo sont les meilleurs ennemis du monde.
TrustRank et Sandbox = Trustbox ?
Si il n'y a pas de vrai Sandbox (voir page précédente), la Sandbox virtuelle est peut être une Trustbox. L'utilisation par Google d'un nouveau critère proche du TrustRank peut donner l'illusion d'une Sandbox car le facteur temps y est important.
La confiance se construit (sur la durée)
Elle se perd facilement
Elle se reconstruit difficilement (beaucoup de temps).
Affichage Google
Tout ce qui est au dessus concernait l'optimisation des pages et du site pour avoir le meilleur positionnement possible sur Google. Voyons, à présent, comment Google affiche les résultats en étudiant le premier résultat qu'affiche Google dans sa page de résultats sur les mots "uc" et "berkeley».
Le titre en bleu et en lien cliquableUC Berkeley home page
Il s'agit en général du titre de la page (pas le nom du fichier). Dans le cas présent, le mot clef (en caractères gras) est dans le titre d'où son importance pour le référencement.
Que ce passe t-il s'il n'y a pas de titre (cela arrive plus souvent que vous ne le pensez). Google proposera l'adresse URL de la page à la place du titre. C'est le cas également si la page n'est pas encore complètement indexée par le robot. La taille du titre est limitée (50 à 60 caractères maximum).
Un texteLe texte est la reprise de la balise description de la page.
1re partie
Berkeley is the oldest of the UC campuses and serves as the flagship of California's public university system...Cette partie provient du meta tag "description" . Les mots clefs sont une nouvelles fois en caractères gras. 2e partie
Page 14
About UC Berkeley History, Visiting, Outreach... Ce sont les premières occurences des mots clefs dans le texte visible. La position du mot clef dans la page est donc importante. Attention aux colonnes de tableau qui visuellement vous font croire que le mot clef est dans le haut alors que dans le code source il est au milieu de la page.
Google affiche donc des extraits ("snippets") de la page dans lesquels sont présents les mots clefs. Cela permet d'avoir une idée du contexte des mots clefs. Google n'utilise pas tel quel le meta tag "description". Il ne l'aurait pas utilisé si aucun mot clef n'avait été présent.
Dans des cas extrêmes, c'est à dire peu de texte ou pas de texte visible (page graphique par exemple) Google peut utiliser l'attribut "alt" de la balise <img>. C’est un fait que j'ai plusieurs fois vérifié.
Attention, Google ne prend plus en compte le meta tag "keywords".Google ne prend pas en compte non plus les commentaires dans le code html mais prend en compte les balises <noscript> et <noframe>.
Une descriptionDescription: Official Site.
Attention, cette description n'a rien à voir avec le meta tag "description". Il s'agit de la description dans l'annuaire Open Directory Project (http://www.dmoz.org). Les mots clefs apparaissent en caractères gras dans cette description. On comprend l'importance d'être présent dans cet annuaire. Pour rappel, vous n'avez pas la maîtrise de la description dans un annuaire. La description contenue dans le meta tag "description" est :
University of California, Berkeley home page. Berkeley is the oldest of the UC campuses and serves as the flagship of California's public university system. Rich in traditions, such as a commitment to civil rights and liberties, the campus's history continues to be written as new generations of students pass through its hallowed gates. On retrouve bien ici une partie du texte (le début) étudié ci-dessus.
Une catégorie
Catégorie: Reference > Education > ... > University of California > BerkeleyEncore une fois, il s'agit de la catégorie de l'annuaire Open Directory Project dans laquelle apparaît ce site. Il se trouve qu'un mot clef est présent dans la catégorie.
L'adresse URL de la pagewww.berkeley.edu/
Enfin, Google affiche l'URL de la page. Une fois encore un des mots clefs est présent dans l'URL.
Une date
10 Sep 2003
Pour les sites dont le contenu est modifié fréquemment, le robot de Google repasse souvent. La date indique le dernier passage du robot.
ConclusionLa présence des mots clefs dans toutes les parties de l'affichage Google font que ce site est évidemment très réactif sur ces mots clefs :
Titre de la pageTexte de la pageMeta tag descriptionAdresse URL
Page 15
Catégorie de Open Directory ProjectDescription de Open Directory Project
Site bannis et site punis
Liens préalables
Comme déjà écrit précédemment, iI faut impérativement qu'il existe déjà un lien vers la page que l'on veut indexer dans Google pour que Google l'indexe. C'est une condition préalable. La première chose à faire lorsque vous référencez une page n'est donc pas de la soumettre à Google car si aucun lien n'existe dans les pages déjà indexées dans Google vers cette page, Google ne l'indexera pas.
2 possibilités :
Créer des liens vers votre page dans des pages déjà présentes dans l'index de Google. Une fois l'opération effectuée, il faut attendre que le robot repasse dans ces pages et indexe votre page.
Soumettre votre site dans des annuaires et vous savez que l'inclusion n'est pas immédiate à moins de payer. Il existe de façon certaine un plus accordé par Google aux sites présents dans ODP et dans Yahoo. Cela semble logique puisque ODP fournit le répertoire de Google (voir plus haut) et que Google fournit le moteur de Yahoo. Cette possibilité est implicitement indiquée par Google dans son aide (je devrais dire était depuis que Yahoo a racheté Inktomi, Overture, Altavista et tout le reste).
Les 2 possibilités sont évidemment complémentaires. Plus de liens pointeront vers votre page, meilleur sera son PR.
Pages non indexées ?
Normalement, une page affichée dans votre navigateur et qui aurait un PageRank barre entièrement grisé ne devrait pas être dans l'index de Google. Voici ce que l'on obtient alors en passant le curseur de la souris sur le bouton PageRank de la barre.
Cette situation peut être :
Soit de votre volonté (meta tag "no index" ou fichier "robot" excluant l'indexation),
Soit aucun lien dans le web ne renvoie sur cette page et sur ce site.
Or dans certain cas, ce que dit la barre de Google ("La page affichée n'est pas classée par Google") est faux. Il existe des sites dans l'index de Google qui n'ont pas de PageRank. Attention, il faut bien faire la différence entre un PageRank barre égal à zéro et un PageRank barre grisé. Pour l'instant, nous discutons de PageRank barre grisé c'est à dire aucun PageRank attribué. C'est en particulier le cas des farms links ou FFA Links (Free For All Links) ou des sites qui proposent des outils pour créer des farms links.
Les farms links sont des sites dont l'objectif est d'augmenter artificiellement le PR d'un site ou d'une page. Comment procèdent t-ils? Ce sont des espèces d'annuaires non organisés où chacun peut mettre un lien renvoyant sur son site ou sa page. Google n'aime pas du tout ce système qui est évidemment destiné à détourner le système du PageRank. Il semble clair que Google filtre délibérément ce type de sites ou de pages non pas en les éliminant de l'index mais en ne leur attribuant aucun PageRank.
Page 16
Faites une recherche avec "free for all links" dans Google et regardez les pages qui sortent et le PageRank qu'elles ont (ou qu'elles n'ont pas). Les pages sont bien présentes dans l'index de Google mais Google n'utilise pas pour elles le système du PageRank. Google utilise dans ce cas uniquement des critères "in the page".
De toutes façons, d'un point de vue du référenceur quelle peut être l'efficacité de ce système puisque le PageRank qu'attribue une page va être divisé par le nombre de liens présents sur cette page. Dans le cas des links farms, le nombre de liens étant très important le PR attribué serait très faible. Et en plus Google n'attribue aucun PageRank à ces sites comme nous venons de le voir.
Conclusion : gardez-vous bien d'aller référencer vos pages sur ces sites.
Quels sont les autres techniques que Google n'apprécie pas ? Craig Silverstein (Google Chief Technology Officer) nous indique quelques pistes dans une interview (voir dans les liens). "La pire des choses à faire est le cloaking". Le "cloaking" est un procédé très technique qui consiste à montrer à GoogleBot (le robot de Google qui visite le page du web sans relâche) une autre page que celle que voient les internautes dans leur navigateur. Évidemment la page montrée à GoogleBot est optimisée pour Google. Il est probable que la sanction réservée dans ce cas au site est l'attribution d'un PageRank de zéro.
Les autres techniques sont bien connues :
Mettre du texte blanc sur fond blancMettre du texte en très, très petit dans une page
Mettre 50 fois le même mot clef dans le meta-tag "keywords". De toute façon, Google n'utilise plus ce meta-tag.Etc.
En conclusion, un PageRank barre inexistant ou égal à zéro est la plus part du temps une punition (ou un très mauvais référencement).A l'inverse, il est possible d'avoir un PR dans la barre Google pour une page non indexée (une nouvelle page que vous venez de mettre en ligne par exemple). En fait c'est la barre Google qui attribue automatiquement un PR à condition que d'autres pages de ce site aient déjà un PR et qu'elles soient indexées dans Google. En général le PR "provisoire" de la nouvelle page est le même que la page liée moins une unité (PR - 1). Cela ne signifie donc pas que la nouvelle page est indexée.
Site bannis.
Il y a des cas plus complexes.
Il existe également des sites réellement bannis, on parle de blacklistage. C'est à dire des sites qui sont indexés dans la base de Google mais que Google ne fera pas apparaître dans les résultats lorsque vous faites une recherche par mots-clefs. L'exemple le plus fameux en France est le déférencement de Google du site de Netbooster, une des sociétés leader dans le référencement, en septembre 2004. La raison de ce bannissement n'a jamais été clairement exprimée.
http://www.journaldunet.com/itws/it_andrieu3.shtml http://actu.abondance.com/2004-39/dereferencement.html
Au début 2006, 2 sites importants (BMW et Ricoh) ont fait l'objet d'un blacklistage
Page 17
de quelques jours. La raison donné par un salarié de Google était le nombre important de pages satellites (doorway pages) couplées à des re-directions javascript. Le contenu lu par Google était très différent de ce que voyait l'internaute.
http://www.mattcutts.com/blog/ramping-up-on-international-webspam/
Il existe également une localisation géographique des sites bannis. Cela signifie que certains sites n'apparaîtront jamais dans les résultats de google.fr alors qu'ils apparaîtront dans les résultats de google.com.
Exemple de courrierVoici un exemple de mail reçu réellement par un webmaster. **************************************************Cher administrateur ou webmaster de nomdedomaine.com,
Lors de l'indexation de votre site, nous avons détecté que certaines de vos pages utilisent des techniques qui ne respectent pas nos règles de qualité.Les conseils aux webmasters sont accessibles à l'adresse:
http://www.google.com/intl/fr/webmasters/guidelines.htm
Pour préserver la qualité de notre moteur de recherche, nous avons temporairement exclu certaines pages de nos résultats de recherche. Les pages appartenant à nomdedomaine.com/, sont programmés pour une exclusion d'une durée minimum de 30 jours.
Nos avons, plus particulièrement, détecté les pratiques suivantes sur vos pages:
* Le texte caché sur les pages de nomdedomaine.com/:
Ici le texte que le robot considère comme litigieux.
Nous préférerions voir vos pages faire partie de l'index de Google. Si vous souhaitez être inclus de nouveau, veuillez corriger ou retirer toutes les pages qui transgressent nos règles de qualité. Lorsque vous êtes prêt vous pouvez soumettre une requête de réinclusion à l'adresse:
https://www.google.com/webmasters/sitemaps/reinclusion?hl=fr
Cordialement, L'équipe Qualité Google**************************************************Le site a été réellement blacklisté : il n'apparassait plus dans les résultats de Google. La suppression du texte litigieux et la requête de réinclusion ont réglé le problème en quelques jours.
BibliographieGoogle 1er partoutClassement 1ère positionBaromètre AdocPanorama estatOneStat (USA) GoogleLe texte fondateur : "The Anatomy of a Large-Scale Hypertextual Web Search Engine"La version beta de Google en 1998Interview de Sergey Brin, un des fondateurs de Google (septembre 2003)Interview de Craig Silverstein Chief Technology Officer de Google (mai 2001) Télécharger la barre d'outils Google
Page 18
(Toolbar) Open Directory Project qui fournit l'annuaire de GoogleRecherche sur le filtre safeSearch de GoogleUne recherche sur les sites exclus de GoogleLa voix de Google? Google GuyRessources sur Googlehttp://google.indicateur.com/fr/index.php3http://www.zorgloob.com/ Webrankinfo, un site très complet sur Google http://google-observatoire.blogspot.com/Ressources sur le PageRank"The Google Page Rank Algorithm and How It Works" by Ian Rogers"Google's PageRank and how to make the most of it" by Phil Craven A Survey of Google's PageRank"Everything you’ve always wanted to know about PageRank" by Chris Ridings (document .pdf)Programme pour calculer le Page Rank d'un modèle Les sites qui ont un Page Rank de 10Programme en Java permettant de visualiser les liens entrant d'un site http://www.freeweb-hosting.com/google_pagerank_pr_checker/ http://www.yooda.com/info/article/pagerank_positionnement/ Google DanceLe décalage entre les différents index de Google (la "Google dance")Webrankinfo permet également de suivre le Google Dance Une explication en anglais de la Google DanceL'effet Sandbox de GoogleUn article de Webrankinfo détaillant l'effet SandboxUn outil pour vérifier si votre site est concerné par l'effet Sandbox TrustRankL'article fondateur
Google bombingLe Google bombing expliqué par son créateurUn article online sur le Google bombingUn autre article avec quelques liens Google côté utilisateurLa recherche sur GoogleLes recherches avancées chez GoogleAbondance, un site français de référenceComparez 2 mots ou 2 expression dans GoogleGoogle histoireLes faits marquants de l'histoire de Google Un peu d'humourPigeon d'avril ?
Page 19
