La phase d’indexation

Reprenons le déroulement d’une requête sur Google :

• Continuellement, Google parcourt le Web avec un robot logiciel nommé Googlebot. Celui-ci récupère une copie de chaque page et la stocke sur un serveur de Google.
• Chaque page rapatriée est analysée afin d’être indexée dans une énorme base de données, l’index de Google.
• Quand un internaute tape une requête dans Google, celui-ci renvoie presque instantanément une liste de résultats constituée de liens vers les pages web considérées par Google comme étant les plus pertinentes. 

La plus grande difficulté pour un moteur de recherche, mais qui peut souvent lui assurer son succès, réside dans son algorithme de classement des pages. L’objectif est de retrouver systématiquement les résultats les plus pertinents en premier, quelle que soit la requête. La majeure partie de l’algorithme de classement repose sur la phase d’indexation, qui va décortiquer chaque page afin de pouvoir juger en quelques secondes lors de la recherche si elle est pertinente ou non pour la requête de l’internaute.

L’algorithme des moteurs de recherche

Historiquement, le premier moteur de recherche connu du grand public fut Altavista. Tant que le Web n’avait pas atteint une taille trop importante et que rares fussent les sites optimisés en vue de leur position dans les moteurs de recherche, son algorithme fondé essentiellement sur l’analyse statistique des mots de chaque page Web suffisait. Après tout, il est naturel de penser que les pages contenant les mots recherchés sont pertinentes d’autant plus que ces mots apparaissent plusieurs fois sur la page.
Cependant, cette technique a ses limites. En effet, le rédacteur est libre de choisir les mots qui lui plaisent, même s’ils ne sont pas directement reliés au sujet. Il est maître du contenu de son site, mais la description des pages ne reflète que son avis. Google a eu l’idée de construire l’algorithme du moteur de recherche à partir de critères externes au site, partant du principe qu’une page n’est pas décrite seulement par les mots qui la composent, mais aussi par les opinions des autres éditeurs de sites sur Internet – ceux qui créent des liens vers cette page.
Pour classer les résultats, Google se réfère donc à la fois au contenu de chaque page et à des critères extérieurs. Ce processus de classement comporte un grand nombre de critères qui, tous combinés, permettent de trouver les pages les plus pertinentes. Pour déterminer la liste des résultats à afficher, il est possible de simplifier le processus en indiquant que Google attribue une note pour chaque page de son index, selon chaque critère, puis les combines pour obtenir une note globale. Les pages ayant les meilleurs scores sont affichées en premier.
Nous appelons « mots-clés » les mots recherchés par l’internaute, pour lesquels Google doit retourner les pages web les plus pertinentes, et « expression » ou « requête » l’ensemble de ces mots. Par exemple si l’internaute tape « cinéma liége », l’expression est « cinéma liège » et les mots-clés sont « cinéma » et « liège ».

Les critères de l’algorithme

Les critères internes sont tirés de la page elle-même, par opposition aux critères externes qui concernent des éléments extérieurs à la page étudiée.

Critères internes :

• titre des pages ;
• contenu textuel ;
• densité des mots-clés ;
• emplacement et distance entre les mots-clés ;
• niveau hiérarchique des titres (balise <h1> à <h6>) ;
• mise en exergue des mots dans le texte (balises gras, italique, etc.)…

Critères externes :

• PageRank ;
• Texte des liens entrants;

Le PageRank est un élément déterminant de Google.

Le PageRank fait partie à la fois des critères internes et externes. Le PageRank d’une page est une grandeur mathématique représentant sa popularité sur le Web : plus le Page Rank est élevé, plus cette page est populaire. Elle est liée à l’opinion des autres éditeurs de site Web, au travers des liens.

Un lien égale un vote

L’idée est de considérer chaque lien comme l’expression d’un vote. Si le créateur d’une page a décidé d’ajouter un lien vers un autre site (ou plus précisément vers une page d’un autre site), c’est sans doute qu’il estime que cette page présente suffisamment d’intérêt pour ses lecteurs pour qu’elle mérite une mention spéciale. Plus votre page est liée par d’autres pages, plus sa popularité est grande plus son PageRank augmente.

Les liens issus de pages ayant un bon indice de popularité comptent davantage

Si la page qui fait le lien est elle-même populaire, alors le vote exprimé par le lien aura plus de valeur.

En cas de liens multiples, chaque lien contenu sur la page a autant de poids

Si la page qui fait le lien possède de nombreux liens vers l’extérieur, le poids de chaque lien est identique. La popularité de votre page sera moins grande si chaque page qui fait un lien vers elle possède un grand nombre de liens (linkfarms, le cas de site spécialement créé pour aider le référencement multiple, a évité).

La phase de recherche

Google a toujours été le meilleur sur ce point, les résultats sont affichés en l’espace d’une seconde (200.000.000 de requêtes sont effectuées par jour).