En juin 2005, Google lançait l’expérience Google Sitemaps : le moteur de recherches permettait aux webmasters d’informer le moteur de recherche de la modification de leur site, et de lui fournir la liste des pages à indexer. C’était une véritable révolution en soi, car depuis le tout début du web, jusqu’alors, les robots d’indexation des moteurs de recherche parcouraient aveuglément le web à la recherche de contenu nouveau. Ce fut donc un signe d’une première inversion de la tendance : ce ne sont plus les moteurs de recherche qui viennent voir s’il y a du contenu nouveau, mais les webmasters qui les invitent à venir découvrir le nouveau contenu.

Cette tendance avait en outre un potentiel technique intéressant : les moteurs de recherche pouvaient se concentrer sur la découverte de contenu nouveau, plutôt que de parcourir des pages déjà connues en espérant — en vain — trouver du neuf. Pour le webmaster, c’était aussi l’espoir de voir les robots d’indexation réduire leurs rondes, réduisant l’usage de leur serveur web par les robots d’indexation.

Cependant, malgré une licence Creative Commons très permissive, jusqu’à présent, Google était officiellement le seul des trois principaux moteurs de recherche — Google, Yahoo! et MSN Search — à exploiter cette technologie. C’est désormais officiel avec la publication sur le site sitemaps.org (site enregistré au nom de Google) : les trois grands moteurs supportent officiellement ce format de fichiers, ainsi que la méthode de soumission.

Gageons que cette uniformisation de la technologie auprès des principaux moteurs de recherche permettra une amélioration de l’indexation et par conséquence une augmentation de l’audience des sites web !