En juin 2005, Google lançait l’expérience Google Sitemaps : le moteur de recherches permettait aux webmasters d’informer le moteur de recherche de la modification de leur site, et de lui fournir la liste des pages à indexer. C’était une véritable révolution en soi, car depuis le tout début du web, jusqu’alors, les robots d’indexation des moteurs de recherche parcouraient aveuglément le web à la recherche de contenu nouveau. Ce fut donc un signe d’une première inversion de la tendance : ce ne sont plus les moteurs de recherche qui viennent voir s’il y a du contenu nouveau, mais les webmasters qui les invitent à venir découvrir le nouveau contenu.