A master repository service maintains a directory of web servers and the most recent times that their web contents were modified, and provides this information to web crawlers to increase their efficiency. The master repository service receives web content update reports from a plurality of web servers, updates the directory to keep it current, and provides crawlers with web site modification information. The web site modification information preferably comprises identifiers for new web sites, "dead" web sites, and modified web sites. Each crawler is preferably provided only with web site modification information received since it last received information from the master repository service. The information allows web crawlers to know immediately about new web sites, and allows them to spend time visiting only those web sites that are new or that have changed their content.

Un service principal de dépôt maintient un annuaire des serveurs d'enchaînement et les temps les plus récents que leur contenu d'enchaînement a été modifié, et fournit ces informations aux chercheurs Web pour augmenter leur efficacité. Le service principal de dépôt reçoit des rapports contents de mise à jour d'enchaînement d'une pluralité de serveurs d'enchaînement, met à jour l'annuaire pour le garder courant, et fournit à des chenilles l'information de modification de site Web. L'information de modification de site Web comporte de préférence des marques pour de nouveaux emplacements d'enchaînement, des emplacements d'enchaînement de "morts", et des emplacements modifiés d'enchaînement. Chaque chenille est de préférence équipée seulement d'information de modification de site Web reçue puisqu'elle a pour la dernière fois reçu l'information du service principal de dépôt. L'information permet à des chercheurs Web de savoir immédiatement de nouveaux emplacements d'enchaînement, et leur permet de passer le temps visitant seulement ces emplacements d'enchaînement qui sont nouveaux ou qui ont changé leur contenu.