A web crawler downloads documents from among a plurality of host computers. The web crawler enqueues document addresses in a data structure called the Frontier. The Frontier generally includes a set of queues, with all document addresses sharing a respective common host component being stored in a respective common one of the queues. Multiple threads substantially concurrently process the document addresses in the queues. The web crawler includes a set of tools for storing an extensible set of data with each document address in the Frontier. These tools enable the applications to which the web crawler passes downloaded documents to store a record of information associated with each download, where each record of information includes an extensible set of name/value pairs specified by the applications. The applications also determine how many records of information to retain for each document, when to delete records of information, and so on. In another aspect of the present invention, the Frontier include a set of parallel "priority queues," each associated with a distinct priority level. Queue elements for documents to be downloaded are assigned a priority level, and then stored in the corresponding priority queue. Queue elements are then distributed from the priority queues to a set of underlying queues in accordance with their relative priorities. The threads then process the queue elements in the underlying queues.

Μια αντιολισθητική αλυσίδα Ιστού μεταφορτώνει τα έγγραφα από μεταξύ μιας πολλαπλότητας των οικοδεσποτών υπολογιστών. Οι διευθύνσεις εγγράφων αντιολισθητικών αλυσίδων Ιστού enqueues σε μια δομή δεδομένων κάλεσαν τα σύνορα. Τα σύνορα περιλαμβάνουν γενικά ένα σύνολο σειρών αναμονής, με όλες τις διευθύνσεις εγγράφων μοιραμένος ένα αντίστοιχο κοινό τμήμα οικοδεσποτών που αποθηκεύεται αντίστοιχη κοινή μια από τις σειρές αναμονής. Τα πολλαπλάσια νήματα ουσιαστικά ταυτόχρονα επεξεργάζονται τις διευθύνσεις εγγράφων στις σειρές αναμονής. Η αντιολισθητική αλυσίδα Ιστού περιλαμβάνει ένα σύνολο εργαλείων για την αποθήκευση ένα εκτατό σύνολο στοιχείων με κάθε διεύθυνση εγγράφων στα σύνορα. Αυτά τα εργαλεία επιτρέπουν τις εφαρμογές στις οποίες τα μεταφορτωμένα περάσματα έγγραφα αντιολισθητικών αλυσίδων Ιστού για να αποθηκεύσουν ένα αρχείο των πληροφοριών που συνδέεται με κάθε μια μεταφορτώνουν, όπου κάθε αρχείο των πληροφοριών περιλαμβάνει ένα εκτατό σύνολο ζευγαριών ονόματος/αξίας που διευκρινίζονται από τις εφαρμογές. Οι εφαρμογές καθορίζουν επίσης πόσα αρχεία των πληροφοριών που διατηρούν για κάθε έγγραφο, πότε για να διαγράψει τα αρχεία των πληροφοριών, και τα λοιπά. Σε μια άλλη πτυχή της παρούσας εφεύρεσης, τα σύνορα περιλαμβάνουν ένα σύνολο παράλληλων "σειρών αναμονής προτεραιότητας," κάθε μια που συνδέεται με ένα ευδιάκριτο επίπεδο προτεραιότητας. Στα στοιχεία σειρών αναμονής για τα έγγραφα που μεταφορτώνονται ορίζεται ένα επίπεδο προτεραιότητας, και αποθηκεύονται έπειτα στην αντίστοιχη σειρά αναμονής προτεραιότητας. Τα στοιχεία σειρών αναμονής διανέμονται έπειτα από τις σειρές αναμονής προτεραιότητας σε ένα σύνολο κρμμένος κάτω από σειρών αναμονής σύμφωνα με τις σχετικές προτεραιότητές τους. Τα νήματα επεξεργάζονται έπειτα τα στοιχεία σειρών αναμονής στις κρμμένος κάτω από σειρές αναμονής.