The invention concerns quantitatively evaluating retrieval performance of retrieving systems that allow information retrieval when natural sentences are input as retrieval requests. Text and a title (heading) thereof are recognized as a pair of documents, and multiple documents individually having the texts and the headings are prepared as retrieval-target documents. In this, for example, each of the headings is used as contents of a retrieval request, and each of the texts is used as retrieval-target information. One of the headings is input to a retrieving device, and retrieving processing is performed, results of retrieval performed ranked for the headings according to the above, and retrieval-process evaluation is performed according to the ranks. The same processing is repeated for the following headings, and total retrieval processing is performed for the retrieving system according to the individual results of retrieval.

L'invention concerne l'exécution quantitativement d'évaluation de récupération de rechercher les systèmes qui permettent la recherche documentaire quand des phrases normales sont entrées comme demandes de récupération. Le texte et un titre (titre) en sont identifiés comme paire de documents, et des documents multiples ayant individuellement les textes et les titres sont préparés comme documents de récupération-cible. En cela, par exemple, chacun des titres est employé en As des teneurs d'une demande de récupération, et chacune des textes est employées comme information de récupération-cible. Un des titres est entré dans un dispositif de recherche, et la recherche du traitement est exécutée, des résultats de récupération effectués rangés pour les titres selon ce qui précède, et l'évaluation de récupération-processus est exécutée selon les rangs. Le même qui traite est répété pour les titres suivants, et le procédé de récupération de total est effectué pour le système de recherche selon les différents résultats de la récupération.