A method and structure for searching multi-media data having different modes using a query, includes processing the multi-media data to extract text and time reference points, identifying overlapping time periods when text in two or more of the modes corresponds to the query, and ranking a relevance of the overlapping time periods.

Un método y una estructura para buscar los datos multi-media que tienen diversos modos usando una pregunta, incluye el proceso de los datos multi-media para extraer puntos de referencia del texto y del tiempo, identificando períodos traslapados cuando el texto en dos o más de los modos corresponde a la pregunta, y la graduación una importancia de los períodos traslapados.