A system and method for indexing an audio stream for subsequent information
retrieval and for skimming, gisting, and summarizing the audio stream
includes using special audio prefiltering such that only relevant speech
segments that are generated by a speech recognition engine are indexed.
Specific indexing features are disclosed that improve the precision and
recall of an information retrieval system used after indexing for word
spotting. The invention includes rendering the audio stream into
intervals, with each interval including one or more segments. For each
segment of an interval it is determined whether the segment exhibits one
or more predetermined audio features such as a particular range of zero
crossing rates, a particular range of energy, and a particular range of
spectral energy concentration. The audio features are heuristically
determined to represent respective audio events including silence, music,
speech, and speech on music. Also, it is determined whether a group of
intervals matches a heuristically predefined meta pattern such as
continuous uninterrupted speech, concluding ideas, hesitations and
emphasis in speech, and so on, and the audio stream is then indexed based
on the interval classification and meta pattern matching, with only
relevant features being indexed to improve subsequent precision of
information retrieval. Also, alternatives for longer terms generated by
the speech recognition engine are indexed along with respective weights,
to improve subsequent recall.
Система и метод для индексировать тональнозвуковой поток для затем поиска информации и для skimming, gisting, и суммировать тональнозвуковой поток вклюают использующ специальное аудиоего prefiltering такие что только индексированы уместные этапы речи которые произведены двигателем опознавания речи. Специфически характеристики индицирования показаны улучшают точность и отозвание системы поиска информации используемой после индексировать для пятнать слова. Вымысел вклюает представлять тональнозвуковой поток в интервалы, с каждым интервалом включая one or more этапы. Для каждого этапа интервала обусловлено exhibits ли этап one or more предопределенные тональнозвуковые характеристики such as определенный ряд тарифов zero crossing, определенный ряд энергии, и определенный ряд спектральной концентрации энергии. Обусловлены, что представляют тональнозвуковые характеристики heuristically соответственно тональнозвуковые случаи включая безмолвие, нот, речь, и речь на нот. Также, обусловлено сопрягает ли группа в составе интервалы heuristically предопределенную картину meta such as непрерывная uninterrupted речь, заключая идеи, hesitations и внимание в речи, и настолько дальше, и тональнозвуковой поток после этого индексирован после того как он основан на классифицировании интервала и отождествления meta, при только уместные характеристики будучи индексированным для того чтобы улучшить затем точность поиска информации. Также, алтернативы для более длинних термин произведенных двигателем опознавания речи индексированы вместе с соответственно весами, для того чтобы улучшить затем отозвание.