A speech recognition method for use in a multimodal input system comprises
receiving a multimodal input comprising digitized speech as a first
modality input and data in at least one further modality input. Features
in the speech and in the data in at least one further modality are
identified. The identified features in the speech and in the data are used
in the recognition of words by comparing the identified features with
states in models for the words. The models have states for the recognition
of speech and for words having features in at least one further modality
associated with the words, the models also have states for the recognition
of events in the further modality or each further modality.
Μια μέθοδος λεκτικής αναγνώρισης για τη χρήση σε ένα πολύμορφο σύστημα εισαγωγής περιλαμβάνει τη λήψη μιας πολύμορφης εισαγωγής περιλαμβάνοντας τη μεταλλαγμένη ομιλία ως πρώτη μορφή που εισάγεται και τα στοιχεία μέσα σε λιγότερη μια περαιτέρω εισαγωγή μορφής. Τα χαρακτηριστικά γνωρίσματα στην ομιλία και στα στοιχεία τουλάχιστον σε μια περαιτέρω μορφή προσδιορίζονται. Τα προσδιορισμένα χαρακτηριστικά γνωρίσματα στην ομιλία και στα στοιχεία χρησιμοποιούνται στην αναγνώριση των λέξεων με τη σύγκριση των προσδιορισμένων χαρακτηριστικών γνωρισμάτων με τα κράτη στα πρότυπα για τις λέξεις. Τα πρότυπα έχουν τα κράτη για την αναγνώριση της ομιλίας και για τις λέξεις που έχουν τα χαρακτηριστικά γνωρίσματα τουλάχιστον σε μια περαιτέρω μορφή που συνδέεται με τις λέξεις, τα πρότυπα έχουν επίσης τα κράτη για την αναγνώριση των γεγονότων στην περαιτέρω μορφή ή κάθε περαιτέρω μορφή.
