A real-time speech-based learning/training system distributed between
client and server, and incorporating speech recognition and linguistic
processing for recognizing a spoken question and to provide an answer to
the student in a learning or training environment implemented on an
intranet or over the Internet, is disclosed. The system accepts the
student's question in the form of speech at his or her computer, PDA or
workstation where minimal processing extracts a sufficient number of
acoustic speech vectors representing the utterance. The system as
implemented accepts environmental variables such as course, chapter,
section as selected by the user so that the search time, accuracy and
response time for the question can be optimized. A minimum set of acoustic
vectors extracted at the client are then sent via a communications channel
to the server where additional acoustic vectors are derived. Using Hidden
Markov Models (HMMs), and appropriate grammars and dictionaries
conditioned by the course, chapter and section selections made by the
student, the speech representing the user's query is fully decoding to
text at the server. This text corresponding to the user's query is then
simultaneously sent to a natural language engine and a database processor
where an optimized SQL statement is constructed for a full-text search
from a SQL database for a recordset of several stored questions that best
matches the user's query. Further processing in the natural language
engine narrows the search down to a single stored question. The answer
that is paired to this single stored question is then retrieved from the
file path and sent to the student computer in compressed form. At the
student's computer, the answer is articulated using a text-to-speech
engine in his or her native natural language. The system requires no
training and can operate in several natural languages.
Real-time реч-osnoval систему learning/training распределенную между клиентом и сервером, и показан включая обрабатывать опознавания речи и лингвистических для узнавать поговоренный вопрос и снабдить ответ студент в учя или тренируя окружающей среде снабдил на intranet или над интернетом. Система признавает вопрос о студента in the form of речь на his or her компьютере, PDA или workstation где минимальный обрабатывать извлекает достаточно количество акустических векторов речи представляя произнесение. Система как после того как я снабжена признавает относящие к окружающей среде перемеююые such as курс, глава, раздел как выбрано потребителем так, что время поиска, точность и временя на ответ для вопроса можно оптимизировать. Минимальный комплект акустических векторов извлеченных на клиенте после этого послан через канал связи к серверу где дополнительные акустические векторы выведены. Использование спрятанного Markov моделирует (HMMs), и соотвествующие грамматики и словари подготовленные выборами курса, главы и раздела сделанными студентом, речь представляя query потребителя полно расшифровывают к тексту на сервере. Этот текст соответствуя к query потребителя после этого одновременно послан к двигателю естественного языка и обработчику базы данных где оптимизированное заявление sql построено для полнотекстового поиска от базы данных sql для recordset нескольких, котор хранят вопросы query того самые лучшие спички потребителя. Дальнейшая обработка в двигателе естественного языка суживает вплоть поиска до одиночный, котор хранят вопрос. Ответ спарен к этому одиночному, котор хранят вопросу после этого retrieved от курса архива и послан к компьютеру студента в compressed форме. На компьютере студента, артикулирован ответ использующ text-to-speech двигатель в his or her родном естественном языке. Система не требует никакой тренировки и может работать в нескольких естественных языков.
