The present invention provides systems and methods for controlled presentation of constructed responses through a variety of computer applications to human evaluators for assessment. The systems and methods further provide for controlled presentation of the constructed responses to minimize the influences of psychometric factors on the accuracy of the human evaluators' assessments and to maximize the ability to efficiently generate data for use in analyzing the accuracy of the human evaluators' assessments and the difficulty of the constructed response categories or questions. The systems and methods of the present invention utilize a storage means which relationally stores data regarding the human evaluators, the constructed responses, the scores awarded and the computer applications to utilize. The systems also comprise assessment stations and processing means for selectively transmitting constructed responses to the assessment stations and receiving scores awarded by the human evaluators assigned to the assessment stations.

La actual invención proporciona sistemas y los métodos para la presentación controlada de respuestas construidas con una variedad de aplicaciones informáticas a los evaluadores humanos para el gravamen. Los sistemas y los métodos más futuros preven la presentación controlada de las respuestas construidas para reducir al mínimo las influencias de factores psychometric en la exactitud de los gravámenes de los evaluadores humanos y para maximizar la capacidad de generar eficientemente los datos para el uso en analizar la exactitud de la dificultad de los evaluadores humanos de los gravámenes y de las categorías o de las preguntas construidas de la respuesta. Los sistemas y los métodos de la actual invención utilizan medios de un almacenaje que relationally almacena datos con respecto los evaluadores humanos, las respuestas construidas, las cuentas concedidas y a las aplicaciones informáticas para utilizar. Los sistemas también abarcan estaciones del gravamen y los medios del proceso para selectivamente transmitir respuestas construidas a las estaciones del gravamen y recibir las cuentas concedidas por los evaluadores humanos asignados a las estaciones del gravamen.