Classical adaptive control proves total-system stability for control of
linear plants, but only for plants meeting very restrictive assumptions.
Approximate Dynamic Programming (ADP) has the potential, in principle, to
ensure stability without such tight restrictions. It also offers nonlinear
and neural extensions for optimal control, with empirically supported
links to what is seen in the brain. However, the relevant ADP methods in
use today--TD, HDP, DHP, GDHP--and the Galerkin-based versions of these
all have serious limitations when used here as parallel distributed
real-time learning systems. Either they do not possess quadratic
unconditional stability or they lead to incorrect results in the
stochastic case. (ADAC or Q-learning designs do not help.) The present
invention describes new ADP designs which overcome these limitations. It
also addresses the Generalized Moving Target problem, a common family of
static optimization problems, and describes a way to stabilize large-scale
economic equilibrium models, such as the old long-term energy model of
DOE.
O controle adaptável classical prova a estabilidade do total-sistema para o controle de plantas lineares, mas somente para as plantas que encontram-se com suposições muito restritivas. A programação dinâmica aproximada (ADP) tem o potencial, no princípio, assegurar a estabilidade sem tais limitações apertadas. Oferece também extensões não-lineares e neural para o controle optimal, com ligações empìrica suportadas a o que é visto no cérebro. Entretanto, todos os métodos relevantes do ADP no uso hoje -- TD, HDP, DHP, GDHP -- e as versões Galerkin-baseadas destes têm limitações sérias quando usados aqui como sistemas de aprendizagem real-time distribuídos paralela. Ou não possuem a estabilidade incondicional quadrática ou conduzem aos resultados incorretos no caso estocástico. (ADAC ou os projetos deaprendizagem não ajudam.) A invenção atual descreve os projetos novos do ADP que superam estas limitações. Dirige-se também ao problema movente generalizado do alvo, uma família comum de problemas de estática do optimization, e descreve-se uma maneira estabilizar modelos em grande escala do equilíbrio econômico, tais como o modelo a longo prazo velho da energia da CORÇA.
