Described herein is a method and system for training nonlinear adaptive filters (or neural networks) which have embedded memory. Such memory can arise in a multi-layer finite impulse response (FIR) architecture, or an infinite impulse response (IIR) architecture. We focus on filter architectures with separate linear dynamic components and static nonlinear components. Such filters can be structured so as to restrict their degrees of computational freedom based on a priori knowledge about the dynamic operation to be emulated. The method is detailed for an FIR architecture which consists of linear FIR filters together with nonlinear generalized single layer subnets. For the IIR case, we extend the methodology to a general nonlinear architecture which uses feedback. For these dynamic architectures, we describe how one can apply optimization techniques which make updates closer to the Newton direction than those of a steepest descent method, such as backpropagation. We detail a novel adaptive modified Gauss-Newton optimization technique, which uses an adaptive learning rate to determine both the magnitude and direction of update steps. For a wide range of adaptive filtering applications, the new training algorithm converges faster and to a smaller value of cost than both steepest-descent methods such as backpropagation-through-time, and standard quasi-Newton methods. We apply the algorithm to modeling the inverse of a nonlinear dynamic tracking system 5, as well as a nonlinear amplifier 6.

Hierin beschreven zijn een methode en een systeem voor opleidings niet-lineaire aanpassingsfilters (of neurale netwerken) die geheugen hebben ingebed. Dergelijk geheugen kan zich in een multi-layer eindige architectuur van de impulsreactie (SPAR), of een architectuur oneindige van de impulsreactie (IIR) voordoen. Wij concentreren ons op filterarchitectuur met afzonderlijke lineaire dynamische componenten en statische niet-lineaire componenten. Dergelijke filters kunnen worden gestructureerd om hun graad van computervrijheid te beperken die op a priori kennis over de dynamische na te streven verrichting worden gebaseerd. De methode is gedetailleerd voor een architectuur van de SPAR die uit de lineaire filters van de SPAR samen met niet-lineaire algemene enige laagsubnets bestaat. Voor het geval IIR, breiden wij de methodologie tot een algemene niet-lineaire architectuur uit die terugkoppeling gebruikt. Voor deze dynamische architectuur, beschrijven wij hoe men optimaliseringstechnieken die updates aan de richting van Newton dan die van een steilste afdalingsmethode dichter maken, zoals backpropagation kan toepassen. Wij detailleren een nieuwe aanpassings gewijzigde gauss-Newton optimaliseringstechniek, die een aanpassings het leren tarief gebruikt om zowel de omvang als richting van updatestappen te bepalen. Voor een brede waaier van aanpassings het filtreren toepassingen, komt het nieuwe opleidingsalgoritme sneller en aan een kleinere waarde van kosten dan zowel steil-afdalingsmethodes zoals backpropagation-door-tijd, als standaard quasi-Newton methodes samen. Wij passen het algoritme op de modellering van het omgekeerde van een niet-lineair dynamisch volgend systeem 5, evenals een niet-lineaire versterker 6 toe.