A method of evolving a neural network that includes a plurality of processing elements interconnected by a plurality of weighted connections includes the step of obtaining a definition for the neural network by evolving a plurality of weights for the plurality of weighted connections, and evolving a plurality of activation function parameters associated with the plurality of processing elements. Another step of the method includes determining whether the definition for the neural network may be simplified based upon at least one activation function parameter of the plurality of activation function parameters. Yet another step of the method includes updating the definition for the neural network in response to determining that the definition for the neural network may be simplified. The method utilizes particle swarm optimization techniques to evolve the plurality of weights and the plurality of activation parameters. Moreover, the method simplifies activation functions of processing elements in response to corresponding activation parameters meeting certain criteria, and removes processing elements from the definition of the neural network in response to corresponding activation parameters satisfying certain criteria. Various apparatus are also disclosed for implementing network evolution and simplification.

Μια μέθοδος ένα νευρικό δίκτυο που περιλαμβάνει μια πολλαπλότητα των στοιχείων επεξεργασίας που διασυνδέονται από μια πολλαπλότητα των σταθμισμένων συνδέσεων περιλαμβάνει το βήμα της λήψης ενός καθορισμού για το νευρικό δίκτυο με την εξέληξη μιας πολλαπλότητας των βαρών για την πολλαπλότητα των σταθμισμένων συνδέσεων, και την εξέληξη μιας πολλαπλότητας των παραμέτρων λειτουργίας ενεργοποίησης που συνδέονται με την πολλαπλότητα των στοιχείων επεξεργασίας. Ένα άλλο βήμα της μεθόδου περιλαμβάνει τον καθορισμό εάν ο καθορισμός για το νευρικό δίκτυο μπορεί να απλοποιηθεί βασισμένος τουλάχιστον σε μια παράμετρο λειτουργίας ενεργοποίησης της πολλαπλότητας των παραμέτρων λειτουργίας ενεργοποίησης. Ακόμα ένα βήμα της μεθόδου περιλαμβάνει την ενημέρωση του καθορισμού για το νευρικό δίκτυο σε απάντηση στον καθορισμό ότι ο καθορισμός για το νευρικό δίκτυο μπορεί να απλοποιηθεί. Η μέθοδος χρησιμοποιεί τις τεχνικές βελτιστοποίησης σμήνων μορίων για να εξελιχθεί η πολλαπλότητα των βαρών και η πολλαπλότητα των παραμέτρων ενεργοποίησης. Επιπλέον, η μέθοδος απλοποιεί τις λειτουργίες ενεργοποίησης των στοιχείων επεξεργασίας σε απάντηση στις αντίστοιχες παραμέτρους ενεργοποίησης που ικανοποιούν ορισμένα κριτήρια, και αφαιρεί τα στοιχεία επεξεργασίας από τον καθορισμό του νευρικού δικτύου σε απάντηση στις αντίστοιχες παραμέτρους ενεργοποίησης που ικανοποιούν ορισμένα κριτήρια. Οι διάφορες συσκευές αποκαλύπτονται επίσης για την εφαρμογή της εξέλιξης και της απλοποίησης δικτύων.