Retropropagazione dell'errore
La retropropagazione dell'errore (in inglese backpropagation) è un algoritmo per l'addestramento delle reti neurali artificiali,[1] usato in combinazione con un metodo di ottimizzazione come per esempio la discesa stocastica del gradiente.
La retropropagazione richiede un'uscita desiderata per ogni valore in ingresso per poter calcolare il gradiente della funzione di perdita (funzione di costo). Viene considerato quindi un metodo di apprendimento supervisionato, sebbene venga usato anche in reti non supervisionate come gli autocodificatori o Reti Diabolo. È una generalizzazione della regola delta di reti feed-forward multistrato, resa possibile usando la regola della catena che iterativamente calcola i gradienti per ogni strato. La retropropagazione richiede che la funzione d'attivazione usata dai neuroni artificiali (o "nodi") sia differenziabile.
Una delle principali difficoltà nell'uso della retropropagazione dell'errore è il cosiddetto problema della scomparsa del gradiente, dovuto all'uso di funzioni di attivazione non lineari che causano una diminuzione esponenziale del valore del gradiente all'aumentare della profondità della rete neurale.
Note modifica
- ^ retropropagazione dell'errore, in Enciclopedia della scienza e della tecnica, Roma, Istituto dell'Enciclopedia Italiana, 2007-2008.
Bibliografia modifica
- Reti multistrato e Back Propagation (JPG), in MCmicrocomputer, n. 104, Roma, Technimedia, febbraio 1991, pp. 180-182, ISSN 1123-2714.
Voci correlate modifica
Collegamenti esterni modifica
- (EN) A Gentle Introduction to Backpropagation - An intuitive tutorial by Shashi Sathyanarayana The article contains pseudocode ("Training Wheels for Training Neural Networks") for implementing the algorithm.
- (EN) Neural Network Back-Propagation for Programmers (a tutorial)
- (EN) Backpropagation for mathematicians
- (EN) Chapter 7 The backpropagation algorithm of Neural Networks - A Systematic Introduction by Raúl Rojas (ISBN 978-3540605058)
- (EN) Quick explanation of the backpropagation algorithm
- (EN) Graphical explanation of the backpropagation algorithm
- (EN) Concise explanation of the backpropagation algorithm using math notation Archiviato il 26 marzo 2016 in Internet Archive. by Anand Venkataraman
- (EN) Visualization of a learning process using backpropagation algorithm
- (EN) Backpropagation neural network tutorial at the Wikiversity
| Controllo di autorità | LCCN (EN) sh94008320 · J9U (EN, HE) 987007561020705171 |
|---|
