Dopředná neuronová síť

Dopředná neuronová síť (feed forward neural network, FNN) je jedním ze dvou základních typů umělých neuronových sítí, které se dělí podle toku informací mezi jednotlivými vrstvami.[1] Tok je jednosměrný, tedy informace v modelu proudí pouze jedním směrem — dopředu — ze vstupních uzlů, přes skryté uzly (pokud existují) a do výstupních uzlů, bez jakýchkoli cyklů nebo smyček,[1] na rozdíl od rekurentních neuronových sítí,[2] které mají obousměrný tok. Novodobé dopředné sítě jsou trénovány pomocí metody backpropagation[3][4][5][6][7] a jsou hovorově označovány jako "vanilla" neuronové sítě.[8]
Dějiny
Lineární neuronová síť
Základním typem neuronové sítě je lineární síť, která se skládá z jediné vrstvy výstupních uzlů; vstupy jsou přiváděny přímo na výstupy prostřednictvím řady vah. V každém uzlu se vypočítá součet součinů vah a vstupů. Střední kvadratické chyby mezi těmito vypočtenými výstupy a danými cílovými hodnotami se minimalizují vytvořením úpravy vah. Tato technika je známá již více než dvě století jako metoda nejmenších čtverců nebo lineární regrese. Legendre (1805) a Gauss (1795) ji použili jako prostředek k nalezení dobré hrubé lineární shody se souborem bodů pro předpověď pohybu planet.[9][10][11][12][13]
Další feed forward (dopředné) sítě
Příkladem jiných dopředných sítí jsou konvoluční neuronové sítě a sítě s radiální bázovou funkcí, které používají jinou aktivační funkci.
Související články
- Hopfieldova síť
- Feed forward
- Zpětná propagace
- Rprop
Reference
V tomto článku byl použit překlad textu z článku Feedforward neural network na anglické Wikipedii.
- ↑ a b [s.l.]: [s.n.] ISBN 3-89319-554-8. (German)
- ↑ Chybí název periodika! PMID 25462637. arXiv 1404.7828. (anglicky)
- ↑ Šablona:Cite thesis
- ↑ Rosenblatt, Frank. x. Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms. Spartan Books, Washington DC, 1961
- ↑ WERBOS, Paul. System modeling and optimization. [s.l.]: Springer, 1982. Kapitola Applications of advances in nonlinear sensitivity analysis, s. 762–770. (anglicky)
- ↑ Rumelhart, David E., Geoffrey E. Hinton, and R. J. Williams. "Learning Internal Representations by Error Propagation". David E. Rumelhart, James L. McClelland, and the PDP research group. (editors), Parallel distributed processing: Explorations in the microstructure of cognition, Volume 1: Foundation. MIT Press, 1986.
- ↑ Rumelhart, David E., Geoffrey E. Hinton, and R. J. Williams. "Learning Internal Representations by Error Propagation". David E. Rumelhart, James L. McClelland, and the PDP research group. (editors), Parallel distributed processing: Explorations in the microstructure of cognition, Volume 1: Foundation. MIT Press, 1986.
- ↑ Hastie, Trevor. Tibshirani, Robert. Friedman, Jerome. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Springer, New York, NY, 2009.
- ↑ Mansfield Merriman, "A List of Writings Relating to the Method of Least Squares"
- ↑ Chybí název periodika! (anglicky)
- ↑ BRETSCHER, Otto. Linear Algebra With Applications. 3rd. vyd. Upper Saddle River, NJ: Prentice Hall, 1995. (anglicky)
- ↑ Schmidhuber, Juergen (2022). "Annotated History of Modern AI and Deep Learning". arXiv:2212.11279 [cs.NE].
- ↑ [s.l.]: [s.n.] Dostupné online. ISBN 0-674-40340-1.
Externí odkazy
- Výukový program pro dopředné neuronové sítě
- Dopředná neuronová síť: Příklad
- Dopředné neuronové sítě: Úvod