Dopředná neuronová síť

V dopředné síti se informace vždy pohybují jedním směrem; nikdy se nevrací zpět.

Dopředná neuronová síť (feed forward neural network, FNN) je jedním ze dvou základních typů umělých neuronových sítí, které se dělí podle toku informací mezi jednotlivými vrstvami.[1] Tok je jednosměrný, tedy informace v modelu proudí pouze jedním směrem — dopředu — ze vstupních uzlů, přes skryté uzly (pokud existují) a do výstupních uzlů, bez jakýchkoli cyklů nebo smyček,[1] na rozdíl od rekurentních neuronových sítí,[2] které mají obousměrný tok. Novodobé dopředné sítě jsou trénovány pomocí metody backpropagation[3][4][5][6][7] a jsou hovorově označovány jako "vanilla" neuronové sítě.[8]

Dějiny

Lineární neuronová síť

Základním typem neuronové sítě je lineární síť, která se skládá z jediné vrstvy výstupních uzlů; vstupy jsou přiváděny přímo na výstupy prostřednictvím řady vah. V každém uzlu se vypočítá součet součinů vah a vstupů. Střední kvadratické chyby mezi těmito vypočtenými výstupy a danými cílovými hodnotami se minimalizují vytvořením úpravy vah. Tato technika je známá již více než dvě století jako metoda nejmenších čtverců nebo lineární regrese. Legendre (1805) a Gauss (1795) ji použili jako prostředek k nalezení dobré hrubé lineární shody se souborem bodů pro předpověď pohybu planet.[9][10][11][12][13]

Další feed forward (dopředné) sítě

Příkladem jiných dopředných sítí jsou konvoluční neuronové sítě a sítě s radiální bázovou funkcí, které používají jinou aktivační funkci.

Související články

Reference

V tomto článku byl použit překlad textu z článku Feedforward neural network na anglické Wikipedii.

  1. ↑ a b [s.l.]: [s.n.] ISBN 3-89319-554-8. (German) 
  2. ↑ Chybí název periodika! PMID 25462637. arXiv 1404.7828. (anglicky) 
  3. ↑ Šablona:Cite thesis
  4. ↑ Rosenblatt, Frank. x. Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms. Spartan Books, Washington DC, 1961
  5. ↑ WERBOS, Paul. System modeling and optimization. [s.l.]: Springer, 1982. Kapitola Applications of advances in nonlinear sensitivity analysis, s. 762–770. (anglicky) 
  6. ↑ Rumelhart, David E., Geoffrey E. Hinton, and R. J. Williams. "Learning Internal Representations by Error Propagation". David E. Rumelhart, James L. McClelland, and the PDP research group. (editors), Parallel distributed processing: Explorations in the microstructure of cognition, Volume 1: Foundation. MIT Press, 1986.
  7. ↑ Rumelhart, David E., Geoffrey E. Hinton, and R. J. Williams. "Learning Internal Representations by Error Propagation". David E. Rumelhart, James L. McClelland, and the PDP research group. (editors), Parallel distributed processing: Explorations in the microstructure of cognition, Volume 1: Foundation. MIT Press, 1986.
  8. ↑ Hastie, Trevor. Tibshirani, Robert. Friedman, Jerome. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Springer, New York, NY, 2009.
  9. ↑ Mansfield Merriman, "A List of Writings Relating to the Method of Least Squares"
  10. ↑ Chybí název periodika! (anglicky) 
  11. ↑ BRETSCHER, Otto. Linear Algebra With Applications. 3rd. vyd. Upper Saddle River, NJ: Prentice Hall, 1995. (anglicky) 
  12. ↑ Schmidhuber, Juergen (2022). "Annotated History of Modern AI and Deep Learning". arXiv:2212.11279 [cs.NE].
  13. ↑ [s.l.]: [s.n.] Dostupné online. ISBN 0-674-40340-1. 

Externí odkazy

Zdroj