Dopředná neuronová síť

V dopředné síti se informace vždy pohybují jedním směrem; nikdy se nevrací zpět.

Dopředná neuronová síť (feed forward neural network, FNN) je jedním ze dvou základních typů umělých neuronových sítí, které se dělí podle toku informací mezi jednotlivými vrstvami.[1] Tok je jednosměrný, tedy informace v modelu proudí pouze jedním směrem — dopředu — ze vstupních uzlů, přes skryté uzly (pokud existují) a do výstupních uzlů, bez jakýchkoli cyklů nebo smyček,[1] na rozdíl od rekurentních neuronových sítí,[2] které mají obousměrný tok. Novodobé dopředné sítě jsou trénovány pomocí metody backpropagation[3][4][5][6][7] a jsou hovorově označovány jako "vanilla" neuronové sítě.[8]

Dějiny

Lineární neuronová síť

Základním typem neuronové sítě je lineární síť, která se skládá z jediné vrstvy výstupních uzlů; vstupy jsou přiváděny přímo na výstupy prostřednictvím řady vah. V každém uzlu se vypočítá součet součinů vah a vstupů. Střední kvadratické chyby mezi těmito vypočtenými výstupy a danými cílovými hodnotami se minimalizují vytvořením úpravy vah. Tato technika je známá již více než dvě století jako metoda nejmenších čtverců nebo lineární regrese. Legendre (1805) a Gauss (1795) ji použili jako prostředek k nalezení dobré hrubé lineární shody se souborem bodů pro předpověď pohybu planet.[9][10][11][12][13]

Další feed forward (dopředné) sítě

Příkladem jiných dopředných sítí jsou konvoluční neuronové sítě a sítě s radiální bázovou funkcí, které používají jinou aktivační funkci.

Související články

Reference

V tomto článku byl použit překlad textu z článku Feedforward neural network na anglické Wikipedii.

  1. a b [s.l.]: [s.n.] ISBN 3-89319-554-8. (German) 
  2. Chybí název periodika! PMID 25462637. arXiv 1404.7828. (anglicky) 
  3. Šablona:Cite thesis
  4. Rosenblatt, Frank. x. Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms. Spartan Books, Washington DC, 1961
  5. WERBOS, Paul. System modeling and optimization. [s.l.]: Springer, 1982. Kapitola Applications of advances in nonlinear sensitivity analysis, s. 762–770. (anglicky) 
  6. Rumelhart, David E., Geoffrey E. Hinton, and R. J. Williams. "Learning Internal Representations by Error Propagation". David E. Rumelhart, James L. McClelland, and the PDP research group. (editors), Parallel distributed processing: Explorations in the microstructure of cognition, Volume 1: Foundation. MIT Press, 1986.
  7. Rumelhart, David E., Geoffrey E. Hinton, and R. J. Williams. "Learning Internal Representations by Error Propagation". David E. Rumelhart, James L. McClelland, and the PDP research group. (editors), Parallel distributed processing: Explorations in the microstructure of cognition, Volume 1: Foundation. MIT Press, 1986.
  8. Hastie, Trevor. Tibshirani, Robert. Friedman, Jerome. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Springer, New York, NY, 2009.
  9. Mansfield Merriman, "A List of Writings Relating to the Method of Least Squares"
  10. Chybí název periodika! (anglicky) 
  11. BRETSCHER, Otto. Linear Algebra With Applications. 3rd. vyd. Upper Saddle River, NJ: Prentice Hall, 1995. (anglicky) 
  12. Schmidhuber, Juergen (2022). "Annotated History of Modern AI and Deep Learning". arXiv:2212.11279 [cs.NE].
  13. [s.l.]: [s.n.] Dostupné online. ISBN 0-674-40340-1. 

Externí odkazy

Zdroj