Rekurentní neuronová síť
Rekurentní neuronová síť (Recurrent Neural Network, RNN) je jedním ze dvou charakteristických typů umělých neuronových sítí, které se vyznačují směrem toku informací mezi jednotlivými vrstvami sítě. Tok informací v rekurentní síti je obousměrný, tj. výstup z některých neuronů ovlivňuje následný vstup do stejných resp. jiných neuronů, tj. tvoří se smyčky resp. zpětné vazby, na rozdíl od druhého typu sítí, tzv. dopředných neuronových sítí (Feed-forward Neural Network, FFNN), kde informace v síti proudí pouze jedním směrem od vstupní vrstvy neuronů, přes skryté vrstvy neuronů (pokud existují), až k výstupní vrstvě neuronů.
Rekurentní neuronové sítě mohou být dvou typů, prosté a zpětnovazební. U prosté rekurentní sítě je každý následující stav sítě jednoznačně předurčen stavem předcházejícím, např. gradientním spádem energetické funkce sítě (HAM, BAM) či konvergenčním procesem mezi dvěma nadrovinami vzorů (LAM). U zpětnovazební rekurentní sítě (Feed-back Neural Network, FBNN) je každý následující stav sítě závislý na zpětné vazbě, tj. síť může nabýt různých následujících stavů v závislosti na zpětné vazbě, např. dané shodou sítí vnímaného vzoru se vzorem uloženým v paměti sítě (ART).
Rekurentní (prosté) sítě
- Lineární extrapolační paměť (LAM)[1]
- Hopfieldova neuronová síť (HAM)[2]
- Bidirektní asociativní paměť (BAM)[3]
- Elmanova Jordanova neuronová síť[4][5]
Rekurentní (zpětnovazební) sítě
- Dlouhá krátkodobá paměť (LSTM)[6]
- Adaptivní rezonanční teorie (ART)[7]
Reference
- ↑ MARKS, R.J. Class of continuous level associative memory neural nets (odst. III). [s.l.]: Applied Optics Vol. 26, Issue 10, str. 2005-2010, 1987. Dostupné online. (anglicky)
- ↑ HOPFIELD, J.J. Neural networks and physical systems with emergent collective computational abilities. [s.l.]: National Academy of Sciences 79 (8), 1982. 8 s. (anglicky)
- ↑ KOSKO, B. Bidirectional Associative Memories 18 (1). [s.l.]: IEEE Transactions on Systems, Man, and Cybernetics, 1988. 12 s. Dostupné online. (anglicky)
- ↑ ELMAN, Jeffrey L. Finding Structure in Time. Cognitive Science. 1990, s. 179–211. doi:10.1016/0364-0213(90)90002-E.
- ↑ JORDAN, Michael I. Neural-Network Models of Cognition - Biobehavioral Foundations. [s.l.]: [s.n.], 1997-01-01. (Neural-Network Models of Cognition; sv. 121). ISBN 978-0-444-81931-4. doi:10.1016/s0166-4115(97)80111-2. S2CID 15375627. Kapitola Serial Order: A Parallel Distributed Processing Approach, s. 471–495.
- ↑ TEAM, Editorial. Introduction to Long Short Term Memory (LSTM). Artificial Intelligence + [online]. 2022-06-27 [cit. 2023-08-15]. Dostupné online. (anglicky)
- ↑ Carpenter, G.A. & Grossberg, S. (2003), Adaptive Resonance Theory Archivováno 19. 5. 2006 na Wayback Machine., In Michael A. Arbib (Ed.), The Handbook of Brain Theory and Neural Networks, Second Edition (pp. 87-90). Cambridge, MA: MIT Press
Literatura
- KŘIVAN, Miloš. Umělé neuronové sítě. [s.l.]: Nakladatelství Oeconomica, Vysoká škola ekonomická v Praze 77 s. Dostupné online. ISBN 978-80-245-2420-7.
