Elmanova Jordanova neuronová síť

Elmanova či Jordanova síť je třívrstvá (vstupní, skrytá a výstupní vrstva) rekurentní neuronová síť. Neurony skryté vrstvy obsahují zpětnou vazbu s váhou jedna. V každém časovém kroku je vstup předáván dál a je aplikováno pravidlo učení (např. gradientní sestup). Jednotková zpětná vazba neuronů skryté vrstvy umožňuje započítat předchozí stavy skrytých resp. výstupních neuronů (protože se šíří po spojeních před aplikací pravidla učení). Síť tak může udržovat stav, který jí umožňuje provádět takové úlohy, jako je předpovídání pořadí, které jsou nad síly standardního vícevrstvého perceptronu.

Elmanova síť^[1]

${\displaystyle {\begin{aligned}z_{k}(t+1)&=f_{k}(\sum _{i}w_{ik}x_{i}(t)+z_{k}(t)-\vartheta _{k})\\y_{j}(t+2)&=f_{j}(\sum _{k}w_{kj}z_{k}(t+1)-\vartheta _{j})\end{aligned}}}$

Jordanova síť^[2]

${\displaystyle {\begin{aligned}z_{k}(t+1)&=f_{k}(\sum _{i}w_{ik}x_{i}(t)+y_{j}(t)-\vartheta _{k})\\y_{j}(t+2)&=f_{j}(\sum _{k}w_{kj}z_{k}(t+1)-\vartheta _{j})\end{aligned}}}$

kde:

• ${\displaystyle \mathbf {x} }$: vstupní vektor
• ${\displaystyle \mathbf {z} }$: vektor stavů neuronů skryté vrstvy
• ${\displaystyle \mathbf {y} }$: výstupní vektor
• ${\displaystyle w_{ik}}$ a ${\displaystyle w_{kj}}$: synaptické váhy (${\displaystyle w_{ii}=0}$, ${\displaystyle w_{kk}=1}$ resp. ${\displaystyle w_{jk}=1}$, ${\displaystyle w_{jj}=0}$)
• ${\displaystyle \vartheta _{k}}$ a ${\displaystyle \vartheta _{j}}$: práhy neuronů skryté a výstupní vrstvy
• ${\displaystyle f_{k}}$ a ${\displaystyle f_{j}}$: aktivační funkce neuronů skryté a výstupní vrstvy
• ${\displaystyle i}$, ${\displaystyle k}$, ${\displaystyle j}$: indexy neuronů vstupní, skryté a výstupní vrstvy

Reference

V tomto článku byl použit překlad textu z článku Recurrent neural network na anglické Wikipedii.

Literatura

• KŘIVAN, Miloš. Umělé neuronové sítě. [s.l.]: Nakladatelství Oeconomica, Vysoká škola ekonomická v Praze 77 s. Dostupné online. ISBN 978-80-245-2420-7. 

Zdroj