Recurrent neural network

Материал из Материалы по машинному обучению
Перейти к: навигация, поиск

Рекуррентные нейронные сети (англ. Recurrent neural network; RNN) — вид нейронных сетей, в которых имеется обратная связь. При этом под обратной связью подразумевается связь от логически более удалённого элемента к менее удалённому. Наличие обратных связей позволяет запоминать и воспроизводить целые последовательности реакций на один стимул. С точки зрения программирования в таких сетях появляется аналог циклического выполнения, а с точки зрения систем — такая сеть эквивалентна конечному автомату. Такие особенности потенциально предоставляют множество возможностей для моделирования биологических нейронных сетей. Однако большинство возможностей на данный момент плохо изучены в связи с возможностью построения разнообразных архитектур и сложностью их анализа.

Recurrent neural network architectures

  1. Fully recurrent network
  2. Recursive neural networks
  3. Hopfield network
  4. Elman networks (Simple recurrent neural network) and Jordan networks
  5. Echo state network
  6. Neural history compressor
  7. Long short-term memory
  8. Gated recurrent unit
  9. Bi-directional RNN
  10. Continuous-time RNN
  11. Hierarchical RNN
  12. Recurrent multilayer perceptron
  13. Second order RNN
  14. Multiple timescales recurrent neural network (MTRNN) model
  15. Pollack's sequential cascaded networks
  16. Neural Turing machines
  17. Neural network pushdown automata
  18. Bidirectional associative memory

Материалы и ссылки

  1. https://en.wikipedia.org/wiki/Recurrent_neural_network
  2. https://ru.wikipedia.org/wiki/Рекуррентная_нейронная_сеть