Рекуррентная нейронная сеть

Материал из Материалы по машинному обучению
Перейти к: навигация, поиск

Тезисы

  • Рекуррентная нейронная сеть в отличии от сети прямого назначения имеет обратную связь
  • Активно используются на практике в последние несколько лет
  • Наиболее близки к биологическим нейронным сетям
  • RNN моделирует (аппроксимируют) любые динамические системы, в отличие от MLP (FF) (статика). тренировка MLP - оптимизация функций, тренировка RNN - оптимизация программ
  • RNN все машины Тьюринга могут бить смоделированы полносвязной рекуррентной нейронной сетью с сигмоидальной функцией активации


Функциональное и прикладное назначение RNN

Основная цель - моделировать временные ряды, последовательности в которых важен порядок. Получить ИНС, которая могла бы запоминает "шаблоны во времени"

  • преобразование последовательности одной природы в последовательность другой природы
    • последовательность звуков в последовательность слов. Прогнозирование фонем в речи
  • предсказание следующего числа последовательности (граница между обучением с учителем и без учителя становится все тоньше)
    • временные ряды
    • изображения: прогнозирование следующего пикселя на основе окружения
    • видео: следующий кадр на основе предыдущих
    • текст: генерация следующего слова. Natural language processing

Методы обучения

  • Backpropagation through time


Ссылки