Deep belief network

Материал из Материалы по машинному обучению
Перейти к: навигация, поиск

Глубокая сеть доверия (ГСД, англ. deep belief network, DBN) — это порождающая графическая модель, или, иначе, один из типов глубинных нейронных сетей, состоящая из нескольких скрытых слоев, в которых нейроны внутри одного слоя не связаны друг с другом, но связаны с нейронами соседнего слоя.

При обучении на наборе примеров спонтанным образом ГСД может обучается вероятностно отстраивать свои входы. Слои, в этом случае, выступают в роли детекторов признаков входов.[1] По окончании обучения ГСД может быть обучена способом Обучения с учителем для осуществления классификации.

ГСД можно рассматривать как композицию простых, спонтанных сетей, таких как ограниченные машины Больцмана (ОМБ) или автокодировщики, в которой скрытый слой каждой подсети служит видимым слоем для следующей. Это позволяет осуществить быструю послойную процедуру обучения без учителя, в которой относительное расхождение применяется к каждой подсети по очереди, начиная с первой пары слоев (на видимый слой которой подается тренировочный набор примеров).

Наблюдение, сделанное англ. Yee-Whye Teh, учеником Джефри Хинтона, говорит о том, что ГСД может быть обучена способом жадного послойного обучения, что стало одним из первых действенных алгоритмов глубинного обучения.