Файл:2016-10-31 Neural Machine Translation in Linear Time (ByteNet).pdf

Материал из Материалы по машинному обучению
Перейти к: навигация, поиск
2016-10-31_Neural_Machine_Translation_in_Linear_Time_(ByteNet).pdf(0 × 0 пикселей, размер файла: 2,04 МБ, MIME-тип: application/pdf)

Nal Kalchbrenner, Lasse Espeholt, Karen Simonyan A¨aron van den Oord, Alex Graves, Koray Kavukcuoglu {nalk,lespeholt,simonyan,avdnoord,gravesa,korayk}@google.com Google DeepMind, London, UK

Abstract

We present a neural architecture for sequence processing. The ByteNet is a stack of two dilated convolutional neural networks, one to encode the source sequence and one to decode the target sequence, where the target network unfolds dynamically to generate variable length outputs. The ByteNet has two core properties: it runs in time that is linear in the length of the sequences and it preserves the sequences’ temporal resolution. The ByteNet decoder attains state-of-the-art performance on character-level language modelling and outperforms the previous best results obtained with recurrent neural networks. The ByteNet also achieves a performance on raw character-level machine translation that approaches that of the best neural translation models that run in quadratic time. The implicit structure learnt by the ByteNet mirrors the expected alignments between the sequences.

История файла

Нажмите на дату/время, чтобы просмотреть, как тогда выглядел файл.

Дата/времяРазмерыУчастникПримечание
текущий16:38, 22 декабря 20160 × 0 (2,04 МБ)Slikos (обсуждение | вклад)
  • Вы не можете перезаписать этот файл.

Следующая 1 страница ссылается на данный файл: