Модель кодер-декодер с механизмом внимания

Кодер-декодер-модели подходят для задач, где длины входной и выходной последовательностей являются переменными [9]. Кодер — это нейронная сеть, которая трансформирует входные данные в некоторое промежуточное представление и выделяет признаки. Декодер — это, как правило, рекуррентная искусственная нейронная сеть (РИНC) [10], которая получает на вход это промежуточное представление для генерации выходных последовательностей.

В работе [9] в качестве декодера было предложено использовать рекуррентный генератор последовательностей (РГП), основанный на механизме внимания. В качестве реализации механизма внимания применялся многослойный перцептрон (MLP) [11]. РГП — это РИНС, которая генерирует случайную выходную последовательность y(y₁, …, y_L) по входу h длины L. РГП состоит из РИНС и подсети, называемой механизмом внимания (attention-mechanism). Механизм внимания выбирает некоторую часть входной последовательности, которая затем применяется для обновления скрытых состояний РИНС и для предсказания следующего выходного значения. На i-м шаге РГП генерирует выход y_i, фокусируясь на определенных элементах h:

 _i Attend(s_i1, _i1, ); h

где s_i–1 — (i–1)-е состояние РИНС, которое называется генератором (Generator), _i–1 — вектор весов внимания (attention weights), который также часто называется выравниванием [9]. В работе [12] g_i было названо проблеском (glimpse). Шаг завершается вычислением нового состояния генератора s_i  Recurrency(s_i1, g y_i, _i).

Recurrency обычно представляет из себя LSTMмодули.

Выход

MLP Проблеск

D_tl

Dt–1

Кодер

• 
  
  
  
  жүктеу/скачать 220.96 Kb.
  
  Достарыңызбен бөлісу: