Рис. 1. Интегральная модель, основанная на механизме внимания Fig. 1

В работе [12] выделено три типа механизма внимания. Если функция Attend не зависит от _i–1, т. е. _iAttend(s_i–1, h), то это — механизм внимания по содержанию [13] (МВ-С). Attend можно представить как нормализованную сумму метрик каждого элемента h:

exp(e_{i j}, )

 i j, L ,

exp(ei j, ) j1

где Score — некоторая метрика.

Главное ограничение такой схемы в том, что одинаковые или очень похожие элементы h считаются одинаково, несмотря на их позиции в последовательности, что в распознавании речи имеет большое значение. Так, механизм внимания по расположению (МВ-Р) [10] учитывает историю выравнивания при вычислении выравнивания на текущем временном шаге. Механизм внимания по расположению вычисляет выравнивание с помощью состояния генератора и предыдущего выравнивания, т. е. _iAttend(s_i–1, _i–1).

Гибридный механизм внимания (МВ-Г) использует предыдущее выравнивание _i–1, чтобы выбрать короткую часть h, по которой механизм внимания по содержанию выберет наиболее релевантные элементы без проблемы похожих фрагментов речи.

В работе [9] предложена модель с механизмом внимания по содержанию, в которой Score вычисляется следующим образом:

e_{i j,} w^tanh(Ws_i1Vh_j b),

где wℝ^m и bℝⁿ — настраиваемые векторы; Wℝ^mnи Vℝ^n2n — матрицы весов, а n и m — число скрытых узлов в сети кодера и в сети декодера соответственно.

В работе [12] предложено обобщение этой модели до гибридной. Сначала выделяются k векторов f_ijℝ^k (сверточные признаки) для каждой позиции j предыдущего выравнивания _i–1 с помощью свертки с матрицей Fℝ^kr:

fi  F i1.

Затем выполняется операция Score e_ij w^tanh(Ws_i1Vh_j Uf_ij b), где Uℝ^mr — матрица весов.