Рис. 2. Схема полученной модели
Fig. 2. A scheme of proposed recognition model
длины сети кодера. Нейросеть кодера содержала пять BLSTM-слоев с 1024 ячейками в каждом. Сеть декодера содержала LSTM-слои такой же конфигурации.
Были проведены эксперименты со всеми тремя типами механизмов внимания для распознавания русской речи.
Схема полученной модели показана на рис. 2.
Размер пакетов при обучении модели был равен 4096. В качестве алгоритма оптимизации выбран алгоритм оптимизации Адама [14] c 10,85, 20,997 и 10–6. Инициализация весов сети производилась случайно из равномерного распределения из отрезка [–1; 1] без нормирования.
Применение различных техник улучшения качества моделей
Достарыңызбен бөлісу: | 
