Attention – это механизм в архитектуре нейронных сетей, целью которого является сообщить сети, на что стоит обратить больше внимания, то есть сообщить вероятность того или иного исхода в зависимости от состояния нейронов и поступающих на вход данных. Обычно механизм attention небольшая нейронная сеть по сравнению с основной, выходом которой является числовой вектор, в котором значения чисел соответствуют важности входных данных.
[gist id=»b2af18d874e5fa16e9fb1cf535036922″]