Attention – это механизм в архитектуре нейронных сетей, целью которого является сообщить сети, на что стоит обратить больше внимания, то есть сообщить вероятность того или иного исхода в зависимости от состояния нейронов и поступающих на вход данных. Обычно механизм attention небольшая нейронная сеть по сравнению с основной, выходом которой является числовой вектор, в котором значения чисел соответствуют важности входных данных.