A B C D E G K M N O P R S T К Л С

Attention

Attention – это механизм в архитектуре нейронных сетей, целью которого является сообщить сети, на что стоит обратить больше внимания, то есть сообщить вероятность того или иного исхода в зависимости от состояния нейронов и поступающих на вход данных. Обычно механизм attention небольшая нейронная сеть по сравнению с основной, выходом которой является числовой вектор, в котором значения чисел соответствуют важности входных данных.

[gist id=»b2af18d874e5fa16e9fb1cf535036922″]

Поиск по сайту