Encoder

• 6 идентичных слоёв
• Каждый слой содержит:
  • Multi-head self-attention
  • Position-wise feed-forward network
• Residual connections и layer normalization

Decoder

• 6 идентичных слоёв
• Дополнительно к encoder содержит:
  • Masked multi-head attention
  • Multi-head attention над выходом encoder
• Также residual connections и layer normalization

Компоненты

• Q (Query) - что ищем
• K (Key) - что можем предложить
• V (Value) - фактическая информация
• d_k - размерность ключей (масштабирующий коэффициент)

Реализация на Python

import torch
import torch.nn.functional as F

def attention(query, key, value, mask=None):
    d_k = query.size(-1)
    scores = torch.matmul(query, key.transpose(-2, -1)) / math.sqrt(d_k)
    
    if mask is not None:
        scores = scores.masked_fill(mask == 0, -1e9)
    
    p_attn = F.softmax(scores, dim=-1)
    return torch.matmul(p_attn, value), p_attn

Концепция

• Несколько attention heads (обычно 8)
• Каждый head изучает разные аспекты зависимостей
• Линейные проекции для Q, K, V перед attention
• Результаты конкатенируются и проецируются обратно

Реализация

class MultiHeadedAttention(nn.Module):
    def __init__(self, h, d_model):
        super().__init__()
        self.d_k = d_model // h
        self.h = h
        self.linears = clones(nn.Linear(d_model, d_model), 4)
        
    def forward(self, query, key, value, mask=None):
        nbatches = query.size(0)
        
        # 1) Проецируем и меняем размерность для h heads
        query, key, value = [
            lin(x).view(nbatches, -1, self.h, self.d_k).transpose(1, 2)
            for lin, x in zip(self.linears, (query, key, value))
        ]
        
        # 2) Применяем attention ко всем проекциям
        x, self.attn = attention(query, key, value, mask)
        
        # 3) Конкатенируем и проецируем обратно
        x = x.transpose(1, 2).contiguous() \
             .view(nbatches, -1, self.h * self.d_k)
        return self.linears[-1](x)

Зачем нужно?

Поскольку Transformer не содержит рекуррентных и сверточных операций, ему необходимо явное представление порядка элементов в последовательности.

• pos - позиция в последовательности
• i - размерность
• d_model - размерность embedding

Визуализация

Синусоидальные функции разных частот создают уникальные паттерны для каждой позиции

Производительность

Влияние на NLP