Clarificação: "Conversão de Ponto" → Atenção por Produto Escalar
Você se refere ao mecanismo de atenção por produto escalar escalonado no coração da arquitetura Transformer (Vaswani et al., 2017).
Por Que Produto Escalar?
- Medida de similaridade: Produto escalar
Q·Kᵀ quantifica alinhamento entre vetores query e key. Valor alto = alta relevância. - Eficiência computacional: Reduz a multiplicação de matrizes em lote (GEMM), altamente otimizada em GPUs/TPUs.
- Paralelismo: Todas posições processadas simultaneamente — sem recorrência.
- Alinhamento suave: Softmax normaliza scores para distribuição de probabilidade (pesos somam 1), permitindo atenção diferenciável, amigável a gradiente.
Passo a Passo (Simplificado)
- Tokens de entrada → embeddings.
- Projeções lineares criam matrizes Query (Q), Key (K), Value (V).
- Scores =
Q Kᵀ / √d_k (escalonamento estabiliza gradientes). - Pesos de atenção =
softmax(Scores). - Contexto =
Pesos × V → representação de saída.
Alternativas
- Atenção aditiva (Bahdanau):
tanh(W₁Q + W₂K) — mais parâmetros, mais lento. - Atenção multi-head: Cabeças paralelas de produto escalar com projeções diferentes — captura relações diversas.
A combinação de expressividade, velocidade e amigabilidade a hardware da atenção por produto escalar fez dos Transformers a arquitetura dominante para NLP e além.
