Flashcard FC876077
O que é multi-head attention nos transformers?
Inteligência Artificial (IA)
FGV · 2026
O que é multi-head attention nos transformers?
Mostrar resposta e comentário
Resposta
Multi-head attention é o mecanismo que executa várias atenções em paralelo sobre diferentes subespaços das representações, concatenando seus resultados para produzir uma representação mais rica e informativa.• Projeção QKV: o vetor de entrada é projetado por matrizes lineares em conjuntos de queries, keys e values para cada cabeça.
• Fórmula de atenção: cada cabeça calcula a atenção por \( \text{Attention}(Q,K,V)=\text{softmax}\left(\frac{QK^{T}}{\sqrt{d_k}}\right)V \).
• Concatenação: os resultados das cabeças são concatenados e projetados linearmente na saída.
• Vantagens: captura relações sintáticas e semânticas variadas, modela dependências de longo alcance e explora paralelismo computacional para eficiência.
Veja como foi cobrado:
https://flashcardsconcursos.com.br/portal/flashcard/871660
Conteúdo do catálogo FC Concursos · Atualizado em