Flashcard FC370645
Que mecanismo permite, por token, focar partes relevantes do contexto e captar dependências de longo alcance?
Bancos de Dados Dimensionais
FGV · 2024
Que mecanismo permite, por token, focar partes relevantes do contexto e captar dependências de longo alcance?
Mostrar resposta e comentário
Resposta
Mecanismo de atenção (self-attention).Por que: Permite calcular pesos entre tokens para priorizar contexto relevante por token.
Como: Usa vetores de queries, keys e values e a atenção por produto escalar escalado: \( \text{Attention}(Q,K,V)=\text{softmax}\!\left(\frac{QK^{T}}{\sqrt{d_k}}\right)V \).
Ampliação: Multi-head attention modela múltiplos aspectos do contexto simultaneamente.
Veja como foi cobrado:
https://flashcardsconcursos.com.br/portal/flashcard/359993
Conteúdo do catálogo FC Concursos · Atualizado em