Flashcard FC370752
Como o multi-head attention captura diferentes relações entre tokens e como a informação posicional é preservada?
Inteligência Artificial (IA)
FGV · 2025
Como o multi-head attention captura diferentes relações entre tokens e como a informação posicional é preservada?
Mostrar resposta e comentário
Resposta
Correto.Multi-head attention: divide as projeções de Q, K e V em várias cabeças paralelas; cada cabeça realiza atenção em um subespaço de projeção distinto, permitindo captar relações diferentes entre tokens.
Preservação posicional: como a atenção é invariante à ordem, a posição é incorporada adicionando Positional Encoding aos embeddings antes das camadas de atenção, permitindo que a ordem da sequência influencie as relações aprendidas.
Veja como foi cobrado:
https://flashcardsconcursos.com.br/portal/flashcard/360100
Conteúdo do catálogo FC Concursos · Atualizado em