FC ConcursosFC Concursos

Questão FC369934

O artigo Attention is All You Need (Vaswani et al., 2017) marcou uma ruptura no processamento de linguagem natural ao apresentar a arquitetura Transformer. Sua abordagem abriu cami

Inteligência Artificial (IA)

FGV · 2025

O artigo Attention is All You Need (Vaswani et al., 2017) marcou uma ruptura no processamento de linguagem natural ao apresentar a arquitetura Transformer. Sua abordagem abriu caminho para a criação de modelos de grande escala, como BERT, GPT e diversos outros que dominam o estado da arte em processamento de linguagem natural e em outras áreas, como visão computacional e bioinformática.

 

Sobre a arquitetura Transformer, é correto afirmar que:

  1. o Transformer substitui mecanismos recorrentes por atenção, mas não utiliza codificação posicional, pois o alinhamento sequencial é aprendido implicitamente pelas cabeças de atenção;
  2. a introdução do multi-head attention permite ao modelo aprender relações diferentes entre tokens em subespaços de projeção distintos, preservando a informação posicional por meio de codificadores específicos;
  3. o Transformer original evita camadas feed-foward densas para reduzir a complexidade, compensando essa ausência com mais cabeças de atenção por bloco;
  4. o mecanismo de scaled dot-product attention multiplica os escores de similaridade pela raiz quadrada da dimensão das keys para intensificar as diferenças entre tokens distantes;
  5. a arquitetura de encoder-decoder é composta por blocos distintos no encoder e no decoder, sem reutilização estrutural, a fim de especializar cada parte para tarefas diferentes.
Mostrar resposta e comentário

Gabarito

B

Comentário do professor

A alternativa está correta porque o Multi-Head Attention divide as projeções de consultas (Q), chaves (K) e valores (V) em várias subrepresentações paralelas. Cada cabeça realiza atenção em um subespaço de projeção distinto, permitindo ao modelo captar diferentes tipos de relação (por exemplo, dependências sintáticas, relações semânticas ou ligações de longo alcance) de forma simultânea.

A saída de cada cabeça é concatenada e submetida a uma projeção linear, fornecendo uma representação rica que combina vários pontos de vista. Como o mecanismo de atenção é invariante à ordem, a informação sobre posição é preservada por meio de Positional Encoding (sinusoidal ou aprendida) adicionada aos embeddings antes das camadas de atenção, garantindo que a ordem da sequência seja incorporada nas relações aprendidas.

Conteúdo do catálogo FC Concursos · Atualizado em

Continue aprendendo