Flashcard FC876078
Como um LLM constrói representações internas de um texto?
Inteligência Artificial (IA)
FGV · 2026
Como um LLM constrói representações internas de um texto?
Mostrar resposta e comentário
Resposta
O modelo tokeniza o texto, converte os tokens em embeddings vetoriais e processa a sequência com um Transformer que usa atenção multi-head para obter representações contextuais.• Tokenização: quebra o texto bruto em unidades processáveis (tokens) que podem ser palavras, subpalavras ou bytes, e cada token vira um índice numa sequência que o modelo consome.
• Embeddings: transformam esses índices em vetores numéricos de alta dimensão que capturam semanticamente os tokens, aproximando geometricamente sentidos próximos no espaço vetorial.
• Transformer: processa sequências com atenção multi-head, onde cada cabeça aprende dependências diferentes e a atenção é calculada por \( \text{Attention}(Q,K,V)=\text{softmax}\!\left(\frac{QK^{T}}{\sqrt{d_k}}\right)V \).
Veja como foi cobrado:
https://flashcardsconcursos.com.br/portal/flashcard/871661
Conteúdo do catálogo FC Concursos · Atualizado em