Questão FC369827
Large Language Models (LLMs) são um tipo de modelo IA projetado para lidar com tarefas de processamento de linguagem natural (PLN) em uma escala muito grande. Esses modelos são tre
Bancos de Dados Dimensionais
FGV · 2024
Large Language Models (LLMs) são um tipo de modelo IA projetado para lidar com tarefas de processamento de linguagem natural (PLN) em uma escala muito grande. Esses modelos são treinados com enormes quantidades de dados textuais e são capazes de entender e gerar texto em linguagem natural de forma altamente sofisticada.
Em relação aos Large Language Models (LLMs), como o GPT, a abordagem mais relevante para melhorar a capacidade do modelo de gerar respostas coerentes e contextualmente apropriadas em conversas prolongadas, entre as listadas, é
- aumentar o número de parâmetros do modelo.
- utilizar a técnica de fine-tuning em um grande conjunto de dados não rotulados.
- implementar um mecanismo de atenção (Attention Mechanism).
- aplicar a tokenização BPE (Byte Pair Encoding) ao texto de entrada.
- aumentar a frequência de palavras raras no conjunto de treinamento.
Mostrar resposta e comentário
Gabarito
Certo
Comentário do professor
O mecanismo de atenção permite que o modelo avalie, para cada token a ser gerado, quais partes do contexto são mais relevantes, em vez de tratar todo o histórico de forma uniforme.
Na implementação típica de self-attention calcula-se vetores de queries, keys e values e obtém-se pesos por meio de uma softmax; matematicamente: \( \text{Attention}(Q,K,V)=\text{softmax}\!\left(\frac{QK^{T}}{\sqrt{d_k}}\right)V \). Esse cálculo permite combinar informação útil mesmo quando está distante no diálogo.
Como resultado, o mecanismo captura dependências de longo alcance e foca dinamicamente no contexto relevante, aumentando a coerência e a adequação de respostas em conversas prolongadas. O uso de multi-head attention amplia essa capacidade ao modelar múltiplos aspectos do contexto simultaneamente.
Conteúdo do catálogo FC Concursos · Atualizado em