Durante a investigação de possíveis discursos de ódio em grande volume, foi utilizada IA generativa baseada em LLMs. O perito precisa entender como o modelo constrói sua representa

Gabarito

Errado

Comentário do professor

Tokenização: quebra o texto bruto em unidades processáveis (tokens), que podem ser palavras, subpalavras ou bytes. Cada token vira um índice numa sequência que o modelo consome.

Embeddings: transformam esses índices em vetores numéricos de alta dimensão que capturam semânticamente os tokens. Tokens com sentidos próximos ficam geometricamente próximos no espaço vetorial.

Modelo Transformer: processa sequências usando o mecanismo de atenção multi-head, que calcula relações entre todos os tokens simultaneamente. Cada cabeça aprende um tipo diferente de dependência; o cálculo básico é \( \text{Attention}(Q,K,V)=\text{softmax}\!\left(\frac{QK^{T}}{\sqrt{d_k}}\right)V \), permitindo representação contextualizada.

Em conjunto, tokenização → embeddings → atenção multi-head convertem texto em representações internas ricas, essenciais para interpretar e examinar padrões de discurso de ódio em grande volume.