Questão FC94341
Julgue o item a seguir, em relação a grandes modelos de linguagem (LLMs) e a redes neurais. O uso de tokenizadores subword permite que LLMs aprendam palavras fora do vocabulário de
Inteligência Artificial (IA)
O uso de tokenizadores subword permite que LLMs aprendam palavras fora do vocabulário de treinamento, otimizando a compreensão sem estar restrito a um único idioma.
Mostrar resposta e comentário
Gabarito
Certo
Comentário do professor
Comentário: O uso de tokenizadores subword, como o Byte Pair Encoding (BPE), permite que modelos de linguagem aprendam a decompor palavras em partes menores (subwords). Isso é benéfico, pois possibilita a representação de palavras que não estavam presentes no vocabulário de treinamento, melhorando a capacidade do modelo de lidar com palavras novas ou raras. Além disso, essa abordagem não se limita a um único idioma, uma vez que muitas palavras em diferentes línguas compartilham raízes ou morfemas semelhantes, otimizando assim a compreensão sem estar restrito a vocabulários específicos de cada língua.
Conteúdo do catálogo FC Concursos · Atualizado em