Questão FC94700
Julgue o item a seguir, em relação a grandes modelos de linguagem (LLMs) e a redes neurais. O uso de tokenizadores subword permite que LLMs aprendam palavras fora do vocabulário de
Inteligência Artificial (IA)
O uso de tokenizadores subword permite que LLMs aprendam palavras fora do vocabulário de treinamento, otimizando a compreensão sem estar restrito a um único idioma.
Mostrar resposta e comentário
Gabarito
Certo
Comentário do professor
Comentário: O uso de tokenizadores subword, como o Byte Pair Encoding (BPE) ou o WordPiece, permite que grandes modelos de linguagem (LLMs) decomponham palavras em unidades menores, ou subpalavras. Isso significa que, mesmo que uma palavra não tenha sido vista durante o treinamento, ela pode ser formada a partir de combinações dessas subunidades já conhecidas. Isso aumenta a capacidade do modelo de lidar com novas palavras e expressões, além de facilitar a compreensão em múltiplos idiomas, uma vez que muitos idiomas compartilham raízes ou morfemas semelhantes. Portanto, a afirmação está correta, pois destaca a flexibilidade e a eficiência dos tokenizadores subword na aprendizagem de LLMs.
Conteúdo do catálogo FC Concursos · Atualizado em