Flashcard FC183333
Como tokenizadores subword ajudam LLMs a lidar com palavras não vistas e múltiplos idiomas?
Inteligência Artificial (IA)
CEBRASPE (CESPE) · 2025
Como tokenizadores subword ajudam LLMs a lidar com palavras não vistas e múltiplos idiomas?
Mostrar resposta e comentário
Resposta
Tokenizadores subword decompõem palavras em unidades menores e permitem formar palavras não vistas a partir de combinações dessas subunidades, facilitando também o processamento de múltiplos idiomas.
• Decomposição: palavras são divididas em subpalavras ou unidades menores para representação do texto.
• Formação: palavras não vistas podem ser formadas por combinações dessas subunidades já conhecidas.
• Multilinguismo: compartilhamento de raízes ou morfemas entre idiomas facilita a compreensão multilíngue pelo modelo.
Veja como foi cobrado:
https://flashcardsconcursos.com.br/portal/flashcard/94700
Conteúdo do catálogo FC Concursos · Atualizado em