Questão FC94933
Com base em obtenção, limpeza e pré-processamento de dados, julgue o próximo item. A toquenização (do inglês tokenization) de palavras é uma atividade inerente aos algoritmos de an
Inteligência Artificial (IA)
CEBRASPE (CESPE) · 2024
A toquenização (do inglês tokenization) de palavras é uma atividade inerente aos algoritmos de análise granular de palavras em documentos.
Mostrar resposta e comentário
Gabarito
Certo
Comentário do professor
Comentário: A toquenização é um processo fundamental no processamento de linguagem natural, pois consiste em dividir um texto em unidades menores chamadas "tokens", que podem ser palavras, frases ou outros elementos significativos. Essa etapa é crucial para a análise granular de palavras, permitindo que algoritmos compreendam e processem melhor a estrutura e o significado do texto. Portanto, a afirmação está correta, uma vez que a toquenização é uma atividade essencial para a análise detalhada de documentos.
Conteúdo do catálogo FC Concursos · Atualizado em