Flashcard FC331422
Por que tokens com inicial maiúscula e pontuação podem permanecer após remover stopwords com NLTK?
Linguagens de Programação
FGV · 2024
Por que tokens com inicial maiúscula e pontuação podem permanecer após remover stopwords com NLTK?
Mostrar resposta e comentário
Resposta
Porque o texto é tokenizado e a verificação de stopwords é case-sensitive.Explicação:
• Tokenização: o word_tokenize separa a pontuação em tokens próprios, então sinais de pontuação permanecem se não forem filtrados.
• Stopwords: a lista está em minúsculas; a comparação distingue maiúsculas/minúsculas, logo tokens com inicial maiúscula não casam.
• Solução: normalizar para minúsculas (ex.: w.lower()) e/ou remover pontuação antes ou após filtrar.
Veja como foi cobrado:
https://flashcardsconcursos.com.br/portal/flashcard/331228
Conteúdo do catálogo FC Concursos · Atualizado em