Questão FC369835
Para a realização de análises preditivas e de agrupamento típicas de mineração de textos, os dados não estruturados textuais devem ser preparados antes de serem analisados. Este pr
Bancos de Dados Dimensionais
FGV · 2024
Para a realização de análises preditivas e de agrupamento típicas de mineração de textos, os dados não estruturados textuais devem ser preparados antes de serem analisados. Este processo consiste em quatro etapas: análise lexical, eliminação de termos irrelevantes, redução da palavra ao seus radical e construção de uma representação vetorial.
A etapa de análise lexical consiste na
- geração de uma lista de termos obtidas do texto original, a partir da eliminação da pontuação e de outros caracteres que são desnecessários no contexto em que o texto será analisado.
- eliminação de artigos, pronomes, numerais, conjunções, advérbios e palavras de outras classes gramaticais do texto que são irrelevantes no processo de mineração de dados.
- uniformização dos termos a partir da remoção dos sufixos e prefixos das palavras.
- atribuição de pesos a cada termo presente no dicionário de termos.
- associação de cada termo do texto a um radical da biblioteca do corpus ao qual o documento está contido.
Mostrar resposta e comentário
Gabarito
A
Comentário do professor
A análise lexical é a etapa inicial em que se produz uma lista de termos (tokens) a partir do texto original. Consiste em tokenização — divisão do texto em palavras ou unidades significativas — e na remoção de elementos que não agregam informação ao processamento, como pontuação, símbolos e caracteres especiais.
Além de retirar esses caracteres, costuma-se aplicar normalização (por exemplo, conversão para minúsculas) para unificar formas idênticas. Ex.: "Bom dia!" → tokens: "bom", "dia". Esse procedimento reduz ruído e prepara os dados para etapas posteriores, como eliminação de termos irrelevantes, redução ao radical e vetorização.
Conteúdo do catálogo FC Concursos · Atualizado em