Questão FC296024
Na etapa de preparação de dados em um ambiente de Big Data, pode ocorrer o aparecimento de dados ruidosos, que são dados fora de sentido no ambiente do Big Data e que não podem ser
Bancos de Dados Dimensionais
CESGRANRIO · 2021
Na etapa de preparação de dados em um ambiente de Big Data, pode ocorrer o aparecimento de dados ruidosos, que são dados fora de sentido no ambiente do Big Data e que não podem ser interpretados pelo sistema. Uma forma de reduzir esse efeito, e até eliminá-lo, é utilizar um método de suavização de dados, que minimiza os efeitos causados pelos dados ruidosos.
Esse método consiste em
- agrupar dados semelhantes em clusters, verificar os dados que se apresentam como ruidosos e não os inserir no ambiente de Big Data, substituindo cada um desses dados ruidosos pelo valor NULL.
- criar um cubo de dados multidimensional para acelerar a identificação e a eliminação dos dados ruidosos encontrados, e, neste caso, os dados assumem valores predefinidos no momento do pré-processamento.
- dividir os valores dos dados originais em pequenos intervalos, denominados compartimentos, e, em seguida, substituí-los por um valor geral, ou genérico, calculado para cada compartimento específico.
- executar uma fusão de dados, tendo como base dados vizinhos, e obter novas variáveis que irão preencher os espaços incoerentes dentro do Big Data, eliminando o ruído.
- realizar uma ação de Data Mining com atributos que se pareçam com dados ruidosos, gerando novos atributos, classificados como atributos “fantasmas”, sem valor para o tratamento do Big Data.
Mostrar resposta e comentário
Gabarito
Certo
Comentário do professor
A alternativa descreve o método conhecido por binning, uma técnica de suavização usada no pré-processamento para reduzir o impacto de dados ruidosos.
Consiste em dividir os valores contínuos em pequenos intervalos chamados compartimentos e substituir os valores originais por um valor representativo de cada compartimento.
Os representantes mais comuns são a média, a mediana ou os limites do intervalo. A partição pode ser feita por largura fixa (equal-width) ou por frequência igual (equal-frequency).
O efeito esperado é reduzir variações locais e atenuar outliers, tornando os dados mais estáveis para modelagem. Como precaução, essa discretização pode perder detalhes; por isso, a escolha do número e do tipo de compartimento deve ser feita com validação.
Conteúdo do catálogo FC Concursos · Atualizado em