Questão FC331097
Analise o trecho a seguir: É um padrão de transformação de dados em lote que foi introduzido como uma alternativa para lidar com grandes volumes de dados. Consiste em tarefas de ma
Bancos de Dados Dimensionais
FGV · 2024
Analise o trecho a seguir:
É um padrão de transformação de dados em lote que foi introduzido como uma alternativa para lidar com grandes volumes de dados. Consiste em tarefas de mapa que leem blocos de dados individuais espalhados pelos nós, seguidas por uma etapa de shuffle que redistribui os dados de resultado e uma etapa de redução que agrega os dados em cada nó. Seu paradigma foi construído em torno da ideia de que a capacidade e largura de banda do disco magnético eram tão baratas que fazia sentido simplesmente usar uma enorme quantidade de disco para realizar consultas ultrarrápidas.
A tecnologia em questão é:
- Apache Spark.
- Hadoop MapReduce.
- Business Warehouse.
- ETL (Extract, Transform, Load).
- GIS (Geographic Information System).
Mostrar resposta e comentário
Gabarito
B
Comentário do professor
O trecho descreve o modelo Hadoop MapReduce, um padrão de processamento distribuído voltado a transformação de dados em lote. Os dados residem no HDFS em blocos espalhados pelos nós; as tarefas de map lêem esses blocos localmente e geram pares chave-valor.
Em seguida ocorre o shuffle, etapa de redistribuição e ordenação que envia os pares intermediários para os nós responsáveis por cada chave. Por fim, a etapa reduce agrega/concatena os valores por chave, produzindo o resultado final gravado em disco.
O paradigma é disk‑centric: foi projetado supondo discos magnéticos baratos, o que implica muita leitura/escrita entre fases — eficiente para grandes cargas batch, porém menos indicado para algoritmos iterativos que demandam múltiplas passagens sobre os mesmos dados.
Conteúdo do catálogo FC Concursos · Atualizado em