Questão FC331100
O processamento MapReduce consiste na aplicação de um algoritmo de computação distribuída para processar grandes conjuntos de dados em um cluster de computadores, dividindo cálculo
Bancos de Dados Dimensionais
FGV · 2024
O processamento MapReduce consiste na aplicação de um algoritmo de computação distribuída para processar grandes conjuntos de dados em um cluster de computadores, dividindo cálculos complexos em tarefas menores e que podem ser executadas em paralelo. O MapReduce é implementado em etapas. Em uma dessas etapas, os dados de entrada divididos em partes são transformados em conjuntos de pares chave-valor (i.e., key-value pairs) adequados para o processamento paralelo e distribuído.
A essa etapa do MapReduce dá-se o nome de
- divisão de entrada (input splitting).
- mapeamento (mapping).
- embaralhamento (shuffling).
- classificação (sorting).
- redução (reducing).
Mostrar resposta e comentário
Gabarito
B
Comentário do professor
O termo mapeamento refere-se à etapa do MapReduce em que os dados de entrada são transformados em pares chave-valor apropriados para processamento distribuído.
Nessa fase, cada bloco de entrada é processado de forma independente pela função map, que recebe uma entrada (chave, valor) e emite um conjunto de pares intermediários. Formalmente: \(map(k_{in},v_{in}) \rightarrow \{(k_{out},v_{out})\}\).
O objetivo do mapeamento é estruturar os dados para as etapas subsequentes (embaralhamento/ordenção e redução), possibilitando o paralelismo e distribuindo a carga entre vários nós. Ex.: em contagem de palavras, cada map emite (palavra, 1) para posterior agregação.
Essa etapa é crucial para escalabilidade e tolerância a falhas, pois permite processar grandes volumes dividindo a tarefa em unidades independentes.
Conteúdo do catálogo FC Concursos · Atualizado em