Questão FC331094
MapReduce é um framework de processamento paralelo para clusters inspirado em programação funcional, que teve seu artigo seminal publicado em 2004 no artigo : “MapReduce: Simplifie
Bancos de Dados Dimensionais
FGV · 2024
MapReduce é um framework de processamento paralelo para clusters inspirado em programação funcional, que teve seu artigo seminal publicado em 2004 no artigo : “MapReduce: Simplified Data Processing on Large Clusters”.
Com relação à tecnologia MapReduce, assinale V para a afirmativa verdadeira e F para a falsa.
( ) A ideia principal do MapReduce é dividir e processar tarefas e depois juntar as informações, o que permite dividir um grande problema em vários pedaços e distribuí-los em diversos computadores.
( ) Os principais passos correspondem a: (i) Input split, onde a entrada é dividida em várias partes, onde cada parte será consumida por um Map; (ii) Map, onde é criada uma lista de pares chave-valor; (iii) Shuffling , onde se classifica e agrupa a saída da etapa anterior para servir de entrada para a seguinte; (iv) Reduce, onde se processa a saída da etapa anterior e se agregam as informações; (v) Output, quando as informações são retornadas.
( ) As principais características do MapReduce se referem a esconder os detalhes do processamento em série, tolerância a falhas, otimização de localidade e balanceamento de memória, que resultam em modelo fácil de usar, mesmo para programadores sem experiência com sistemas paralelos e distribuídos.
As afirmativas são, respectivamente,
- F – V – F.
- V – V – V.
- V – F – V.
- V – V – F.
- F – F – V.
Mostrar resposta e comentário
Gabarito
D
Comentário do professor
MapReduce baseia-se na ideia de dividir um grande problema em tarefas menores que são processadas em paralelo e, em seguida, juntar os resultados para obter a saída final. Isso possibilita o processamento escalável em clusters, aproveitando vários nós simultaneamente.
No fluxo típico, a entrada é fragmentada em Input Split, cada fragmento é tratado pela função Map que emite pares chave-valor, segue o Shuffling (ordenar e agrupar por chave) e então o Reduce agrega os valores por chave; por fim há o Output persistente dos resultados.
A afirmativa final é falsa porque o framework não se refere a “esconder detalhes do processamento em série”: na verdade, o sistema oculta a complexidade da paralelização e distribuição (agendamento, particionamento, tolerância a falhas, otimização de localidade e balanceamento de carga), permitindo que programadores escrevam funções map/reduce sem gerenciar explicitamente a execução distribuída.
Conteúdo do catálogo FC Concursos · Atualizado em