FC ConcursosFC Concursos

Questão FC331109

No contexto do Hadoop MapReduce Framework, assinale o ciclo típico de tipos de entradas e saídas (input and output) em uma tarefa.

Bancos de Dados Dimensionais

FGV · 2023

No contexto do Hadoop MapReduce Framework, assinale o ciclo típico de tipos de entradas e saídas (input and output) em uma tarefa.

  1. (input) <k1, v1> -> filter -> <k2, v2> ->

    sort -> <k3, v3> -> mapreduce -> <k3, v3> (output)

  2. (input) <k1, v1> -> map -> <k1, v1> -> reduce ->

    <k2, v2> (output)

  3. (input) <k1, v1> -> map -> <k2, v2> -> combine ->

    <k2, v2> -> reduce -> <k3, v3> (output)

  4. (input) <k1, v1> -> map -> <k2, v2> -> filter -> <k3, v3> ->

    reduce -> <k4, v4> (output)

  5. (input) <k1, v1> -> sort -> <k2, v2> ->

    map -> <k3, v3> -> reduce -> <k4, v4> (output)

Mostrar resposta e comentário

Gabarito

Certo

Comentário do professor

A sequência apresentada em <k1,v1> → map → <k2,v2> → combine → <k2,v2> → reduce → <k3,v3> descreve o fluxo típico de um job MapReduce. Os dados de entrada são vistos como pares <chave, valor> (<k1,v1>) e a função map transforma esses pares em pares intermediários <k2,v2>.

Antes do envio aos reducers ocorre o shuffle (ordenação e transferência por chave). Opcionalmente, cada nó pode executar um combine, uma pré- redução local que recebe e devolve pares do mesmo tipo <k2,v2>, reduzindo tráfego de rede.

A função reduce recebe os pares agrupados por chave (<k2,v2>), agrega/processa e emite os pares finais <k3,v3>, que constituem a saída do job. Assim, os três conjuntos de tipos representam: entrada, intermediário e saída.

Conteúdo do catálogo FC Concursos · Atualizado em

Continue aprendendo