Flashcard FC213971
Qual a finalidade de particionar arquivos em blocos e replicá‑los em servidores distintos no HDFS?
Bancos de Dados Dimensionais
CESGRANRIO · 2024
Qual a finalidade de particionar arquivos em blocos e replicá‑los em servidores distintos no HDFS?
Mostrar resposta e comentário
Resposta
Garantir tolerância a falhas e melhorar desempenho por paralelismo e localidade de dados.Explicação:
O particionamento em blocos transforma arquivos grandes em unidades independentes, permitindo processamento paralelo e reduzir a sobrecarga de metadados.
A replicação de cada bloco em servidores e racks distintos assegura alta disponibilidade e recuperação automática em caso de falha de nó ou falha correlacionada de rack.
Manter pelo menos uma réplica “local” ou próxima ao nó que executa a tarefa melhora a localidade de dados, reduzindo tráfego de rede e latência.
O Namenode registra onde cada bloco e suas réplicas estão; os Datanodes armazenam e replicam os blocos conforme a política do cluster.
exemplo:
Imagine um cluster que processa dados de sensores de uma fábrica: um arquivo de 12 GB é dividido em blocos de tamanho fixo; cada bloco tem réplicas distribuídas em três servidores de racks diferentes.
Se o nó A falhar, o trabalho lê a réplica no nó B ou C sem perda de serviço (tolerância a falhas).
Se a tarefa de análise for executada no nó B e já houver uma réplica local em B, a leitura é feita localmente, acelerando o processamento e evitando tráfego de rede.
Veja como foi cobrado:
https://flashcardsconcursos.com.br/portal/flashcard/213565
Conteúdo do catálogo FC Concursos · Atualizado em