Questão FC213564
Um empreendimento de alta tecnologia pretende trabalhar com o framework Hadoop para o armazenamento e processamento de dados em larga escala. Pretende-se configurar o Sistema de Ar
Bancos de Dados Dimensionais
CESGRANRIO · 2024
Um empreendimento de alta tecnologia pretende trabalhar com o framework Hadoop para o armazenamento e processamento de dados em larga escala. Pretende-se configurar o Sistema de Arquivos Distribuídos do Hadoop (HDFS), de modo que ele atue como um sistema de arquivos bem distribuídos, atuando na camada de armazenamento do Hadoop.
A configuração adequada para esse sistema HDFS ser mais tolerante a falhas é aquela na qual o sistema se encarrega de
- criar um diretório no cluster master, para servir de apoio aos dados de armazenamento temporário do sistema distribuído, formando um bloco de arquivos de 64MB associado às aplicações dos clientes, com cada bloco manipulado pelo HDFS.
- designar as estruturas de dados como nós, associados às funções de monitoração e execução de dados, pretendendo, com isso, checar falhas de acesso aos nós e permitir o reacesso a um nó perdido.
- estruturar os dados recebidos em blocos de 64 MB, de forma a estabelecer uma coleção de pares com a chave de identificação e o valor, que é o dado propriamente dito, sendo a manipulação realizada por funções construídas com linguagens específicas.
- particionar os arquivos em blocos de 64 MB e replicar os blocos em três cópias no modo cluster e uma cópia no modo local, alocando os mesmos em servidores diferentes.
- providenciar, para cada estrutura de dados, uma conexão ao nó ao qual ela está ligada por meio de um link utilizando o protocolo SSH, de modo a manter uma estrutura básica master-slave entre os nós do sistema distribuído de dados, facilitando a localização dos dados no cluster.
Mostrar resposta e comentário
Gabarito
D
Comentário do professor
Alternativa correta: a configuração descrita na alternativa D — particionar arquivos em blocos de 64 MB e replicar os blocos em três cópias no modo cluster e uma cópia no modo local, alocando-os em servidores diferentes.
Essa alternativa reúne dois princípios fundamentais do HDFS:
1. Blocos de 64 MB
Separar arquivos grandes em blocos fixos (ex.: 64 MB) permite que o sistema trate cada bloco como unidade independente de armazenamento e de processamento. Isso reduz a sobrecarga de metadados e possibilita o processamento paralelo (cada bloco pode ser lido e processado por nós diferentes).
2. Replicação e distribuição em servidores distintos
Manter múltiplas cópias de cada bloco em servidores diferentes garante tolerância a falhas: se um servidor falhar, outras réplicas atendem às leituras e permitem a reconstrução dos blocos perdidos. Colocar réplicas em racks/servidores diversos evita perda por falha correlacionada (ex.: queda de um rack inteiro).
3. Cópia local (localidade de dados)
Ter ao menos uma réplica “local” (próxima ao nó que realiza o processamento) melhora o desempenho, pois permite executar tarefas onde os dados já residem, reduzindo tráfego de rede e latência nas leituras.
4. Papel do Namenode e Datanodes
O Namenode mantém o mapa dos blocos e suas réplicas; os Datanodes armazenam os blocos e realizam a replicação conforme a política definida. Assim, a combinação de blocos + réplicas distribuídas fornece alta disponibilidade, recuperação automática e escalabilidade.
Em suma: particionar em blocos e replicá‑los em múltiplos servidores (incluindo cópia local para localidade) aumenta a tolerância a falhas e melhora desempenho — por isso a alternativa D é a correta.
Conteúdo do catálogo FC Concursos · Atualizado em