Questão FC331108
Assinale a opção que melhor descreve a diferença entre os frameworks Apache Spark e Apache Hadoop, no contexto do processamento de Big Data.
Bancos de Dados Dimensionais
FGV · 2023
Assinale a opção que melhor descreve a diferença entre os frameworks Apache Spark e Apache Hadoop, no contexto do processamento de Big Data.
- O processamento de dados no Spark é mais rápido do que no Hadoop, pois ele é baseado em memória e utiliza RDDs, enquanto o Hadoop é baseado em disco e utiliza MapReduce.
- O processamento de dados no Hadoop é mais rápido do que no Spark, pois o Hadoop é mais escalável e utiliza clusters maiores, enquanto o Spark é limitado pelo tamanho do cluster.
- O Spark é mais adequado para cargas de trabalho mais pesadas, enquanto o Hadoop é melhor para cargas de trabalho mais leves e interativas.
- O Spark e o Hadoop utilizam as mesmas técnicas de processamento de dados, mas o Spark é mais adequado para casos de uso em que a latência é um fator crítico, enquanto o Hadoop é mais adequado para casos de uso em que a capacidade de processamento em lote é mais importante.
- O Hadoop é uma tecnologia mais recente que oferece melhorias, em relação ao Spark, em termos de desempenho e velocidade de processamento.
Mostrar resposta e comentário
Gabarito
A
Comentário do professor
A opção está correta porque o Spark foi projetado para executar operações com dados diretamente na memória, usando os RDDs (Resilient Distributed Datasets). Isso reduz drasticamente leituras e escritas em disco entre etapas, acelerando especialmente trabalhos iterativos e de baixa latência, como streaming e algoritmos de machine learning.
Já o Hadoop tradicionalmente emprega o modelo MapReduce, que realiza múltiplas leituras/escritas em disco (normalmente no HDFS) entre mapas e reduces. Esse fluxo em disco aumenta o tempo de I/O e torna o processamento mais lento em comparação ao Spark, embora seja robusto para grandes lotes.
Em suma: o ganho de velocidade do Spark decorre do processamento em memória com RDDs e da menor dependência de I/O em disco; porém, essa vantagem tem trade‑offs de custo e gestão de memória.
Conteúdo do catálogo FC Concursos · Atualizado em