Questão FC331105
Matei Zaharia et al. propuseram o framework Spark como alternativa para processar workloads que reutilizam dados através de múltiplas operações paralelas. As opções a seguir aprese
Bancos de Dados Dimensionais
FGV · 2023
Matei Zaharia et al. propuseram o framework Spark como alternativa para processar workloads que reutilizam dados através de múltiplas operações paralelas.
As opções a seguir apresentam características do framework Spark, à exceção de uma. Assinale-a.
- Spark oferece suporte a dois tipos restritos de variáveis compartilhadas: broadcast e accumulators.
- Spark prove três principais abstrações para a programação paralela: RDDs, operações paralelas, e operações de comunicação.
- Os RDDs suportam tolerância a falhas por meio do conceito de linhagem (lineage).
- Os usuários podem explicitamente armazenar RDDs em cache na memória entre um conjunto de máquinas e reutilizá-lo em várias operações paralelas.
- RDDs (resilient distributed datasets) ou conjunto de dados distribuído resiliente é uma coleção de objetos de só leitura particionados em um conjunto de máquinas e pode ser reconstruído caso alguma partição for perdida.
Mostrar resposta e comentário
Gabarito
B
Comentário do professor
A afirmativa diz que o Spark oferece três principais abstrações: RDDs, operações paralelas e operações de comunicação. Isso está incorreto.
O Spark tem como principal abstração os RDDs (Resilient Distributed Datasets): coleções particionadas que permitem transformações e ações paralelas e se recuperam por linhagem.
A segunda abstração são as variáveis compartilhadas (shared variables), notadamente broadcast e accumulators, usadas para comunicação controlada entre driver e tasks.
Já transformações e ações são tipos de operações sobre RDDs e o shuffle é um mecanismo de comunicação; nenhum deles constitui uma terceira abstração distinta do modelo do Spark.
Conteúdo do catálogo FC Concursos · Atualizado em