FC ConcursosFC Concursos

Questão FC265987

O Apache Spark é uma ferramenta de Big Data projetada para realizar o processamento de grandes conjuntos de dados de forma paralela e distribuída. A seguinte figura ilustra a arqui

Bancos de Dados Dimensionais

IDECAN · 2024

O Apache Spark é uma ferramenta de Big Data projetada para realizar o processamento de grandes conjuntos de dados de forma paralela e distribuída. A seguinte figura ilustra a arquitetura do Apache Spark, na qual a aplicação principal que gerencia a criação e que executará o processamento definido pelo programador está representada pela variável “X”. A variável “X” é conhecida como

 

  1. Driver program.
  2. Mavem.
  3. Standalone.
  4. Job Scheduling.
Mostrar resposta e comentário

Gabarito

A

Comentário do professor

O Driver program é a aplicação principal do Apache Spark responsável por coordenar o processamento definido pelo programador.

É no driver que se cria o SparkContext (ou SparkSession), onde são registradas as transformações e ações sobre os dados. O driver converte esse código em um Grafo Acíclico Dirigido (DAG) de tarefas e determina a lógica de execução.

Durante a execução, o driver comunica-se com o Cluster Manager para negociar recursos, distribui tarefas aos executors, monitora progresso, trata falhas e coleta resultados finais.

Em resumo, o Driver program é o ponto central que traduz a aplicação do usuário em tarefas distribuídas e gerencia sua execução no cluster.

Conteúdo do catálogo FC Concursos · Atualizado em

Continue aprendendo