Questão FC296010
O Ecossistema Spark tem componentes que oferecem funcionalidades específicas que o tornam uma ferramenta versátil e eficiente para o processamento de grandes volumes de dados, a an
Bancos de Dados Dimensionais
CESGRANRIO · 2024
O Ecossistema Spark tem componentes que oferecem funcionalidades específicas que o tornam uma ferramenta versátil e eficiente para o processamento de grandes volumes de dados, a análise em tempo real, o aprendizado de máquina e muito mais. Essa integração e flexibilidade são algumas das razões pelas quais o Spark se tornou uma ferramenta amplamente utilizada em aplicações de Big Data. Os componentes da Plataforma Spark pertencem a dois grupos principais: os componentes básicos e os componentes especializados, que provêm funcionalidades mais avançadas. Dentre os componentes básicos, podemos destacar o Spark Core, também conhecido como “coração” do Ecossistema, e que é responsável pelas tarefas consideradas essenciais.
O componente Spark Core
- é um módulo que atua como sistema de gerenciamento de banco de dados relacional para processamento de dados estruturados e distribuídos em um contexto Big Data.
- é uma biblioteca para processamento de gráficos e análises de dados distribuídos, sem esquema e não estruturados, características principais em um ambiente Big Data.
- é uma ferramenta responsável pelo tratamento e análise de streams de dados em tempo real, específica de grandes volumes, com velocidade e variedade, características típicas em sistemas de Big Data.
- corresponde ao módulo que contempla funcionalidades de computação distribuída, incluindo agendamento de tarefas e gerenciamento de memória, para aplicações Big Data.
- diz respeito ao principal add-on da plataforma que, por ser um framework orientado a objetos, tem esse hot-spot para melhorar a eficiência do armazenamento de dados distribuídos de aplicações Big Data em clusters.
Mostrar resposta e comentário
Gabarito
D
Comentário do professor
O Spark Core é o núcleo do ecossistema Apache Spark: o módulo que implementa o motor de execução para computação distribuída em clusters.
Ele coordena o fluxo de trabalho entre o driver e os executors, realizando o agendamento de tarefas, paralelizando operações e monitorando execução para tolerância a falhas.
Também gerencia recursos e memória, otimizando o uso de RAM para operações em memória (cache) e reduzindo leituras em disco quando possível.
Além disso, oferece abstrações fundamentais (como RDDs e DataFrames) e APIs em Scala, Java, Python e SQL, servindo de base para componentes especializados como Spark SQL, Streaming e MLlib.
Em resumo: o Spark Core fornece as funcionalidades essenciais — agendamento, gerenciamento de memória e execução distribuída — necessárias para aplicações Big Data.
Conteúdo do catálogo FC Concursos · Atualizado em