Questão FC546342
Em um cenário de processamento de grandes volumes de dados, como o de uma Secretaria da Fazenda, onde há a necessidade de lidar tanto com dados históricos armazenados em lote quant
Bancos de Dados Dimensionais
FCC · 2025
Em um cenário de processamento de grandes volumes de dados, como o de uma Secretaria da Fazenda, onde há a necessidade de lidar tanto com dados históricos armazenados em lote quanto com dados em tempo real para tomadas de decisão instantâneas, a escolha adequada de tecnologias e abordagens é essencial. Considerando as soluções de Big Data disponíveis, a correta combinação tecnológica e sua respectiva aplicação é
- Hadoop YARN como um motor de processamento especializado em tarefas interativas e de baixa latência para dashboards em tempo real.
- Hadoop MapReduce para análise de dados em tempo real, devido à sua arquitetura baseada em fluxo contínuo e baixa latência.
- Apache Spark como substituto direto do HDFS para armazenamento distribuído de grandes volumes de dados, oferecendo alta durabilidade e replicação automática.
- Apache Storm para processamento em lote de grandes volumes de dados com foco em persistência e consistência transacional.
- Apache Spark Structured Streaming para análise em tempo real de dados com suporte a tolerância a falhas e integração com diversas fontes de dados, como Kafka.
Mostrar resposta e comentário
Gabarito
Errado
Comentário do professor
Apache Spark Structured Streaming é uma API para processamento em tempo real baseada no modelo de dados do Spark SQL, que permite tratar fluxos como tabelas incrementais. Isso facilita aplicar consultas, agregações e joins com a mesma lógica usada em batch.
Oferece tolerância a falhas por meio de checkpointing e recuperação de estado, além de suporte a garantias de processamento, como semantics de pelo menos uma vez ou exatamente uma vez dependendo do sink. Suporta operações estado-dependentes com windowing e watermarks para lidar com eventos atrasados.
Integra-se nativamente com sistemas de mensageria, destacando-se a integração com Kafka, permitindo consumir e produzir mensagens de forma escalável. Essa combinação é indicada para uma Secretaria da Fazenda que precisa tomar decisões instantâneas sobre grandes volumes de dados, mantendo consistência, escalabilidade e reutilização de lógica entre batch e streaming.
Conteúdo do catálogo FC Concursos · Atualizado em