FC ConcursosFC Concursos

Flashcard FC370650

O que distingue a etapa de Transformação de uma consulta; qual join evita shuffle e quando usá‑lo; e qual é o escopo típico de pipelines de transformação?

Bancos de Dados Dimensionais

FGV · 2024

De acordo com o assunto TI Ciência de Dados e Inteligência Artificial: Bancos de Dados Dimensionais, responda:

O que distingue a etapa de Transformação de uma consulta; qual join evita shuffle e quando usá‑lo; e qual é o escopo típico de pipelines de transformação?
Mostrar resposta e comentário

Resposta

R:

Transformação: processa, limpa, estrutura e frequentemente persiste resultados para consumo futuro, enquanto uma consulta geralmente lê e combina dados de forma ad‑hoc sem persistir necessariamente.

Broadcast join: evita shuffle ao replicar um conjunto pequeno para todos os nós; é preferível quando uma das tabelas cabe em memória.
Já o shuffle hash join redistribui dados entre nós, gerando maior custo de rede e I/O.

Pipelines: orquestram múltiplos sistemas (bancos, APIs, filas, streams, arquivos), não se limitando apenas a operações entre tabelas.




Veja como foi cobrado:
https://flashcardsconcursos.com.br/portal/flashcard/359998

Conteúdo do catálogo FC Concursos · Atualizado em

Continue aprendendo