FC ConcursosFC Concursos

Questão FC890575

Um cientista de dados treinou três modelos para prever evasão escolar usando dados de 12.000 alunos de 2019-2023: Random Forest, XGBoost e Regressão Logística. Para avaliar os mode

Inteligência Artificial (IA)

FGV · 2026

Um cientista de dados treinou três modelos para prever evasão escolar usando dados de 12.000 alunos de 2019-2023: Random Forest, XGBoost e Regressão Logística. Para avaliar os modelos, dividiu o dataset em 70% treino e 30% teste, treinou cada modelo no conjunto de treino e reportou as seguintes acurácias no teste: RF=89%, XGBoost=91%, Logística=82%.

 

Com base nesses resultados, foi recomendado o XGBoost para produção.

 

A avaliação dessa metodologia de validação é:

  1. correta, pois a divisão 70/30 é padrão da indústria e a acurácia no teste é métrica adequada para classificação binária;
  2. incorreta, porque single train-test split pode gerar resultado otimista por sorte na divisão; deveria usar k-fold cross-validation para estimar performance média e variância;
  3. correta, desde que a divisão preserve a proporção de classes (stratified split) e que o conjunto de teste não tenha vazamento de dados do treino;
  4. incorreta, pois séries temporais (2019-2023) exigem validação temporal forward-chaining, e não split aleatório que viola ordenação temporal;
  5. correta para seleção preliminar, mas produção exige validação em dados totalmente novos (holdout set separado) não vistos durante o desenvolvimento.
Mostrar resposta e comentário

Gabarito

D

Comentário do professor

A alternativa está correta porque dados com ordem cronológica não podem ser avaliados com um split aleatório: isso gera vazamento temporal, em que o modelo aprende padrões do "futuro" presentes no treino.

O vazamento inflaciona métricas como acurácia, dando falsa confiança no desempenho (por isso o XGBoost pode parecer superior apenas por memorizar informações que, em produção, não estariam disponíveis).

A prática adequada é a validação temporal (ou forward-chaining): treinar com períodos anteriores e testar estritamente em períodos posteriores, por exemplo treinar em 2019 e testar em 2020; depois expandir para 2019–2020 e testar 2021.

Além disso, use um holdout temporal final e métricas robustas para classes desbalanceadas, como precision, recall e F1, antes de promover qualquer modelo à produção.

Conteúdo do catálogo FC Concursos · Atualizado em

Continue aprendendo