Questão FC369893
Visando a maximizar a eficiência de uma equipe de auditores fiscais, um sistema de classificação de documentação foi encomendado à equipe de ciência de dados, com o objetivo de dec
Inteligência Artificial (IA)
FGV · 2024
Visando a maximizar a eficiência de uma equipe de auditores fiscais, um sistema de classificação de documentação foi encomendado à equipe de ciência de dados, com o objetivo de decidir, com base nos documentos obtidos durante uma fiscalização, se um exame detalhado de documentação é ou não necessário.
Idealmente, o sistema permitiria aos auditores direcionar mais tempo às auditorias complexas e agilizar a análise dos casos mais simples, otimizando o custo de pessoal e equipamento especializado. Contudo, não examinar detalhadamente um caso complexo pode custar muito caro ao governo, a ponto de anular quaisquer ganhos obtidos usando o sistema com um pequeno número de erros.
Considerando esse cenário, e o fato de o sistema de classificação responder apenas “sim” ou “não” quanto à necessidade de exame detalhado, a métrica de classificação a ser maximizada pela equipe que irá implementar o sistema é:
- acurácia;
- revocação;
- F1-score;
- precisão;
- AUC.
Mostrar resposta e comentário
Gabarito
B
Comentário do professor
Revocação é a métrica que quantifica a capacidade do sistema em identificar todos os casos que realmente requerem exame detalhado.
Matematicamente, revocação = \( \frac{\text{verdadeiros positivos}}{\text{verdadeiros positivos} + \text{falsos negativos}} \), ou seja, a fração dos casos que precisam de exame e foram corretamente sinalizados.
No cenário, a classe positiva é "necessita exame detalhado". Como deixar passar (falso negativo) um caso complexo tem custo muito elevado, é prioritário reduzir ao máximo esses erros — logo, maximizar a revocação.
Na prática isso significa aceitar um aumento de sinalizações que geram exames desnecessários (mais falsos positivos) para minimizar os riscos de omissão. Ajustes de limiar ou modelos com custo-assimétrico são formas de atingir esse objetivo.
Assim, a equipe deve otimizar o sistema para maximizar a revocação, preservando a detecção dos casos críticos.
Conteúdo do catálogo FC Concursos · Atualizado em