Flashcard FC462655
Como mensurar e avaliar a presença de alucinações?
Inteligência Artificial (IA)
Como mensurar e avaliar a presença de alucinações?
Mostrar resposta e comentário
Resposta
Medir alucinação envolve métricas automáticas, avaliações humanas e benchmarks controlados.• Taxa de inconsistência: proporção de afirmações que falham verificação contra fontes confiáveis
• Avaliação humana: juízes especializados checam precisão, pior casos e gravidade do erro
• Métricas de factualidade: scores que comparam afirmações do modelo com evidências extraídas de corpora verificadas
• Benchmarks controlados: conjuntos de testes com perguntas de referência para quantificar regressões e melhorias
Como a banca pode cobrar na prova:
• A banca geralmente pede distinção entre avaliação automática e avaliação humana, então descreva vantagens e limitações de cada método.
• Fique atento porque podem aplicar conceitos de benchmark para medir progresso; explique por que conjuntos controlados são essenciais para comparação justa.
• Outro ponto recorrente é a interpretação de métricas; saiba relacionar taxa de alucinação com risco prático em aplicações reais.
• Lembre-se de mencionar que resultados devem ser contextualizados por especialistas, pois métricas isoladas podem enganar.
Conteúdo do catálogo FC Concursos · Atualizado em