Flashcard FC517229
Como o dropout regulariza redes neurais e contribui para mitigar mínimos locais na função custo?
Eletrônica
CEBRASPE (CESPE) · 2025
Como o dropout regulariza redes neurais e contribui para mitigar mínimos locais na função custo?
Mostrar resposta e comentário
Resposta
Dropout desliga aleatoriamente neurônios durante o treinamento, atuando como regularização que reduz overfitting e pode ajudar o otimizador a escapar de mínimos locais e pontos de sela na função custo.
• Desligamento aleatório: desliga unidades durante o treinamento com probabilidade de manutenção p, introduzindo ruído estocástico e evitando co-adaptações dos neurônios.
• Regularização: reduz overfitting ao impedir que neurônios desenvolvam co-adaptações.
• Model averaging: treina sub-redes diferentes a cada iteração, aproximando a média de muitos modelos menores e aumentando a robustez das representações aprendidas.
• Inferência: faz-se escalonamento das ativações por p ou usa-se inverted dropout escalando durante o treino por 1/p.
• Perturbação do custo: a aleatoriedade nas ativações altera a superfície de custo percebida pelo otimizador, inserindo perturbações nas gradientes que ajudam a escapar de mínimos locais rasos e pontos de sela.
Veja como foi cobrado:
https://flashcardsconcursos.com.br/portal/flashcard/513401
Conteúdo do catálogo FC Concursos · Atualizado em