Flashcard FC517233
Por que RNNs apresentam vanishing e exploding gradients e como LSTM os mitiga?
Eletrônica
CEBRASPE (CESPE) · 2025
Por que RNNs apresentam vanishing e exploding gradients e como LSTM os mitiga?
Mostrar resposta e comentário
Resposta
Em RNNs os gradientes ao longo do tempo resultam da multiplicação sucessiva de jacobianos, o que faz com que autovalores menores que 1 provoquem o desaparecimento do gradiente e autovalores maiores que 1 provoquem sua explosão, e LSTM mitiga principalmente o vanishing gradient usando uma célula de memória com portas que criam um caminho quase linear para o fluxo de erro, preservando gradientes ao longo de muitos passos temporais.
• Multiplicação de jacobianos: gradiente ao longo do tempo é produto sucessivo de jacobianos, condicionando sua magnitude.
• Vanishing gradient: ocorre quando autovalores dos jacobianos são menores que 1, levando ao desaparecimento do gradiente ao longo do tempo.
• Exploding gradient: ocorre quando autovalores dos jacobianos são maiores que 1, levando à explosão do gradiente ao longo do tempo.
• Célula de memória: LSTM usa portas de entrada, esquecimento e saída para criar um caminho quase linear que preserva informações e estabiliza gradientes.
• Clipping de gradiente: técnica adicional para reduzir o exploding gradient aplicando limites aos gradientes durante o treino.
Veja como foi cobrado:
https://flashcardsconcursos.com.br/portal/flashcard/513405
Conteúdo do catálogo FC Concursos · Atualizado em