Julgue o item subsecutivos, em relação às redes neurais denominadas CNN, RNN e LSTM. Vanishing gradient e exploding gradient são duas condições que podem ser encontradas em redes R

Gabarito

Certo

Comentário do professor

Vanishing gradient e exploding gradient surgem em redes RNN porque o gradiente ao longo do tempo resulta da multiplicação sucessiva de jacobianos: \( \nabla \propto \prod_{k=1}^{T} J_k \). Se os autovalores de \(J_k\) são menores que 1 o gradiente tende a desaparecer; se maiores que 1 tende a explodir.

A LSTM introduz uma célula de memória com portas de entrada, esquecimento e saída que criam um caminho quase linear para o fluxo de erro (constant error carousel). Isso preserva informações e mantém gradientes estáveis ao longo de muitos passos temporais, mitigando principalmente o problema do vanishing gradient.

O exploding gradient pode ser reduzido pelas portas e por técnicas adicionais como clipping de gradiente. Portanto a afirmação foi julgada como CERTO.