Flashcard FC370732
Como a normalização por camada padroniza as ativações durante o treinamento?
Inteligência Artificial (IA)
FGV · 2025
Como a normalização por camada padroniza as ativações durante o treinamento?
Mostrar resposta e comentário
Resposta
Normaliza as ativações de cada exemplo, calculando a média e a variância sobre todos os neurônios da mesma camada.Explicação:
Calcule \( \mu=\frac{1}{d}\sum_{i=1}^d x_i\) e \( \sigma^2=\frac{1}{d}\sum_{i=1}^d (x_i-\mu)^2\).
Padronize: \(\hat{x}_i=\frac{x_i-\mu}{\sqrt{\sigma^2+\epsilon}}\).
Reescale com parâmetros aprendíveis: \(y_i=\gamma\hat{x}_i+\beta\).
É insensível ao tamanho do batch e estabiliza o treinamento em redes profundas.
Veja como foi cobrado:
https://flashcardsconcursos.com.br/portal/flashcard/360080
Conteúdo do catálogo FC Concursos · Atualizado em