Questão FC369914
No treinamento de grandes modelos de linguagem (LLMs), como o GPT-4, uma técnica importante, utilizada para estabilizar o treinamento e favorecer a convergência - especialmente ao
Inteligência Artificial (IA)
FGV · 2025
No treinamento de grandes modelos de linguagem (LLMs), como o GPT-4, uma técnica importante, utilizada para estabilizar o treinamento e favorecer a convergência - especialmente ao lidar com camadas profundas -, é a normalização por camada, conhecida como Layer Normalization, que consiste em:
- normalizar as ativações ao longo dos canais de entrada, reduzindo o desvio padrão espacial, ideal para modelos CNN.
- realizar a normalização entre exemplos de treinamento, reduzindo a variação das ativações dentro de um mesmo lote.
- normalizar as ativações individualmente para cada exemplo, considerando todos os neurônios da mesma camada.
- aplicar uma normalização nas ativações por meio de uma média móvel das ativações das camadas anteriores.
- realizar uma normalização baseada em gradientes acumulados, diretamente no passo de retropropagação (backpropagation).
Mostrar resposta e comentário
Gabarito
Certo
Comentário do professor
Layer Normalization normaliza as ativações de forma independente para cada exemplo, calculando a média e a variância sobre todos os neurônios da mesma camada naquele exemplo. Assim, para um vetor de ativação \(x\) de dimensão \(d\) obtém-se \(\mu=\frac{1}{d}\sum_{i=1}^d x_i\) e \(\sigma^2=\frac{1}{d}\sum_{i=1}^d (x_i-\mu)^2\).
Em seguida cada componente é padronizada: \( \hat{x}_i=\frac{x_i-\mu}{\sqrt{\sigma^2+\epsilon}} \) e há uma reescalagem aprendível \(y_i=\gamma\hat{x}_i+\beta\), com parâmetros \(\gamma,\beta\).
Essa abordagem estabiliza o treinamento em redes profundas, é insensível ao tamanho do batch e é particularmente eficaz em arquiteturas como Transformers, onde a normalização por camada trata cada amostra isoladamente.
Conteúdo do catálogo FC Concursos · Atualizado em