Flashcard FC539814
No stochastic gradient descent, cada iteração utiliza todas as amostras do conjunto de treinamento?
Telecomunicações
CEBRASPE (CESPE) · 2025
No stochastic gradient descent, cada iteração utiliza todas as amostras do conjunto de treinamento?
Mostrar resposta e comentário
Resposta
Não. Em stochastic gradient descent cada atualização do vetor de parâmetros é feita com base em uma única amostra ou em um pequeno subconjunto chamado mini-batch, e não no conjunto completo de treinamento.• Batch gradient descent: a atualização usa o gradiente médio sobre todas as m amostras do conjunto de treinamento.
• SGD: a atualização típica usa o gradiente de uma amostra, por exemplo θ := θ - α ∇J^{(i)}(θ).
• Época: uma passagem completa sobre o conjunto de treinamento.
• Ruído e variância: atualizações por amostra são mais rápidas por iteração, porém introduzem mais ruído e variância, exigindo ajustes na taxa de aprendizado.
Veja como foi cobrado:
https://flashcardsconcursos.com.br/portal/flashcard/538742
Conteúdo do catálogo FC Concursos · Atualizado em