Julgue o item subsequente, a respeito de regressão logística. Na regressão logística por meio de aprendizado supervisionado, o emprego de função custo do tipo erro quadrático médio

Gabarito

Errado

Comentário do professor

A afirmação é errada porque o uso de erro quadrático médio em regressão logística não transforma o problema em convexo nem garante as propriedades mencionadas.

A função de hipótese é \(h_\theta(x)=\sigma(\theta^T x)=\frac{1}{1+e^{-\theta^T x}}\). O custo MSE é \(J_{MSE}(\theta)=\frac{1}{2m}\sum (h_\theta(x^{(i)})-y^{(i)})^2\), que em geral é não convexo em \(\theta\). Já a entropia cruzada (log-loss) \(J_{CE}(\theta)=-\frac{1}{m}\sum[y\log h_\theta+(1-y)\log(1-h_\theta)]\) é convexa para regressão logística.

Quanto à convergência, métodos de primeiro ordem (gradiente) apresentam, tipicamente, convergência linear sob hipóteses; a convergência quase-quadrática ou quadrática é característica de métodos de segunda ordem, como Newton, que usam a inversa da Hessiana: \(\theta\leftarrow\theta-H^{-1}\nabla J\), e só ocorrem localmente sob condições fortes.

Além disso, MSE com sigmoid tende a gerar gradientes pequenos em regiões de saturação, tornando o aprendizado menos estável; por isso a prática recomenda a entropia cruzada.