Em regressão linear com erros i.i.d. normais de média zero e variância constante, qual é a relação entre os estimadores de máxima verossimilhança e de mínimos quadrados para os coe

\( \hat\beta_{MV} = \hat\beta_{MQ} \)

Explicação e exemplo:
A log-verossimilhança sob erros \( \sim N(0,\sigma^2)\) é proporcional a \(-\)soma dos quadrados dos resíduos, portanto maximizar a verossimilhança equivale a minimizar a soma dos quadrados, gerando as mesmas equações normais e a solução \(\hat\beta=(X'X)^{-1}X'y\), quando \(X'X\) é invertível.

Exemplo:
Considere modelo com intercepto e uma variável, dados (x,y): (1,2), (2,3), (3,5).
\(X=\begin{pmatrix}1&1\\1&2\\1&3\end{pmatrix},\; y=\begin{pmatrix}2\\3\\5\end{pmatrix}\)
\(X'X=\begin{pmatrix}3&6\\6&14\end{pmatrix},\; X'y=\begin{pmatrix}10\\23\end{pmatrix}\)
\(\hat\beta=(X'X)^{-1}X'y=\frac{1}{6}\begin{pmatrix}14&-6\\-6&3\end{pmatrix}\begin{pmatrix}10\\23\end{pmatrix}=\begin{pmatrix}1/3\\3/2\end{pmatrix}\).
Assim, tanto o método de máxima verossimilhança quanto mínimos quadrados fornecem \(\hat\beta=(1/3,\;3/2)'\) para este caso.