O que é o PRESS e para que ele serve na regressão?

PRESS é a soma dos quadrados dos resíduos obtidos por leave-one-out e mede a capacidade preditiva do modelo; quanto menor, melhor a previsão fora da amostra.

Explicação:
Para cada observação i calcula‑se \(e_{(i)}=y_i-\widehat{y}_{(i)}\), onde \(\widehat{y}_{(i)}\) é a predição do modelo ajustado sem a i‑ésima observação. Então
\(PRESS=\sum_{i=1}^n e_{(i)}^2\).
O procedimento simula predições de novas observações e é usado para comparar modelos e detectar overfitting (modelo com baixo erro in‑sample mas alto PRESS).

Exemplo:
Suponha três observações com valores reais \(y=(10,12,9)\). Ajustando o modelo sem cada ponto obtemos predições leave‑one‑out \(\widehat{y}_{(1)}=11,\ \widehat{y}_{(2)}=10,\ \widehat{y}_{(3)}=10\).
Calcule os resíduos: \(e_{(1)}=10-11=-1,\ e_{(2)}=12-10=2,\ e_{(3)}=9-10=-1\).
Então
\(PRESS=(-1)^2+2^2+(-1)^2=1+4+1=6\).
Comparando dois modelos, aquele com menor PRESS será preferível para predição fora da amostra.