Que fenômeno é indicado por determinante de \(X'X\) próximo de zero, autovalores muito pequenos e correlações quase \(\pm 1\) entre colunas de \(X\)?

Multicolinearidade.

Explicação:
A presença de dependência linear entre colunas de \(X\) torna \(X'X\) quase singular, autovalores pequenos correspondem a direções com pouca variação, e correlações próximas de \(\pm 1\) mostram redundância entre variáveis, tudo isso aumenta a variância dos coeficientes, tornando as estimativas instáveis.
Além disso, Var\((\hat\beta)=\sigma^2 (X'X)^{-1}\), assim valores pequenos nos autovalores de \(X'X\) geram entradas grandes em \((X'X)^{-1}\).

Exemplo:
Considere dois preditores quase idênticos, \(x_1=(1,2,3)\) e \(x_2=(1.01,2.01,3.01)\). Sem intercepto, obtemos
\(X'X=\begin{pmatrix}\sum x_1^2 & \sum x_1x_2\\[4pt]\sum x_1x_2 & \sum x_2^2\end{pmatrix}=\begin{pmatrix}14 & 14.06\\[4pt]14.06 & 14.1203\end{pmatrix}.\)
O determinante é
\(\det(X'X)=14\cdot 14.1203-14.06^2\approx 0.0006\), muito próximo de zero, indicando quase singularidade.
Por consequência, um autovalor será muito pequeno, e \((X'X)^{-1}\) terá entradas grandes, o que eleva a variância dos coeficientes e torna as estimativas sensíveis a pequenas alterações nos dados.