Na PCA, o que representam os autovalores e os loadings, e como eles permitem a redução de dimensionalidade?

Os autovalores indicam a variância explicada por cada componente e os loadings são os coeficientes das combinações lineares que mostram a contribuição de cada variável; selecionando os primeiros k componentes que acumulam alta fração da soma dos autovalores obtém-se redução dimensional.

Explicação:
Na PCA cada componente é \(z_j=\sum_{i=1}^p a_{ij}x_i\), os coeficientes \(a_{ij}\) são os loadings.
O autovalor \(\lambda_j=\mathrm{Var}(z_j)\) e a proporção de variância explicada é \(\displaystyle \frac{\lambda_j}{\sum_{r=1}^p\lambda_r}\).
Escolhendo os primeiros \(k\) componentes cuja soma acumulada \(\sum_{j=1}^k\lambda_j\) represente uma grande fração da soma total, reduz-se a dimensionalidade mantendo a maior parte da variância.

Exemplo:
Suponha \(p=3\) com autovalores \(\lambda_1=2{,}5,\ \lambda_2=0{,}8,\ \lambda_3=0{,}2\). Total \(=3{,}5\).
A proporção do primeiro componente é \(\dfrac{2{,}5}{3{,}5}\approx0{,}714\) (71,4%) e dos dois primeiros \(\dfrac{2{,}5+0{,}8}{3{,}5}\approx0{,}943\) (94,3%).
Se os loadings do primeiro componente forem por exemplo \(a_{1}=(0{,}7,0{,}7,0{,}14)\), então
\(z_1=0{,}7x_1+0{,}7x_2+0{,}14x_3\) e \(\mathrm{Var}(z_1)=\lambda_1=2{,}5\).
Assim, mantendo os dois primeiros componentes reduzimos de 3 para 2 dimensões preservando ~94% da variância.