A energia potencial gravitacional tem valor absoluto físico ou depende do referencial adotado, sendo quais quantidades realmente relevantes?

Depende do referencial; apenas as diferenças de energia potencial são fisicamente relevantes.

Explicação:
A expressão \(U=mg h\) usa \(h\) medido a partir de um zero de potencial escolhido arbitrariamente.
Se mudarmos esse zero em \(h_0\), então \(U'=mg(h+h_0)=U+mg h_0\).
Porém, variações \(\Delta U=U_2-U_1=mg(h_2-h_1)\) são invariantes e determinam trabalho e movimento.

Exemplo:
Considere um objeto de massa \(m=2\ \mathrm{kg}\) levantado de uma altura inicial para uma final com diferença \(h_2-h_1=1{,}5\ \mathrm{m}\) e \(g=9{,}8\ \mathrm{m/s^2}\).
Se escolhermos o zero no piso:
\(U_{1}=0\), \(U_{2}=mg(1{,}5)=2\cdot9{,}8\cdot1{,}5=29{,}4\ \mathrm{J}\).
Se escolhermos o zero 1,0 m abaixo do piso:
\(U'_{1}=mg(1{,}0)=19{,}6\ \mathrm{J}\), \(U'_{2}=mg(2{,}5)=49{,}0\ \mathrm{J}\).
Em ambos os referenciais \(\Delta U=U_2-U_1=29{,}4\ \mathrm{J}\), mostrando que somente a variação é física.