Qual é o principal mecanismo de transferência de calor no vácuo?

Irradiação — transferência por ondas eletromagnéticas.

Explicação:
No vácuo não existe meio material, portanto não ocorre condução (que exige contato e partículas) nem convecção (que exige um fluido em movimento). A energia é transferida por radiação, ou seja, por ondas eletromagnéticas emitidas por corpos quentes. Para uma fonte pontual, o fluxo irradiado a uma distância r é \(I=\dfrac{L}{4\pi r^2}\). Para um corpo negro, a emissão é dada pela lei de Stefan–Boltzmann \(F=\sigma T^4\).

Exemplo:
Considere um satélite com painel de área \(A=2{\,\rm m^2}\) na órbita da Terra, recebendo o valor médio do fluxo solar \(I\approx1361{\,\rm W/m^2}\).
\(P=I\cdot A\approx1361\times2\approx2722{\,\rm W}\).
Isso mostra como, no vácuo espacial, o aquecimento do painel ocorre por irradiação solar.