Como memórias distribuída e compartilhada se diferenciam quanto ao tempo de comunicação e à escalabilidade com aumento de processadores?

Gabarito

Resposta objetiva: Memória distribuída geralmente tem maior tempo de comunicação e melhor escalabilidade; memória compartilhada tem menor tempo de comunicação e menor escalabilidade por contenção.

Explicação:
Em memória distribuída, a troca de dados ocorre via rede/msgs, introduzindo latência e limites de largura de banda.
Em memória compartilhada, acessos podem ser locais ou suportados por barramentos e caches, reduzindo a latência.
Com muitos processadores, o overhead de comunicação cresce, tornando a velocidade/latência da comunicação crítica para desempenho.
Observação: OpenCL é uma API para programação paralela em dispositivos heterogêneos, não uma biblioteca de passagem de mensagem (para isso usa‑se MPI).