Como distinguir quando uma forma adjetiva funciona como adjetivo ou como substantivo?

Quando qualifica um nome é adjetivo; quando nomeia ou substitui o nome (processo de substantivação) é substantivo.

Verifique a função sintática: se modifica um substantivo, mantém caráter adjetival; se ocupa o lugar do substantivo (núcleo do sintagma nominal ou sujeito), virou substantivo por substantivação.

Exemplo: Comprei livros antigos; prefiro os antigos.
Na primeira oração, antigos modifica livros — é adjetivo.
Na segunda, os antigos substitui livros e funciona como núcleo do sintagma — é substantivo (substantivação).