Com que elemento o verbo deve concordar em número?

Com o núcleo do sujeito, isto é, com o termo gramatical que funciona como sujeito.

Explicação:
O verbo concorda com o núcleo do sujeito: se o núcleo for singular, o verbo vai para o singular; se for plural, para o plural.

Observações:
- Substantivos coletivos (rebanho, multidão, equipe) são núcleo singular e exigem verbo no singular.
- Quando o sujeito vem depois do verbo (sujeito posposto), a concordância continua com o núcleo.

Exemplo:
O rebanho fugiu ao menor barulho. — fugiu (núcleo singular: rebanho)
Fugiram ao menor barulho os animais soltos. — fugiram (núcleo plural: animais)