O postfix não permite definir várias entradas para relayhosts
para redundância. Dê uma olhada na página que você referenciou:
In the case of SMTP, specify a domain name, hostname, hostname:port, [hostname]:port, [hostaddress] or [hostaddress]:port. The form [hostname] turns off MX lookups.
Como você pode ver, não há como definir vários endereços / nomes de host aqui.
if I give relayhost a made-up hostname that have multiple mx records, will it try all?
Eu acho que sim, mas se requer autenticação, então pode não funcionar com o servidor secundário e falhar.
If I give relayhost a made-up [hostname] that have multiple a records, how will it handle it?
Ele usará o primeiro endereço (registro A) retornado pelo dns no método round robin. Mas isso também não implica que ele tentará outro caso o servidor retornado pelo servidor dns falhe.
Dito isto, você pode dar uma olhada nesta opção de postfix: smtp_fallback_relay