Ele nunca tentará o segundo servidor se puder se conectar ao servidor com a prioridade mais alta. Ele só tentará o segundo servidor se não puder se conectar ao primeiro servidor.
O erro parece ser um erro de recurso do servidor no outro lado. A maioria das vezes (nem sempre) um registro MX diferente apontará para o mesmo servidor por meio de um caminho de rede diferente, portanto, atingir o endereço IP secundário pode resultar no mesmo erro.
Você deve tentar entrar em contato com o administrador na outra extremidade (veja o registro SOA ou WHOIS) para ver se eles podem ajudá-lo com esses erros.