Não, isso não pode ser feito. Na melhor das hipóteses, haveria um conflito de roteamento e algumas pessoas iriam para o servidor principal e algumas pessoas iriam para o servidor de recuperação.
De qualquer forma, se a AT & T for proprietária de um determinado IP público, ninguém poderá transmiti-la como deles, portanto, mesmo que seu servidor principal seja desativado e "pare de usar" o IP, outro ISP não poderá reivindicar o IP e fornecer ao seu servidor de recuperação.
Você precisa usar o DNS para lidar com esse tipo de failover, onde suas entradas de DNS têm um TTL baixo e são atualizadas quando o servidor principal desce para mudar para o IP do servidor de recuperação.