Isso não é possível via DNS, pois você não pode forçar o cliente DNS a conversar com o servidor DNS. Pode apenas usar o registro em cache que já possui. Se você pudesse forçá-lo a consultar, você poderia retornar o endereço do novo servidor.
Em vez disso, você pode configurar seu servidor A para responder com um redirecionamento para o servidor B para todas as solicitações. Eu não estou familiarizado com o Windows Server, mas um servidor Apache poderia usar o módulo mod_rewrite para isso.
Outra opção é instalar um proxy reverso no Servidor A, substituindo o servidor da Web, que aceita todas as solicitações e busca as páginas do Servidor B. O Servidor A retorna a resposta para o cliente. Estamos usando essa solução exata para resolver o mesmo problema que você está tendo. Queríamos tempo de inatividade zero ao mover centenas de sites para um novo servidor.
Você pode facilmente configurar um servidor Nginx ou algo semelhante como um proxy reverso. Instale-o em uma porta alternativa como 8000 e configure-o para o proxy reverso no Servidor B. Teste com o link se o proxy funcionar. Desligue o servidor Web em A, liberando a porta 80 e altere o proxy para escutar na porta 80. Ele agora atenderá a todos os pedidos recebidos via Servidor B. Depois de algum tempo, o Servidor A não receberá mais tráfego, assim que os registros DNS do TTL expirarem e todos os clientes consultam diretamente o Servidor B.