Os switches "desktop" não precisam estar conectados uns aos outros para aproveitar as vantagens do agrupamento de NICs. A equipe do Switch Independent é totalmente compatível com cada membro da equipe conectado a switches upstream independentes e não conectados.
Ainda não usei o agrupamento de NICs no Windows Server 2012 R2, eis o que acho que está acontecendo:
No Modo Independente do Comutador com Hashing de Endereços, o servidor usa o endereço MAC do membro da equipe principal. Portanto, embora o tráfego de saída possa ser balanceado na carga entre os membros da equipe, o tráfego de entrada será direcionado ao membro principal (já que um endereço IP pode ser associado apenas a um único endereço MAC). Isso significa que o endereço IP do servidor é resolvido para o endereço MAC do membro da equipe principal quando o membro da equipe principal está conectado e funcionando. Quando o membro principal da equipe falha, o endereço IP precisa ser associado ao endereço MAC do "novo" membro da equipe principal. Se você estiver testando de um computador conectado ao switch de borda, é lógico que a tabela ARP no computador de teste ainda tem o endereço IP para a associação de endereço MAC do membro da equipe principal original. Você pode testar isso facilmente, limpando o cache do ARP no computador de teste e tentando conectar-se ao servidor.
A outra possibilidade (embora eu não ache que é o caso aqui por causa do modo de equipe e do modo de balanceamento de carga que você selecionou) é que o problema é devido ao endereço MAC do membro da equipe principal sendo armazenado em cache no tabela de endereços MAC de comutadores de borda (Observe que a tabela de endereços MAC do comutador é o endereço MAC para alternar a associação de portas. Isso não tem nada a ver com o ARP). Eu não acredito que seja o caso aqui, porque no seu modo de agrupamento e balanceamento de carga, cada adaptador agrupado deve estar usando um endereço MAC independente um do outro. Se cada membro da equipe usasse um único endereço MAC "compartilhado", esse cenário seria a causa provável do seu problema.
Eu posso estar completamente fora da base, mas espero que isso lhe dê algumas coisas para ver.