Isso não é específico para o servidor SSH. As conexões TCP permanecem abertas até serem fechadas pelos aplicativos que originalmente as abriram - independentemente das mudanças na tabela de encaminhamento (que é o que derrubar uma interface representa efetivamente).