Sim, há um impacto. Sim, é recomendável que você faça logoff. Se você não fizer logoff, todos os recursos (como a RAM) necessários para manter a sessão interativa do usuário permanecerão em uso. Você mantém uma das duas conexões administrativas em uso para que outras pessoas não possam se conectar.
O que é realmente recomendado é não RDP para seus servidores. É para isso que servem as Ferramentas de Administração Remota do Servidor e o Powershell Remoting.
Também gostaria de dizer que há um risco de segurança muito maior quando você faz login via RDP em vez de um logon na rede, por exemplo, através do RSAT / MMC.