Se você estivesse no shell e não houvesse processos filho em segundo plano ainda conectados ao shell, não haveria problema.
Não vai prejudicar o servidor no mínimo. É o mesmo que fechar uma janela de terminal no OS X ou Linux sem digitar exit. O shell detecta a desconexão do tubo e sai por conta própria. Esta é realmente uma maneira aceitável de fechar um shell. Muitos outros programas também permitem isso, por exemplo, "Top" e suas variantes.
No entanto, lembre-se, o fechamento do ssh está basicamente terminando sua sessão, então se um programa não pode ser interrompido sem ser ruim para o servidor, não é seguro fazê-lo. Por exemplo, se você não puder parar a operação com segurança com CTRL-C, não poderá sair.
Além disso, há programas que não são encerrados corretamente na morte dos pais ou na desconexão da tubulação, deixando processos encalhados. Nesse caso, basta fazer login novamente e eliminá-los manualmente. Geralmente, é considerado uma prática ruim desconectar-se assim, porque é difícil se reconectar a um programa desse tipo e interagir com ele novamente. Em vez disso, você precisa encontrar uma maneira de desanexar o programa ou de daemonizá-lo. A tela é a maneira tradicional de fazer isso, mas há muitas outras opções agora, muitas das quais podem melhorar seu terminal, então escolha o que você gosta.