Não, os processos do cliente não são obrigatoriamente fechados. No entanto, se eles tentarem usar o objeto COM para o qual eles mantêm o ponteiro, o código de empacotamento fora de processo retornará um erro ou o servidor será reiniciado e o código dentro do servidor será chamado.
Eu tenho visto principalmente o primeiro, mas eu vi o último também, embora eu não possa atestar que não houve alguma "mágica" adicional envolvida que reinicie o servidor terminado.