Você não deve travar o sistema a menos que consiga disparar um bug do kernel com isso. Pode haver alguns ocultos, já que desconectar dispositivos de troca ativos provavelmente não é um cenário de teste comum.
Se o seu sistema não travar, seus aplicativos morrerão um por um assim que eles tentarem acessar qualquer uma das páginas trocadas que não estão mais disponíveis.
É muito mais seguro matar e reiniciar os aplicativos com vazamento, toda a memória vazada será liberada quando eles saírem.