Você não mencionou a marca e o modelo do seu switch KVM, o que pode ajudar a determinar seu problema. Parece que você tem um switch KVM passivo.
Os comutadores KVM são ativos ou passivos. Os switches passivos são tipicamente conectados internamente entre suas portas de entrada e saída. Computadores conectados a um switch passivo são normalmente selecionados manualmente no próprio switch. Os switches ativos mantêm as conexões com teclados, mouses e monitores conectados a eles.
Como um comutador KVM ativo faz o computador pensar que os dispositivos ainda estão conectados ao computador, o computador não desconecta os dispositivos via plug & play, o que, acredito, está causando o seu problema.
Substituir seu comutador KVM passivo por um ativo, deve resolver o problema. Pode por soluções de software, mas não tenho conhecimento de nenhum.