O problema deve estar no design do switch KVM (não sei qual modelo e fabricante do switch). Parece que o comutador KVM não tem emulação EDID integrada (alimentando as informações EDID para todos os sistemas conectados, não importando se os sistemas são direcionados / selecionados ou não).
Eu sugiro que você encontre um suporte para switch KVM "emulação EDID de tempo integral" ou adicione um emulador EDID externo ao switch KVM existente.