Isso não funciona. Não há suporte para multipath em USB e é absolutamente impossível usar um dispositivo com vários hosts ao mesmo tempo. Como há comunicação bidirecional envolvida em processos essenciais, como a detecção de dispositivos, um dispositivo só pode se comunicar com um host.
O comutador KVM é um host, caso contrário, não poderia (eficientemente) interceptar os pressionamentos de teclas.