Isso está acontecendo porque o switch está trocando fisicamente a energia da saída HDMI para longe do computador, fazendo com que o PC ache que você desconectou a tela. Infelizmente, esse é um recurso de design do switch que você está usando e não há muito o que fazer a não ser usando o conversor que você tem.