Eu não acho que isso seja possível no VirtualBox. Independentemente do que o mouse realmente é, o VirtualBox emula um mouse de roda padrão de três botões no convidado.
No entanto, talvez seja possível usar o recurso "expor USB device to guest" do VBox (o que quer que seja chamado). Você disse que tentou e o mouse parou de funcionar para o host, o que é esperado. No entanto, você pode tentar conectar dois mouses ao computador host e, em seguida, expor aquele que deseja ao convidado. Então você ainda pode usar o segundo mouse para controlar o host.