Esses mouses tiram sua luz simplesmente da energia USB, sem precisar ter o sistema ligado. É do ponto de vista elétrico, não há nada para desligá-lo no próprio mouse.
No entanto, provavelmente existe uma maneira de informar ao seu computador para cortar a energia do USB quando estiver desligado. Não tenho certeza, mas poderia ser a partir de uma opção "USB wake-up" no BIOS (dando a você a possibilidade de ativar o computador a partir de um dispositivo USB). Então você pode checar suas biografias sobre essa opção, eventualmente.
Se não, então é provavelmente algo com a sua placa-mãe, e além de desligar o interruptor de volta, ou desconectar o computador, eu não vejo uma maneira de corrigir isso.