Eu encontrei este excelente script AutoHotKey para me ajudar a conseguir isso.
Mas, por padrão, ele usa o CapsLock como a tecla modificadora, que não é o que eu quero. Eu ajustei o script um pouco para fazê-lo funcionar usando a tecla win
.
Agora, posso alternar entre os desktops por win + 1
, win + 2
, etc.