Na verdade, se você começar a arrastar para dentro do quadro de seleção atual, mas fora de uma das alças de redimensionamento (ou seja, os cantos e arestas que ficam destacados se você passar por cima deles), o quadro de seleção será movido sem qualquer modificador. Eu acho que isso é o que você está realmente vendo, e eu suspeito que você obtenha o redimensionamento porque você está arrastando uma das alças.
A tecla Alt pode ser usada para fazer isso sem arrastar dentro do quadro de seleção, isso pode ser útil se a seleção for muito pequena no nível de zoom atual.
Desculpe, não faço ideia do que o Alt mapeia para o OSX / macOS.