Isso funciona:
rsync --bwlimit=100 -av -e "ssh -p [port]" "user@address:~/VirtualBox\ VMs/ubuntu1/*" ./ubuntu1/.
Obrigado pelos comentários acima, mas descobriu-se que era errado afirmar que eu só tinha que colocar o comando ssh porque o caminho estranho iria quebrar a transferência.