Você pode enviar o mysqldump pelo ssh (ativar a compactação pode torná-lo mais rápido, dependendo dos dados e das capacidades do servidor) e salvá-lo em sua máquina local (ou diretamente no servidor de destino). Você também pode canalizar o comando mysqldump através do gzip / bzip2 / xz para que o arquivo que ele produz na extremidade local do pipe seja consideravelmente menor.
Usar o banco de dados binário não é a maneira recomendada de fazer backup / restauração (pelo que eu sei).