O mais fácil é fazer um mysqldump na sua caixa linux e depois importar o dump para o banco de dados local do windows.
Primeiro, o mysqldump (docs: link )
mysqldump -u [username] -p [any other options desired] [database name] > dump.sql
O código acima cria um arquivo chamado "dump.sql" no diretório em que você o executou. Em seguida, pegue o arquivo dump.sql da sua caixa linux e traga-o para sua caixa do Windows. Agora, você pode usar uma GUI para importar o dump (como o navicat ou o sqlyog, ou até mesmo o phpmyadmin, se tiver que ser útil), mas da maneira que você normalmente faz isso na linha de comando (no linux, você pode ter que fazer um ajuste no windows) é:
mysql -u [username] -p < dump.sql
E é isso! A linha acima canaliza o arquivo dump.sql para o mysql. O arquivo de despejo nada mais é do que um monte de instruções SQL, e é por isso que o acima funciona. Desculpe por não ser capaz de fornecer instruções de linha de comando específicas do Windows, já faz um tempo desde que eu trabalhei com windows :) Espero que ajude.