No Windows, os "locais de rede" acessam as unidades compartilhadas SMB, portanto, se você quiser acessar os servidores Debian a partir da sua área de trabalho do Windows, precisará instalar Samba em ambos, e configure-os de acordo com suas necessidades.
Existe um grande número de sistemas de arquivos distribuídos que você pode usar para permitir que os servidores acessem os diretórios uns dos outros ( "pastas"). O NFS é talvez o mais antigo padrão usado para sistemas Unix. Aqui é como configurá-lo no Debian.
Você também pode usar, por exemplo, sshfs para permitir que eles se vejam "semipermanentemente" (ele ainda usa ssh, mas você não percebe e a conexão permanece aberta). Essa pode ser a solução mais fácil se o ssh já estiver funcionando.