Eu uso o opensuse basicamente para isso. Na verdade, é um servidor da Web, mas eu executo aplicativos remotos e armazeno arquivos e hospedo um site fora dele. Qualquer distro funcionará para isso, é realmente uma questão de quais aplicativos você precisa executar.
No windows eu uso Xming, WinSCP e massa para se conectar à caixa. Xming permite que você execute a interface linux X no windows, abaixo está uma imagem do golfinho, rodando em Xming
Você deve saber o que é putty. e WinSCP é um gerenciador de arquivos que permite arrastar e soltar arquivos através dos computadores, bem como alguns comandos do menu de arquivos como touch, grep e outros, e possui uma linha de comando (muito limitada incorporada)
Todo o trabalho via SSH, o winSCP pode funcionar como ftp e scp também.
Screenshot do golfinho em execução no Xming: