Estou respondendo isso com base na minha experiência usando o Ubuntu como meu servidor doméstico. Eu não usei um PC antigo - criei meu próprio sistema personalizado em uma pequena caixa, mas ele tem especificações de classe desktop (2.8GHz e 8GB de RAM). Eu o uso principalmente como um Plex Media Server, e também faz alguns gerenciamentos de arquivos, torrents ocasionais, downloads de podcasts, tem hora local e servidores DNS, VPN, e experimentos ocasionais de virtualização. [Eu construí meu sistema com o Plex e a virtualização em mente, e é por isso que coloquei todos esses recursos nele. Tenho certeza de que não precisaria de todos esses recursos para as outras coisas que faço.]
Pergunta 1: Devo usar o Ubuntu Desktop ou Server? A versão para desktop consome mais recursos?
Sim, a versão desktop consumirá mais recursos, mas se você usar algo como lxde ou xfce, isso provavelmente não afetará o desempenho de uma maneira que afetaria visivelmente o tipo de uso que você está descrevendo. Se você se sentir confiante em suas habilidades de linha de comando, você pode usar a versão do servidor, mas como este artigo sugere, a versão desktop contém ou pode instalar qualquer coisa na versão do servidor, é mais fácil de configurar e oferece uma GUI se você precisar de um .
Se você iniciar a partir do Ubuntu Desktop, o lxde ou o xfce é simples de instalar a partir do centro de software ou dos repositórios. Se você iniciar a partir do Ubuntu Server, é sempre possível instalar uma GUI após o fato, mas eu nunca tentei.
Pergunta 2: Se eu usar a versão do servidor, é possível baixar o bitorrent com as linhas de comando?
Eu não sei sobre o cliente bittorrent padrão (Transmission). Mas o Deluge , que eu uso, possui uma interface de linha de comando e uma UI baseada na web como recursos opcionais. Eu uso sua interface web, que é excelente, e que eu posso acessar de outros computadores e dispositivos na minha rede ou fora da minha rede via VPN. Deluge está disponível no Ubuntu Software Center ou nos repositórios.
Pergunta 3: O Ubuntu é apropriado para isso? Ou devo procurar uma distro mais leve?
O Ubuntu Server é mínimo em termos de requisitos do sistema. O Ubuntu Desktop pode ficar um pouco apertado se você usar o Unity, especialmente se você não estiver olhando muito para ele. (Meu servidor doméstico roda o Ubuntu Desktop 12.04, mas com muito mais RAM do que você está falando, então sua milhagem pode variar.)
Se eu estivesse tentando isso, provavelmente começaria experimentando o Ubuntu Desktop (só porque eu ainda estou mais confortável com uma interface gráfica para voltar se necessário), e se isso não funcionar bem, eu tentaria novamente com a edição do servidor.