Se você tiver certeza de que deseja ir sem cabeça (sem interface gráfica, sem Desktop), use definitivamente a versão do servidor. Há também uma versão de servidor (mínima) para o Raspberry Pi.
A versão do servidor não instala o GUI-Apps como Editores que requerem uma interface de usuário para funcionar, e também não instala o X11 e suas dependências.
Em um Raspberry Pi, uma vez eu desinstalei todas as coisas relacionadas à UI (acho que em fevereiro de 2015 não havia servidor / versão mínima disponível). Inicialmente, o cartão SD estava 94% cheio, depois de excluir todos os itens do X11, ele estava 41% cheio ( apt-get remove --auto-remove --purge libx11 -. * ). Pena que não me lembro do tamanho do cartão, acho que foi 2GB, o tamanho da imagem padrão. Há também processos relacionados ao X11 em execução em segundo plano que você nunca usará quando estiver usando apenas o SSH.