O que você poderia fazer para obter uma pequena instalação com o aptitude é obter um debian netinstall cd e instalá-lo usando "Instalação especializada". Se houver etapas em que você não tem certeza do que fazer, basta usar os valores predefinidos. Quando você alcança a etapa em que escolhe quais "módulos" (pelo menos é o que eu lembro que é chamado, não consigo verificar novamente agora) para instalar, desmarque todas as opções ("instalação padrão" e "sistema desktop") marcado como padrão). Isso excluirá muitas pequenas ferramentas convenientes de que você não precisará, de qualquer maneira.
Quando tudo está configurado, é hora de instalar uma interface gráfica do usuário (GUI). Faça o login com as credenciais escolhidas e execute sudo apt-get install xserver-xorg-core <your favourite wm> . Como sugerido, isso instalará um sistema Xorg mínimo e um gerenciador de janelas de sua escolha. Se não tiver certeza de qual wm escolher, posso dar uma dica sobre o openbox, que eu costumo usar e que é bem leve. Não tenho muito conhecimento sobre muitas outras opções, portanto, se alguém tiver outras sugestões, poste-as em uma resposta.
Quando a instalação estiver concluída, você poderá iniciar o x-server com startx . Observe que desde que você instalou o X manualmente, ele não foi feito para iniciar automaticamente na inicialização. Na verdade, não estou ciente de como fazer isso, então alguém terá que preencher isso, se necessário.
Em seguida, para fazer o aplicativo escolhido iniciar automaticamente com X. No diretório inicial dos usuários, edite o arquivo chamado .xinitrc (crie-o se ele não existir) e anexe: sleep 5; your-app-here ao final.
Isso deve ser feito, por favor, retorne aqui se houver algum problema:).