Eu recomendaria strongmente o Archlinux para essa tarefa. Ele consegue atingir o delicado equilíbrio entre a instalação de muito poucos aplicativos de "usuário final" por padrão e ainda deixar um sistema sensato sobre o qual você pode construir.
Quanto às etapas a serem seguidas para realizar sua meta, depois de ter o Arch instalado, ajuste os serviços que deseja executar na inicialização (parece que você pode querer menos ttys ). Depois disso, instalar e configurar o X (esse link também tem um link para iniciar o X no login, o que você desejará ). Se você quiser uma tela inicial na inicialização, precisará configurar algo como Plymouth . E, finalmente, o systemd tende a lidar com desligamentos físicos (pressionando um botão liga / desliga no hardware do consumidor uma única vez, por exemplo) de forma bastante elegante. No entanto, pode valer a pena considerar adicionar uma função de desligamento ao aplicativo que você estará executando.
Seu $HOME/.xinitrc
pode ser muito básico se você não precisar de muita funcionalidade. Por exemplo:
exec /path/to/your/program/here