Se você não precisar de uma GUI, o melhor que você pode fazer em termos de otimização é definir o destino do sistema padrão como multiusuário. Isso pode ser feito usando
sudo systemctl set-default multi-user.target
sudo systemctl isolate multi-user.target
Isso também impedirá a execução de quaisquer serviços que estejam separados do destino gráfico.
Você também pode querer dar uma olhada no pré-carregamento e começar a limpar os programas que você não está usando.