Você pode obter uma instalação mínima sem muito material X se não instalar todas as recomendações:
sudo apt-get install --no-install-recommends cuda
Para voltar um servidor headless, remova o pacote cuda e faça um autoremove
sudo apt-get remove cuda
sudo apt-get autoremove
Não tenho certeza se os comandos estão completamente certos, mas eles devem lhe dar uma dica.