De acordo com a documentação, você pode adicionar um arquivo de configuração a /etc/apt/apt.conf.d/
denominado no-cache
contendo Dir::Cache "";
e Dir::Cache::archives "";
de acordo com o manual de apt.conf
. Existe um relatório bug que levanta problemas com este método e não o recomendo.
Existe um método restante de acordo com este tutorial:
echo 'DPkg::Post-Invoke {"/bin/rm -f /var/cache/apt/archives/*.deb || true";};' | sudo tee /etc/apt/apt.conf.d/clean
Isso executará um comando rm
antes de o apt sair.