De acordo com a documentação, você pode adicionar um arquivo de configuração a /etc/apt/apt.conf.d/ denominado no-cache contendo Dir::Cache ""; e Dir::Cache::archives ""; de acordo com o manual de apt.conf . Existe um relatório bug que levanta problemas com este método e não o recomendo.
Existe um método restante de acordo com este tutorial:
echo 'DPkg::Post-Invoke {"/bin/rm -f /var/cache/apt/archives/*.deb || true";};' | sudo tee /etc/apt/apt.conf.d/clean
Isso executará um comando rm antes de o apt sair.