Sim, você pode excluí-los!
Vamos clonar uma VM e ver o que acontece! :)
$ rm -r /var/cache/apt /var/lib/apt/lists
$ apt-get update #takes a while re-fetching everything
$ apt-get install <some-random-package>
Diretórios são recriados da operação apt-get update
e tudo está bem. Eu posso deixar os arquivos *.gpg
sozinhos se você estiver se sentindo paranóico, mas caso contrário, todos esses arquivos estão ok para desaparecer.
No passado, eu tive problemas onde tive que manualmente mkdir /var/cache/apt/archives
, mas isso não parece mais ser um problema.