Já experimentou apt-get clean e apt-get autoclean ?
apt-get clean remove tudo, exceto os arquivos de bloqueio de /var/cache/apt/archives/ e /var/cache/apt/archives/partial/ . Assim, se você precisar reinstalar um pacote, o APT deverá recuperá-lo novamente.
apt-get autoclean remove apenas arquivos de pacote que não podem mais ser baixados.