Acho que este é o comando que você está procurando e não usa o sudo aqui:
rm -r ~/.cache/*/*
Ele pode perguntar se você deseja remover um arquivo protegido contra gravação. Em caso afirmativo, digite n e pressione Enter para prosseguir.
Como alternativa, você pode fazer isso:
cd
ls -a
rm -r .cache/*/*
Isso pode diminuir o desempenho, pois o cache é usado para acelerar as coisas, mas libera espaço em disco.