Shells não realizam expansões de til dentro de aspas, então o "~/.cache"
não aponta para o seu diretório pessoal - ele aponta para um subdiretório .cache
de um diretório chamado ~
.
Remova as aspas e tudo deve funcionar como esperado:
export XDG_CACHE_HOME=~/.cache