Shells não realizam expansões de til dentro de aspas, então o "~/.cache" não aponta para o seu diretório pessoal - ele aponta para um subdiretório .cache de um diretório chamado ~ .
Remova as aspas e tudo deve funcionar como esperado:
export XDG_CACHE_HOME=~/.cache