É seguro limpar ~/.cache/
, novas contas de usuário começam com um diretório vazio. Você pode querer fazer logoff depois de fazer isso, embora os programas ainda possam usar esse diretório. Estes programas podem ser encontrados com este comando:
find ~/.cache -print0 | xargs -0 lsof -n
No meu caso, eu provavelmente estaria bem em apenas fechar o Firefox antes da remoção.