Como Ignacio Vazquez-Abrams apontou, o Firefox está usando XDG_DESKTOP_DIR variable de ~/.config/user-dirs.dirs , então a solução é editar o valor dessa variável. Por vezes, pode ser necessário instalar o pacote XDG, por ex. xdg-user-dirs no Arch.
Como Jon apontou, há um relatório de erros do Firefox, que descreve alguns problemas com a solução mencionada .