Consegui resolver isso. Houve dois problemas:
Nenhum pacote para o dep-build
Para isso, a maneira correta foi adicionar o ppa relevante:
sudo apt-get source firefox
sudo add-apt-repository ppa:ubuntu-mozilla-security/ppa
sudo apt-get update
sudo apt-get build-dep firefox
cd firefox-57.0.1+build2/
debuild -uc -us -b
Erro de compilação
Isso provavelmente estava relacionado ao espaço livre disponível no disco. O Firefox requer 30 GB de espaço livre e pelo menos 2 GB de RAM para compilar . Eu tentei em outra máquina com muitos recursos e funcionou bem.