Não totalmente óbvio no início: você precisa instalar o arquivo de fonte que você obtém de font.ubuntu.com na máquina em que você está executando o emacs, não como eu teria imaginado, na máquina onde o Xserver está. Eu corri para este emacs em execução via ssh.
mkdir -p ~/.fonts
cd ~/.fonts
wget http://font.ubuntu.com/download/ubuntu-font-family-0.80.zip
unzip ubuntu-font-family-0.80.zip
fc-cache -f
É uma fonte muito bonita. Eu nunca descobri onde estava o cenário, mas uma vez Eu tive o emacs iniciado, pude mudá-lo.