Eu consegui construí-lo, foi assim que o fiz depois do checkout.
sudo apt-get build-dep oggvideotools
./autogen.sh
Eu gostaria de ter aprendido o comando build-dep antes que teria me poupado muitos problemas na compilação de programas. Ele faz o download de todas as dependências que você precisa para criar um pacote.