Se você não tiver pouco espaço, você pode usar debootstrap para instalar um sistema operacional mínimo no seu chroot. Isto então torna apt disponível em seu chroot.
Para começar:
sudo apt-get install debootstrap
Para configurar um novo chroot:
sudo debootstrap oneiric /path/to/chroot
sudo chroot /path/to/chroot /bin/bash
Voila, você está em uma nova instalação mínima do Ubuntu. apt-get funcionará daqui. Então, agora você pode instalar gcc / make et al e fazer todo o make install no chroot, o que deve garantir que o resultado final funcionará corretamente (todas as bibliotecas estarão presentes e assim por diante).
Existem alguns outros passos que você deve fazer como configurar o / proc no fstab no chroot, veja a debootstrap manpage (em EXEMPLOS).