Eu usei um tmpfs para o pbuilder antes e fiz alguns benchmarks contra o ext4. Com 4GB de RAM, ele ficou entre 30% -100% mais rápido no tmpfs para a maioria dos pacotes, até pacotes tão grandes quanto o Xorg.
Você vai querer ligar / var / cache / apt / archives para disponibilizar o seu cache de pacotes no chroot.
Você pode obter uma compilação mais eficiente com sbuild e uma montagem de união aufs, onde o chroot base não será copiado para o RAM.