Crosscompile of ports não é uma configuração suportada. O mesmo acontece com a criação de pacotes como usuário sem privilégios.
Pode funcionar, mas às vezes não funciona.
Acho que configurar um chroot é uma boa ideia, já que ele impede que você instale acidentalmente binários do ARM em seu sistema host. uma prisão também funcionaria, mas não é necessária.