Você não pode chroot em arquitetura diferente. Por chrooting, você está executando os binários (do chroot) em sua arquitetura. Executar binários do ARM em x86 (e x86_64 nessa questão) levaria a "Erro no formato Exec".
Se você deseja executar binários de diferentes arquiteturas, precisará de um emulador. O Qemu é um bom candidato para isso, mas você precisará aprender como usá-lo. Isso envolveria criar RootFS e compilar um kernel para o ARM. Você precisará de um toolchain para compilar os binários do ARM (e kernel), talvez. Uma coisa é certa: Esqueça o método chroot, você não pode executar binários compilados para o ARM em x86 (x86_64).
Editar: Depois da pequena conversa com o @UrichDangel, percebi que deveria ser possível entrar no ambiente chroot com programas qemu-user (qemu-arm neste caso). O chroot deve estar executando o qemu-arm compilado para sua arquitetura de host, então o qemu-arm pode executar seu / bin / sh (compilado para arm).