Eu resolvi o problema instalando o Debian em vez do Ubuntu. Uma versão Debian não é lançada até ser testada em todas as plataformas, enquanto a comunidade Ubuntu parece completamente focada em x86 e amd64.
Minha recomendação para os futuros leitores: não perca tempo com a depuração de problemas do Ubuntu em diferentes plataformas, mude para o Debian ou faça o seu próprio projeto Yocto oder Buildroot.